Миссия Фонда:

всемерно содействовать развитию эффективной системы образования и науки в целях повышения конкурентоспособности страны

   

Критерии оценки элементов методологии (IREG Ranking Audit Rules)

 

 

Четвертая задача методологии – определение критериев оценки сильных и слабых сторон анализируемых методологий рейтингования. Ключевыми документами при выделении критериев оценки стали Берлинские принципы ранжирования высших учебных заведений[1]. При анализе методологий рейтингования используются «Правила аудита рейтингов (IREG Ranking Audit Rules[2], которые формулируют критерии оценки элементов методологии. Правила были приняты на заседании исполнительного комитета наблюдательного совета международной экспертной группы по определению рейтингов университетов IREG, прошедшего в рамках глобального форума «Рейтинг и оценка качества высшего образования — сильные и слабые стороны» (16—17 мая 2011 г. штаб-квартира ЮНЕСКО, Париж), совместно с Организацией экономического сотрудничества и развития (ОЭСР) и Всемирным банком (ВБ). Аудит призван способствовать повышению прозрачности рейтингов, применяться в качестве инструмента определения их надежности, совершенствования качества академических рейтингов и повышения уровня доверия к ним.

Берлинские принципы определяют условия, в соответствии с которыми должно осуществляться построение ранжирований, и способы повышения качества и надежности получаемых с их помощью результатов. В соответствии с Берлинскими принципами, ключевыми элементами методологий ранжирования университетов должны быть транспарентность, релевантность и валидность сравниваемых данных.

Правила аудита определяют 20 критериев оценки, соответствующих Берлинским  принципам ранжирования высших учебных заведений. Таким образом, критерии оценки сильных и слабых сторон анализируемых методологий рейтингования включают:

КРИТЕРИИ

ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД

Ранжирования представляют лишь один из многочисленных подходов к оценке исходных параметров, деятельности и результатов деятельности вузов (см. Берлинские принципы ранжирования высших учебных заведений, п. 1). Это необходимо учитывать при построении ранжирования.

Критерий 1

Цель ранжирования и (ключевые) целевые группы должны быть четко определены. Ранжирование должно соответствовать заявленной цели (Берлинские принципы ранжирования высших учебных заведений, п. 2). Это включает и систему индикаторов, учитывающих цель ранжирования.

Критерий 2

Ранжирование должно отражать разнообразие институтов высшего образования и учитывать различия в миссиях и целях университетов. Параметры для измерения оценки качества исследовательских университетов, например, достаточно сильно отличаются от тех, что подходят для оценки учреждений, предоставляющих доступ к образованию сообществам с ограниченными возможностями (Берлинские принципы ранжирования высших учебных заведений, п. 3). Ранжирование, таким образом, должно четко определять тип/профиль образовательных учреждений, включаемых и не включаемых в ранжирование.

Критерий 3

Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем. Международные системы ранжирования, в частности, должны избегать возможной необъективности (ангажированности) и быть точными в определении своих задач и получаемых данных (Берлинские принципы ранжирования высших учебных заведений, п. 5). Индикаторы, используемые в международных системах ранжирования, должны обеспечивать достаточную сопоставимость между соответствующими странами.

МЕТОДОЛОГИЯ

Критерий 4

Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными. Выбор данных должен основываться на способности каждого показателя продемонстрировать качество, академические и институциональные сильные стороны вузов, а не исходить из принципа доступности данных. Ранжирование должно ясно объяснять выбор параметров и то, что они должно показывать (Берлинские принципы ранжирования высших учебных заведений, п. 7)

Критерий 5

Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения, учитывать данные, полученные из различных источников информации, для того, чтобы получить более полный взгляд на каждое учебное заведение, включенное в ранжирование. Ранжирование  должно избегать представления однобокого взгляда на деятельность высших учебных заведений (например, только с точки зрения работодателей или только с точки зрения студентов). В случае, если ранжирование затрагивает только один аспект деятельности вузов или же использует для построения ранжирования только один источник информации, это ограничение должно быть четко обозначено.

Критерий 6

Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров. Информация об исходных параметрах и образовательном процессе может быть релевантна для использования, поскольку отражает общие условия функционирования конкретного учреждения, а также в связи с тем, что чаще всего доступна. Измерение результатов позволяет более точно оценить положение и/или качество каждого отдельного института или программы. Составители ранжирования, таким образом, должны удостовериться, что соответствующий баланс достигнут (Берлинские принципы ранжирования высших учебных заведений, п. 8).

Критерий 7

Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными. Методы, выбираемые для построения ранжирования, должны быть ясными и понятными (Берлинские принципы ранжирования высших учебных заведений, п. 6). Так же должны быть отражена информация о разработчиках методологии ранжирования и возможном внешнем оценивании.

Критерий 8

Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят,  то для этого должны быть методологические или концептуальные обоснования.

Институциональные ранжирования должны содержать объяснение методов агрегирования результатов для всего учебного заведения. При проведении институциональных ранжирований следует учитывать эффекты для различных образовательных структур при агрегировании их результатов (специализированные учебные заведения по сравнению с классическими университетами). (см. Берлинские принципы ранжирования высших учебных заведений, п. 6)

Критерий 9

Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований. (см. Берлинские принципы ранжирования высших учебных заведений, п. 11 и п. 12). Процедуры сбора данных должны быть прозрачны, в особенности относительно данных опросов. Данные опросов должны включать следующую информацию: источник и метод сбора данных, доля ответивших, структура выборки (например, географическая или профессиональная).

Критерий 10

Хотя ранжирования должны адаптироваться к изменениям в системах высшего образования и методы их составления должны совершенствоваться, базовая методика должна оставаться постоянной, насколько это возможно. Изменения в методологии должны основываться на методологических принципах, а не служить средством получения различных результатов в разные годы. Изменения в методологии должны быть понятны и прозрачны (см. Берлинские принципы ранжирования высших учебных заведений, п. 9).

ПУБЛИКАЦИЯ И ПРЕЗЕНТАЦИЯ РЕЗУЛЬТАТОВ

Ранжирования должны давать своим пользователям ясное объяснение  всех факторов, учитываемых при их создании. Пользователям должна быть также предоставлена возможность выбора способа просмотра ранжирования. Так, пользователи ранжирования будут лучше понимать индикаторы, используемые при ранжировании учебных заведений или программ обучения (см. Берлинские принципы ранжирования высших учебных заведений, п. 15).

Критерий 11

Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно.

Критерий 12

Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений. При этом эта информация должна учитывать имеющиеся сведения о ранжировании у основных целевых групп.

Критерий 13

Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора. Это необходимо для того, чтобы пользователи могли самостоятельно проверить подсчет результатов ранжирования. Комплексные индикаторы не должны содержать неопубликованных индикаторов.

Критерий 14

Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов (см. Берлинские принципы ранжирования высших учебных заведений, п. 15).

ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ

Накопленный опыт в отношении уровня доверия и «популярности» ранжирования показывает, что большая открытость процесса рейтингования ведет к большему доверию к результатам ранжирования.

Критерий 15

Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием, а также организованы так, чтобы ошибки, возникшие в результате ранжирования, могли быть откорректированы (см. Берлинские принципы ранжирования высших учебных заведений, п. 16). Это означает, что ошибки должны быть исправлены во время составления ранжирования, или, в крайнем случае, в интернет публикации результатов ранжирования.

Критерий 16

Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании, что включает в себя предоставление разъяснений о методах и индикаторах, используемых при осуществлении процесса ранжирования, так же как и объяснение значения полученных результатов ранжирования отдельных университетов.

Критерий 17

Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес, по которому отдельные пользователи или высшие учебные заведения, включенные в ранжирование, могут получить разъяснения о применяемой методологии, а также направить общие комментарии о ранжировании или об отмеченных неточностях.

Критерий 18

При ранжировании необходимо обеспечить качество самих процедур ранжирования. Этот процесс должен основываться на существующей практике оценки учебных заведений и применении этих знаний для оценки качества самих ранжирований (см. Берлинские принципы ранжирования высших учебных заведений, п.13).

Критерий 19

Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы. В том числе задокументированы должны быть процессы сбора и организации данных, так же как и качество данных и индикаторов.

Критерий 20

Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования, что может включать в себя создание консультативных или контрольных органов, желательно с привлечением международных организаций (в частности при проведении международных ранжирований) (см. Берлинские принципы ранжирования высших учебных заведений, п.14).

ОЦЕНКА КРИТЕРИЕВ

Критерии оцениваются по шестибальной шкале. В ходе процесса аудита группа экспертов присваивает каждому критерию определенный балл согласно соответствию данного критерия  заданным требованиям.

Мало удовлетворяет 1

Частично удовлетворяет 2

В большей степени удовлетворяет 3

Хорошо удовлетворяет 4

Полностью удовлетворяет 5

Удовлетворяет в наивысшей степени 6

Критерии подразделяются на две группы: основные критерии со значением веса 2 и стандартные критерии со значением веса 1 (смотри таблицу 2). Таким образом, максимальный балл для основного критерия составляет 12, а для стандартного критерия – 6. То есть, при 10 основных и 10 стандартных критериев, общий максимальный балл составит 180.

На основании выше приведенной шкалы оценки, пороговый уровень для положительного решения аудита будет составлять 50 % от общего максимального балла. Это означает, что среднее значение балла присвоенного критериям должно быть на уровне «в большей степени удовлетворяет». Аудит может быть проведен с определенными условиями, если основные критерии получили недостаточную оценку. Ранжирования, оцененные  от 40% до 50% могут быть включены в процесс аудита при удовлетворении определенным условиям/требованиям, которые должны быть выполнены в течение года с момента проведения аудита.

ВЕСА И КРИТЕРИИ АУДИТА

 

Критерии

Веса

 

ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД

1.

Цель ранжирования и (ключевые) целевые группы должны быть четко определены

2

2.

Ранжирование должно отражать разнообразие институтов высшего образования

2

3.

Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем.

1

 

МЕТОДОЛОГИЯ

4.

Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными.

2

5.

Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения

1

6.

Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров.

1

7.

Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными.

2

8.

Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят,  то для этого должны быть методологические или концептуальные обоснования.

 

2

9.

Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований.

2

10.

Базовая методика должна оставаться постоянной, насколько это возможно.

1

11.

Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно.

1

12.

Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений.

1

13.

Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора.

2

14.

Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов

1

ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ

15.

Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием

1

16.

Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании

2

17.

Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес

1

ОБЕСПЕЧЕНИЕ КАЧЕСТВА

18.

При ранжировании необходимо обеспечить качество самих процедур ранжирования.

2

19.

Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы.

1

20.

Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования

2

МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ

180

 

Выделенные критерии позволяют осуществлять анализ сильных и слабых сторон анализируемых методологий рейтингования в соответствии с Берлинскими принципами ранжирования высших учебных заведений.

 

<<< Предыдущая страница   Следующая страница >>>

 


 

[1] Берлинские принципы ранжирования высших учебных заведений/ IREG Observatory on Academic Ranking and Excellence.

 

[2] IREG-Ranking Audit. Purpose, Criteria and procedure. IREG Observatory on Academic Ranking and Excellence, 2011.

 
Сайт создан по технологии «Конструктор сайтов e-Publish»