Миссия Фонда:

всемерно содействовать развитию эффективной системы образования и науки в целях повышения конкурентоспособности страны

   

Оценка методологий рейтингования в соответствии с критериями IREG

 

 

Пятая задача методологии - оценка сильных и слабых сторон анализируемых методологий рейтингования в соответствии с критериями IREG и Берлинскими принципами ранжирования высших учебных заведений.

При проведении оценки сильных и слабых сторон анализируемых методологий рейтингования в соответствии с критериями IREG учитываются ограничения, связанные с возможностью использования системы оценки критериев, принятой в методологии аудита IREG, для настоящего проекта без соответствующей адаптации. Процедуры аудита предполагают: запрос рейтингующей организации в IREG о проведении внешнего аудита; подготовку рейтингующей организации самоанализа, выполненного в соответствии с предлагаемым вопросником; взаимодействие международной экспертной команды с рейтингующей организацией по результатам самоанализа, и подготовку доклада международной команды экспертов с заключением о соответствии системы рейтингования ключевым Берлинским принципам. В рамках проводимого анализа эти компоненты отсутствуют, экспертная оценка выполняется на основе полученных в результате исследования данных по зарубежным, международным и российским подходам к рейтингованию вузов.

С учетом выделенных особенностей проводится адаптация методологии аудита IREG, поскольку экспертная оценка:

- не является инструментом официального признания качества существующих методологий ранжирования, используемым международной организацией;

- не располагает полной информацией об анализируемых системах рейтингования в виду отсутствия самоанализа рейтингующей организации доклада, отражающего параметры, заданные IREG;

Тем не менее анализ сильных и слабых сторон существующих методологий рейтингования на основе критериев аудита IREG представляется обоснованным, учитывая, что разработанная в результате проекта методология ретингования российских вузов, должна будет пройти аудит IREG.  

Процедура соотнесения анализируемых методологий с критериями IREG

Сравнение и оценка анализируемых методологий с критериями IREG осуществляется в два этапа. На первом этапе все анализируемые методологии соотносятся со всеми рекомендуемыми критериями, а на втором этапе оценка дифференцируется в соответствии с особенностями анализируемых методологий. Такой подход позволяет, с одной стороны, произвести формальное соотнесение выбранных для анализа методологий с рекомендациями IREG, а, с другой, учесть разнообразие рассматриваемых систем оценки деятельности учебных заведений.

Соотнесение анализируемых методологий по 20 критериям

Процедура соотнесения анализируемых методологий осуществляется по шкале от 0 до 3, где:

0 – критерий не применим к методологии/нет данных;

1 – методология не соответствует критерию;

2 – методология частично соответствует критерию;

3 – методология полностью соответствует критерию;

 Затем осуществляется сопоставление методологий критериям IREG.

Подсчет баллов для каждой методологии проводится на основании подсчета общего количества баллов выставленных оценок для каждой методологии по каждому из 20 критериев (Табл. 2).

Однако не все из анализируемых методологий изначально удовлетворяют критериям аудита IREG, и, следовательно, общее значение баллов объективно не отражает качество анализируемых методологий и их разнообразие. Это приводит к тому, что оценка рассматриваемых методологий с точки зрения их соответствия всем критериям IREG оказывается несправедливой по отношению к методологиям построения классификаций и ранжирований, которые, в частности, не обладают композитными (агрегированными) показателями, наличие которых определяется Правилами аудита и Берлинскими принципами как результат рейтинга (критерий 8). Методологии построения классификаций и ранжирований также не содержат информации о баллах для каждого отдельного индикатора, используемой для расчета места университета в рейтинге, потому что не предполагают построение таблиц лиг и приписывание университетам соответствующих мест (критерий 13). Кроме того, по тем же причинам, они не соответствуют критерию 18 о необходимости обеспечения качества процедур ранжирования.

  

Таблица 2. Логическая рамка соотнесения анализируемых зарубежных  и международных методологий по 20 критериям IREG

Тип методологии

Тип рейтинга

CRITERIA

Ключевой подход, цели

МЕТОДОЛОГИЯ

Транспарентность оперативность

Обеспечение качества

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

TOTAL

MEAN

MEAN 20

рейтинг

глобальный

Shanghai

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

глобальный

THES

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

глобальный

US News

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

глобальный

Leiden

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

глобальный

QS

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

национальный

Times

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

национальный

Guardian

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

национальный

Guardian Sp

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

национальный

Forbes

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

специализированный

Financial Times

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

специализированный

Bloomberg BusinessWeek

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рейтинг

специализированный

The Economist

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ранжирование

глобальный

U-multirank

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ранжирование

региональный

CHE University

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ранжирование

национальный

CHE Excellence

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ранжирование

национальный

CHE Employment

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ранжирование

национальный

CHE Research

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

классификация

региональный

U-map

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

классификация

национальный

Carnegie

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

MEAN

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Соотнесение анализируемых методологий с учетом исключений

Учитывая вышесказанное, производится оценка, дифференцированная в соответствии с особенностями анализируемых методологий.

Для этого 20 критериев IREG условно разделены на две категории: (1) общие для всех методологий, и (2) соответствующие только методологиям построения рейтингов (одномерного ранжирования). В результате 4 критерия были оценены как специфические, искажающие итоговую оценку методологий в сторону рейтингов, 1 критерий был оценен как тот, который невозможно соотнести ни с одной из методологий. Таким образом, 5 из 20 критериев, соответственно, были отклонены в качестве параметров для оценки и последующего сравнения методологий.

Таблица 3. Соответствие критериев IREG анализируемым методологиям с учетом их особенностей и разнообразия

 

Критерии

Общий/специфический по отношению к методологии

ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД

1.

Цель ранжирования и (ключевые) целевые группы должны быть четко определены

Общий

2.

Ранжирование должно отражать разнообразие институтов высшего образования

Общий

3.

Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем.

Общий

МЕТОДОЛОГИЯ

4.

Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными.

Общий

5.

Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения

Общий

6.

Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров.

Общий

7.

Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными.

Общий

8.

Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят,  то для этого должны быть методологические или концептуальные обоснования.

Специфический, только для ранжирований

9.

Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований.

Общий

10.

Базовая методика должна оставаться постоянной, насколько это возможно.

Общий

11.

Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно.

Общий

12.

Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений.

Общий

13.

Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора.

Специфический, только для ранжирования

14.

Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов

Специфический, только для ранжирования

ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ

15.

Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием

Общий

16.

Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании

Общий

17.

Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес

Общий

ОБЕСПЕЧЕНИЕ КАЧЕСТВА

18.

При ранжировании необходимо обеспечить качество самих процедур ранжирования.

Специфический, только для ранжирования

19.

Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы.

Не может быть соотнесен ни с одной методологией

20.

Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования

Общий

МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ ПО 19 КРИТЕРИЯМ

57

МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ ПО 15 КРИТЕРИЯМ

45

 

На втором этапе оценки сильных и слабых сторон параметры 19 методологий рейтингования (построения рейтингов, ранжирования и классификации) оцениваются относительно 15 критериев IREG по шкале от 0 до 3. Исключения, сделанные на данном этапе, учитывают специфику методологий ранжирования и классификаций, и их преимущества перед методологиями построения рейтингов. При этом скорретированное среднее значение учитывает отсутствие данных по критерию или специфику рассматриваемых методологий. Такой подход обеспечивает учет преимуществ методологий построения классификаций и некоторых видов ранжирования перед методологиями построения рейтингов. Формальное соотнесение рассматриваемых методологий с критериями качества IREG на основе подсчета среднего (или в отдельных случаях скорректированного среднего) значения позволяет выделить из разнообразия рассматриваемых методологий те, которые в наибольшей степени удовлетворяют критериям качества, условно выявить их сильные и слабые стороны в контексте выбранных критериев.

Апробация оценочной шкалы в рамках кабинетного исследования опирается на оценочные суждения разработчиков о рассматриваемых методологиях в контексте их соответствия критериям качества IREG. Несмотря на проведенный анализ и погружение в современные проблемы и критику существующих методологий рейтингования, изучаемая проблематика является новой как для разработчиков, так и для национального экспертного и университетского сообщества. Результаты проведенного анализа и предложения по модельной методологии рейтингования для российских вузов, таким образом, требуют широкого обсуждения на национальном уровне и консультаций с международными экспертами, вовлеченными в построение рейтингов университетов на международном и глобальном уровнях. В этой связи в рамках запланированных публичных мероприятий предусмотрены экспертные обсуждения с представителями ведущих российских вузов, национальных министерств и ведомств, ответственных за развитие политики в области высшего образования, ключевых национальных экспертных организаций. В рамках экспертных обсуждений разработчики рассчитывают получить экспертные оценки элементов модельной методологии, и учесть внешние замечания при дальнейшей реализации проекта.

После проведения достаточного количества экспертных оценок будут выявлены методологии, которые соответствуют критериям аудита качества IREG в большей степени, а также те, которые либо соответствуют критериям качества в меньшей степени, либо вовсе не соответствуют.

 

<<< Предыдущая страница   Следующая страница >>>

 

 
Сайт создан по технологии «Конструктор сайтов e-Publish»