Рейтинги университетов и научные журналы

Указом Президента № 599 от 7 мая 2012 года предписано, что не менее 5 российских университетов к 2020 году должны войти в топ-100 международных рейтингов университетов, а также то, что к 2015 году количество российских публикаций в Web of Science должно достичь доли не менее 2,44% от общего количества научных публикаций в мире. Не будем рассматривать, реально ли достижение этих показателей в принципе, однако все последующие документы, касающиеся развития науки и высшего образования, ориентируются на достижение данных показателей и игнорировать данный факт просто невозможно.

Попробуем рассмотреть в комплексе оба этих показателя, т.е. как влияют показатели публикационной активности на положение университетов в международных рейтингах, какие конкретно показатели в них используются и как это связано с долей публикаций страны в наукометрических базах данных.

В литературе имеется достаточное количество подробных описаний различных систем ранжирования университетов [1, 2], однако здесь мы рассмотрим только те показатели, которые связаны непосредственно с публикационной активностью, а именно с количеством публикаций и их качеством.

В международных рейтингах университетов, таких как Academic Ranking of World Universities (ARWU, или Шанхайский рейтинг), Times Higher Education World University Ranking (THE WUR) и QS World University Ranking (QS), показатели, связанные с публикационной активностью, составляют от 20 до 60% от окончательного балла, что говорит о чрезвычайной важности научных публикаций для оценки всех сторон деятельности университета – образовательной и научной, а также международной составляющей.

В Шанхайском рейтинге [3] показатели, рассчитываемые исходя из количественных и качественных данных о публикациях, характеризуют качество преподавательского состава и научную производительность университета и составляют в общей сложности 60% от общего балла:

• количество высокоцитируемых ученых из числа работников университета (20%);

• количество статей, опубликованных в журналах Nature и Science за последние пять лет (20%);

• общее число статей, вошедших в индексы научной цитируемости Science Citation Index-Expanded и Social Science Citation Index в предыдущем году (20%).

Эти показатели рассчитываются по базе данных Web of Science (в настоящее время после переименования – Web of Science Core Collection) – влиятельного индекса научного цитирования, составляемого компанией Thomson Reuters путем индексации статей и пристатейных списков литературы более 12 тыс. научных журналов мира, отбираемых по строгим критериям.

Отнесение ученого к категории высокоцитируемых означает, что по количеству цитирований его статей он попадает в 250 самых цитируемых ученых по данной конкретной предметной области. До недавнего времени списки “highly cited researchers” составлялись по данным о публикациях, начиная с 1981 года, проиндексированных в Web of Science Core Collection [1]. На сайте http://highlycited.com/ представлены данные вплоть до 2008 года, однако с 2012 года данные на этом сайте не обновляются. Таким образом, информация о том, относится ли ученый к категории высокоцитируемых, может быть получена только путем сопоставления фактической цитируемости статей ученого и пороговых значений для цитируемости по перцентилям в разделе Essential Science Indicators на платформе Web of Science [2]. Несмотря на это, в методологии составления рейтинга это не нашло отражения, так что каким образом рассчитываются данные для этого показателя в вышедших после 2012 года рейтингах, выяснить не удается [3].

Для расчета показателя, связанного со статьями в журналах Science & Nature, используется довольно сложная система расчета весов для соавторов с введением различных весов для главного автора (corresponding author), для первого автора и для остальных авторов.

При подсчете общего количества статей учитываются только типы публикаций articles и proceeding papers, с удвоением веса статей из Social Science Citation Index. Это в какой-то мере может компенсировать отсутствие в методике учета публикаций, индексируемых в третьем индексе Web of Science – Arts&Humanities Citation Index.

Таким образом, если количество публикаций в данном случае можно рассматривать как чисто количественный показатель, то сведения по высокоцитируемым авторам и публикации в Science&Nature скорее являются показателями качества публикаций университета.

Кроме основного рейтинга составляются также предметные рейтинги, учитывающие особенности отдельных научных или предметных областей. Так, для рейтингов ARWU-FIELD, которые рассчитываются для Natural Sciences and Mathematics, Engineering/Technology and Computer Sciences, Life and Agriculture Sciences, совсем не учитываются показатели по статьям в Science&Nature, Clinical Medicine and Pharmacy и Social Sciences, кроме количества публикаций по конкретной области знаний, учитывается количество публикаций в 20% топовых журналов соответствующей предметной области. Для рейтингов ARWU-SUBJECT (Mathematics, Physics, Chemistry, Computer Sciences and Economics/Business), как и в рейтинге ARWU-FIELD, учитывается количество публикаций в 20% топовых журналов соответствующей предметной области. Таким образом, предметные рейтинги ARWU в значительной степени учитывают как количественные, так и качественные показатели.

С 2004 по 2009 год приложение к газете Times – еженедельник Times Higher Educa tion – в сотрудничестве с компанией Quacquarelli Symonds (QS) представлял свой собственный рейтинг ведущих университетов мира. Данный рейтинг в качестве источника наукометрических данных использовал базу данных Scopus, однако с 2009 года Times Higher Education составляет рейтинг в сотрудничестве с Thomson Reuters уже на основе данных Web of Science, а QS продолжает составлять собственные рейтинги, используя по-прежнему данные из Scopus.

Методика составления рейтинга QS предусматривает оценку научной деятельности университета исходя из количества цитирований статей вуза в базе данных Scopus [4], что рассматривается как показатель качества преподавательского состава. Учитывается количество цитирований, полученных статьями университета, за 5 лет по данным базы Scopus в расчете на 1 преподавателя. При этом с 2011 года количество цитирований учитывается без самоцитирований организации, т.е. показывает реальный внешний интерес к работам, выполненным в вузе. Исключение самоцитирований стало самым существенным изменением в методике составления рейтинга после 2009 года. Этот показатель составляет 20% в общем балле.

Одновременно с общим рейтингом университетов (в сентябре–октябре каждого года) публикуются рейтинги по научным областям – QS World University Rankings by Faculty. Эти рейтинги составляются по 5 крупным областям по следующей методике, претерпевшей значительные изменения с 2013 года [5] (табл. 1):

Таблица 1

Существенным отличием от основного рейтинга является то, что цитирования рассчитываются не на количество преподавателей, а на статью, а также учитывается индекс Хирша статей организации по соответствующей области за определенный период.

С 2011 года QS представляет также рейтинг университетов по более узким предметных областям – QS World University Rankings by Subject. Рейтинги составляются по 30 отдельным предметным областям, и публикуются топ-200 университетов по каждой области. Методика составления данных рейтингов практически аналогична методике QS World University Rankings by Faculty с более ярко выраженными различиями в весах показателей для каждой из 30 оцениваемых областей [6].

QS составляет также и региональные рейтинги – Азия, Латинская Америка, БРИКС, а также довольно интересный рейтинг молодых университетов – Top 50 under 50. Для России в данном аспекте интересен рейтинг университетов БРИКС, созданный QS в 2013 году. Для этого рейтинга базовой методикой для составления являлась основная методика составления общего рейтинга, но с некоторыми видоизменениями – повышен вес мнения работодателей, учитывается не только количество цитирований (в этом рейтинге цитирования учитываются в расчете не на преподавателя, а на статью), но и количество публикаций в Scopus, несколько снижен вес показателей интернационализации и добавлен такой показатель качества преподавательского состава, как доля преподавателей с учеными степенями [7]. Показатели, связанные с публикациями, в данном рейтинге составляют 15% от общей оценки, 5% – цитируемость в расчете на 1 статью и 10% – количество статей в расчете на 1 преподавателя.

Рейтинг Times Higher Education World University Ranking, составляемый с 2009 года в сотрудничестве с Thomson Reuters, претерпел по сравнению с тем, который составлялся вместе с QS, гораздо более сильные изменения, особенно в отношении показателей, связанных с публикациями [8].

Количественные и качественные данные о публикациях входят в интегральные показатели, характеризующие качество исследований (в целом 30%), влиятельность исследований (30%) и интернационализацию университета (7,5%). В блоке показателей, связанных с качеством исследований, оценивается количество статей, опубликованных университетом в журналах, индексируемых в Web of Science, причем данный показатель рассчитывается как с учетом численности преподавателей, так и с нормализацией по областям знаний (6%).

Влиятельность исследований рассчитывается по цитируемости статей университета. Цитируемость рассчитывается как полностью нормализованный показатель, учитывающий особенности цитирования в различных областях знаний, разницу в цитировании статей, опубликованных в разные годы, разных типов публикаций (научные статьи и обзоры, например). Кроме того, вводятся повышающие или понижающие поправки на средний уровень цитируемости страны в целом. Такой подход позволяет достаточно корректно сравнивать цитируемость статей в разных областях наук с учетом национальных особенностей независимо от их количества и размера университета.

В показателях интернационализации университета треть, т.е. 2,5%, приходится на долю статей, написанных в международном соавторстве.

Все показатели, связанные с публикациями, рассчитываются за 5-летний период и составляют в общей сложности 38,5%.

Наряду с глобальным рейтингом составляются также и рейтинги по научным областям, содержащие все те же параметры, что и для общего рейтинга, но с другими весовыми коэффициентами. Так, для гуманитарных наук (Arts&Humanities) снижен вес цитируемости (15%) и значительно выше оценивается качество образования (37,5%). Сводные данные по весам групп показателей приведены в таблице 2.

Таблица 2

В 2012 году появился рейтинг университетов Азии, а осенью 2013 года – и рейтинг университетов стран БРИКС и развивающихся экономик. Оба эти рейтинга строятся по той же методике, что и глобальный рейтинг.

Кроме глобальных рейтингов университетов существуют еще и рейтинги публикационной активности. Эти рейтинги строятся на основании данных как Scopus, так и Web of Science.

На базе Scopus исследовательской группой SCImago из университета Гранады составляется рейтинг исследовательских организаций мира (SCImago Institutional Ranking) [9]. В рейтинг 2013 года вошли 109 организаций России (всего в рейтинге 2744 организации), из них 29 университетов (всего – 1996). Ранжирование осуществляется на основании данных о публикациях за предыдущие 5 лет и включает следующие показатели:

Output – общее число опубликованных научных работ;

International Collaboration – международное сотрудничество (по количеству совместных с зарубежными партнерами публикаций);

Normalized Impact – среднее цитирование научных работ организации, приведенное к среднемировому цитированию;

Scientific Talent Pool – количество авторов в организации;

High Quality Publications – число научных работ, опубликованных в самых авторитетных журналах (издания, входящие в верхний квартиль распределения по авторитетности в соответствии с рейтингом SCImago Journal Rank SJR по научным областям);

Specialization Index – соответствие тематики научных работ специализации организации;

Excellence Rate – число работ, опубликованных в изданиях, входящих в 10% наиболее цитируемых в мире (по научным областям);

Scientific Leadership – число опубликованных научных работ, основные авторы которых (corresponding author) указывают свою принадлежность к организации.

Предпоследний индикатор – Excellence Rate – используется последние 2 года также как один из компонентов при составлении популярного рейтинга представления университетов в сети Интернет Webometrics.

По данным о публикациях в Web of Science составляется Лейденский рейтинг [10], основной особенностью которого является возможность расчета всех показателей с учетом доли соавторства ученых из разных университетов. Показатели в этом рейтинге можно подразделить на две основные группы – показатели влиятельности (Impact Indicators) и сотрудничества (Collaboration Indicators).

К первой группе относятся следующие:

Mean citation score (MCS) – среднее количество цитирований публикаций университета;

Mean normalized citation score (MNCS) – среднее цитирование публикаций университета, нормализованное по области знаний, виду публикаций, году публикации;

Proportion top 10% publications (PP_{top 10%)} – доля публикаций университета, входящих в 10% самых цитируемых, в общем числе публикаций.

Вторая группа характеризует как сотрудничество с другими организациями, так и международное сотрудничество;

Proportion collaborative publications (PP_collab) – доля публикаций университета в соавторстве с другими организациями;

Proportion international collaborative publications (PP_{int collab}) – доля публикаций университета в соавторстве с двумя и более странами;

Mean geographical collaboration distance (MGCD) – среднее географическое расстояние между соавторами;

Proportion long distance collaborative publications (PP_{>1000 km}) – доля публикаций университета, написанных в соавторстве с организациями, расположенными на расстоянии более чем в 1000 км.

В рейтинг включаются университеты, занимающие первые 500 мест по количеству публикаций за 4 года в целом (учитываются только типы публикаций Article и Review) с возможностью проводить ранжирование по любому из показателей как с учетом доли соавторства, так и без учета, т.е. по всему набору публикаций.

Еще один рейтинг, который строится на основе публикаций, проиндексированных в Web of Science, с 2007 года составляет Национальный университет Тайваня [11]. Критериями отбора университетов для дальнейшего анализа и составления рейтинга являются следующие:

•Попадание в топ-700 организаций, представленных в аналитическом разделе Essential Science Indicators на платформе Web of Science.

•Присутствие в рейтингах ARWU, QS, THE, U.S.News.

Получившийся перечень университетов анализируется по параметрам, которые также берутся либо из Essential Science Indicators, либо непосредственно по базе данных Web of Science, и составляется окончательный рейтинг, содержащий 500 университетов (табл. 3).

Таблица 3

* Журналы, входящие в верхние 5% по импакт-фактору в каждой предметной категории

Кроме общего рейтинга, Тайваньский университет составляет и рейтинги по широким областям (6 областей) и предметным категориям (14 категорий, относящихся к естественным и техническим наукам).

Описанные выше рейтинги не исчерпывают весь спектр существующих рейтингов университетов, но являются наиболее известными.

Рассмотрим, каково положение с публикациями России в целом в наукометрических базах Web of Science и Scopus и как выглядят публикационные показатели российских университетов в глобальных рейтингах.

На приведенных на рис. 1 диаграммах показана динамика публикаций в базе данных Scopus (А) и данные о доле российских публикаций от общемирового объема публикаций (Б).

Рис. 1. Публикации РФ, Китая и мира в базе данных Scopus

На рисунке хорошо видно, что при постоянном увеличении общемирового объема публикаций количество российских публикаций остается практически неизменным с 2000 года, что приводит к значительному падению доли российских публикаций в общемировом публикационном потоке. При этом даже если рассчитывать данную долю без учета китайских публикаций, вносящих основной вклад в общемировую копилку в последние годы, это снижение остается практически таким же.

Аналогичная картина наблюдается при таком же анализе публикаций в базе данных Web of Science (рис. 2).

Рис. 2. Публикации РФ, Китая и мира в базе данных Web of Science

Интересно отметить, что при рассмотрении публикаций только в базах, индексирующих материалы конференций Conference Proceedings Citation Index – Science и Conference Proceedings Citation Index – Social Science&Humanities (рис. 3), наблюдается резкое падение количества российских публикаций после 2008 года, когда началось сокращение, а в дальнейшем и прекращение финансирования поездок на конференции по грантам РФФИ и РГНФ.

Рис. 3. Публикации РФ, Китая и мира в индексах CPCI-S, CPCI-SSH Web of Science

Если посмотреть, в каких журналах публикуются российские ученые, то становится понятным, в каком направлении надо корректировать политику научных публикаций.

В области химии, например, при ранжировании журналов в порядке убывания публикаций оказывается, что 35% российских публикаций 2011 года сосредоточены в 10 российских журналах, индексируемых в Scopus. Такой же анализ общемирового потока публикаций показывает, что в 10 топовых по количеству публикаций журналах сосредоточено лишь 13,7% от общемирового количества публикаций по химии. Сравнивая показатели импакт-факторов журналов, можно с уверенностью сказать, что при сохранении тенденции публиковать результаты исследований преимущественно в российских журналах показатели цитирования российских ученых не улучшатся (табл. 4).

Таблица 4

Топ-10 журналов по количеству опубликованных в 2011 году статей по химии (Scopus)

Аналогичные зависимости наблюдаются при сравнении журналов, в которых опубликованы научные результаты университетов, занимающих разные позиции в рейтингах.

На рис. 4 и 5 приведено сравнение по публикациям в Web of Science трех университетов, занимающих разные позиции в рейтинге ARWU 2012 года – Стэнфорда (2 место), Университета Токио (20 место) и МГУ (80 место). На диаграммах хорошо видно, что доля статей, опубликованных в 15 верхних по количеству публикаций журналах, у МГУ значительно больше (21%), чем у Стэнфорда (13%) или университета Токио (16%), при этом как общее количество публикаций, так и количество публикаций в Science&Nature сильно уступают университетам, занимающим более высокие позиции в рейтинге. Уровень же этих 15 журналов и, соответственно, цитирование опубликованных в них статей почти точно обратно пропорциональны занимаемому в рейтинге месту. Такой же вывод можно сделать и сравнивая эти журналы (для Стэнфорда и МГУ) по названиям и импакт-факторам (табл. 5).

Рис. 4. Сравнение публикаций в Web of Science университетов с разной позицией в рейтингах

Рис. 5. Сравнение «качества» 15 топовых по количеству публикаций журналов и цитирования в них статей у университетов с разной позицией в рейтингах

Таблица 5

В рейтинге QS 2013 года, в котором российские вузы показали наилучший результат по количеству вошедших в рейтинг университетов, баллы за цитирование публикаций практически у всех российских вузов оказываются не на высоте, а места в рейтинге определяются в значительной степени высоким уровнем соотношения студент/преподаватель (рис. 6 и 7).

Рис. 6. Общая позиция в рейтинге QS, место и баллы по показателю цитируемости

Рис. 7. Общая позиция в рейтинге QS, место и баллы по показателю соотношения «преподаватель/студент»

На этом фоне достаточно странными представляются утвержденные распоряжением 2620-р от 30 декабря 2012 г. «Об утверждении плана мероприятий (“дорожной карты”) «Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки» планы по увеличению соотношения студент/преподаватель с 9,4 студента на 1 преподавателя в 2012 году до 12/1 в 2018 году. Уменьшение количества преподавателей может привести в конце концов к негативным последствиям: сильно возрастет учебная нагрузка, уменьшится время на проведение научных исследований и написание статей. Количество статей и цитирований для рейтинговых показателей будет делиться на меньшее значение FTE (full time equivalent, или среднесписочная численность преподавателей в российской терминологии), но числитель (количество статей и их цитирований) может уменьшиться при этом в значительно большей степени. Соответственно, чтобы не допустить падения в рейтингах и при этом исполнить содержащееся в указе президента повышение доли российских публикаций в Web of Science, производительность отдельно взятого преподавателя вуза должна увеличиться в разы, при этом статьи должны публиковаться в журналах значительно более высокого, чем в настоящее время, уровня.

Недостаточное представление российских публикаций и невысокие позиции российских университетов в рейтингах, в особенности в отношении показателей, связанных с публикациями и их цитированием, часто связывают с относительно небольшим количеством российских журналов, индексируемых в Web of Science и Scopus.

Сопоставление количества издаваемых в стране научных журналов, индексируемых в Web of Science или Scopus, с количеством вузов этой страны, попадающих в глобальные рейтинги университетов, показывает практически полное отсутствие корреляции между этими значениями (рис. 8 и 9). На представленных диаграммах видно, что как в случае рейтинга, учитывающих публикации в Web of Science (ARWU), так и в случае рейтинга, в которых публикации учитываются по базе данных Scopus (QS), страны, имеющие значительно меньшее или сравнимое количество журналов в соответствующих базах данных, в рейтингах представлены значительно большим количеством университетов.

Рис. 8. Соотношение между количеством журналов в Journal Citation Report и количеством университетов в топ-500 ARWU по странам

Рис. 9. Соотношение между количеством журналов в Scopus и количеством университетов в топ-600 QS-2012 по странам

Для Шанхайского рейтинга (ARWU), где учитывается общее количество статей в SCIE и SSCI, повышение количества российских журналов, индексируемых в Web of Science, может оказать какое-то положительное влияние путем увеличения общего количества статей в этих индексах, однако наиболее «провальные» показатели – количество статей в Science и Nature и количество высокоцитируемых ученых – при этом не улучшится. В рейтингах QS или THE учитывается в первую очередь цитирование статей; т.е. массированное внедрение российских научных журналов в международные индексы цитирований на сегодняшний день практически бесполезно, если не поднять кардинально их качество.

Сравнение журналов сходного профиля, издаваемых в разных странах и различающихся по импакт-фактору, показывает, что существует довольно сильная корреляция между импактфактором и международным составом авторов, публикующих статьи в данном журнале. На рис. 10 показано сравнение этих показателей для 3-х журналов в области астрономии, издаваемых в США, Японии и России. Для сравнения на той же диаграмме приведены аналогичные данные для журнала Science.

Рис. 10. Сравнение журналов по доле статей авторов из страны, издающей журнал (по статьям 2008–2012 гг.)

Аналогичная зависимость наблюдается и для журналов сходного профиля, издаваемых в России (рис. 11). Кроме того, что импакт-фактор отрицательно коррелирует с долей статей, написанных с участием российских авторов, наблюдается также и прямая зависимость от количества стран, ученые из которых участвовали в написании статей: для журнала Biochemistry соавторами выступили ученые из 43 стран, Molecular Biology – 37 стран, а в статьях в журнале Doklady Biochemistry and Biophysics соавторами были ученые из 17 стран.

Рис. 11. Сравнение журналов медико-биологической тематики по доле статей с российскими авторами (по статьям 2008–2012 гг.)

Сравнение показателей импакт-фактора и международного состава авторов в динамике показывает ту же зависимость. На рис. 12 показана динамика импакт-фактора и доли российских публикаций журналов Laser Physics и Physics-Uspekhi. Заметно, что импакт-фактор и доля российских публикаций с 2005 года изменяются в противофазе, причем некоторое падение импакт-фактора в 2012 году для журнала Laser Physics, вероятно, может быть связано с тем, что в 2010–2011 году российские публикации в журнале были практически полностью замещены китайскими.

Рис. 12. Динамика импакт-фактора и доли российских публикаций в журналах

Таким образом, при формировании издательского портфеля редакциям журналов, особенно тех, которые уже индексируются в международных базах, в первую очередь следует обращать внимание, кроме, естественно, качества самих публикаций, и на международный состав авторов, разнообразие которого привлечет больший спектр читателей и будет способствовать повышению цитируемости, а следовательно, и рейтинга журнала. Это же актуально и для новых журналов, планирующих свою деятельность, и для остальных российских журналов.

Однако на сегодняшний день самым реальным тактически представляется расширение международного сотрудничества, увеличивающего как долю международных публикаций, так и возможность публикаций российских авторов в рейтинговых международных журналах. Эффективным также может оказаться расширение практики публикации научных результатов в журналах открытого доступа или использование опции открытого доступа в журналах с гибридной моделью публикации. Открытый доступ способствует более быстрому цитированию научных статей, т.е. оказывает существенное влияние на показатели цитируемости, используемые при составлении рейтингов университетов [12].

На уровне каждого конкретного университета возможны следующие направления, способствующие как повышению публикационной активности, так и лучшему представлению научных результатов университета в международных индексах цитирования.

Административные меры:

• строгая регламентация указания названия университета как места работы автора в публикациях, что позволит избежать ошибок и неточностей при индексации публикаций университета;

• введение требований по наличию публикаций при проведении конкурсов на замещение должностей научно-педагогических работников, позволяющее повышать уровень кадрового состава.

Стимулирующие меры:

• установление доплат или премирование в зависимости от количества публикаций в международных базах, их цитирования;

• компенсация оплаты публикаций открытого доступа в рейтинговых журналах и т.д.;

• повышение квалификации научно-педагогических работников, обучение аспирантов и студентов основам академического письма, использование электронных ресурсов и наукометрических инструментов для планирования своей научной деятельности.

Инфраструктурные меры: расширение подписки на электронные ресурсы, позволяющие ученым знакомиться с самой актуальной научной информацией и планировать направления своих исследований в соответствии с мировыми трендами, модернизация научного оборудования и др.

Все это позволит развивать научные исследования, представляющие интерес для мирового научного сообщества и, следовательно, способствующие появлению научных публикаций высокого уровня.

[1] Ранее, до 10 января 2014 года – Web of Science.

[2] Ранее – Web of Knowledge.

[3] С лета 2014 г. доступна новая версия сайта highlycited.com.