Заметки к вопросу об эффективности использования различных наукометрических показателей и критериев эффективности научных исследований

... Проверил

Я алгеброй гармонию...

А.С. Пушкин

Специалистами Группы Компаний ABC Translations (The ABC-Translations Group of Companies) как со страниц печатных изданий, так и в устной форме на всевозможных научных мероприятиях высказывалась позиция по вопросам и проблемам объективной оценки научного вклада той или иной публикации, того или иного автора в развитие науки в целом. В частности, нами высказывалась определенная точка зрения в отношении т.н. научного цитирования, а точнее обеспечения самой возможности корректного цитирования. Поскольку одним из приоритетных направлений работы нашей организации является, помимо оказания услуг аутентичного перевода, поддержка научно-издательской деятельности, наши клиенты нередко обращаются к нам с запросами о повышении “научного статуса” журнала различными средствами (как то: организация обмена статей, привлечение иностранных рецензентов и авторов и т.п.). Вследствие этого нами накоплен определенный опыт в данной сфере, который мы и хотели бы обобщить или, если угодно, изложить в более упорядоченной форме в данной статье.

Как известно, в качестве основы оценки эффективности научной мысли и продуктивности работы различных научных единиц (институтов, команд, индивидуумов) сегодня активно используются наукометрические методы – такие как количество научных статей, опубликованных в определенный период времени, цитируемость и т. д.

Прежде всего, определимся с основными, краеугольными понятиями, которые будут использоваться нами в данной статье.

Первое из них – это понятие цитируемости. Цитируемость научной единицы – научной публикации – обычно принято определять или, если угодно, измерять с помощью Индекса Цитирования (ИЦ). Индекс цитирования является одним из самых распространенных наукометрических показателей и применяется для формальной оценки в научных кругах и кругах государственных служащих многих стран.

Индекс цитирования научных статей (ИЦ) – реферативная база данных научных публикаций, индексирующая ссылки, указанные в пристатейных списках этих публикаций, и предоставляющая количественные показатели этих ссылок (такие как суммарный объём цитирования, индекс Хирша и др.).

Бытует мнение, что понятие индекса цитирования было предложено известным советским и впоследствии российским учёным В. В. Налимовым, однако понятие это, в действительности, появилось гораздо раньше, благодаря исследованиям и работам Франка Шепарда (Цитирование Шепарда) (Frank Shepard (1848–1902), книготорговец, работавший для издателей юридической литературы в Чикаго). Цитирование Шепарда представляет собой индекс цитирования (citator), используемый в США для исследований в области юриспруденции и обеспечивающий формирование списка всех лиц, на которых есть ссылки в определенном судебном деле, законе или акте, а также иных юридических текстах или документах. Сам глагол «Шепардизировать» (Shepardizing) относится к процессу Шепардовского консалтинга, позволяющего установить, было ли конкретное дело возвращено на повторное рассмотрение, либо решение по делу было утверждено, оспорено, и цитировалось ли данное дело в исторически более поздних судебных процессах. И, хотя само его наименование и представляет собой торговую марку, он неформально используется профессионалами в области юриспруденции для описания индексов цитирования. Франк Шепард начал публиковать свои списки еще в 1873 году под наименованием Shepard’s Adhesive Annotations. В настоящее время права на индекс Шепарда принадлежат компании LexisNexis (дочерней компании Reed Elsevier с 1994 года).

В 1960 году Юджин Гарфилд (Eugene Garfield) разработал индекс SCI (Science Citation Index (SCI), который в дальнейшем получил весьма широкое распространение. На этот индекс во многом оказала влияние методология, принятая для индекса Шепарда (She pard's Citations). Индекс SCI применяется для статей в научных журналах, он позволяет узнать, в каких ещё публикациях цитируется та или иная статья. SCI также обеспечивает подсчет количества цитирований по каждой статье, формируя, таким образом, индекс цитирования наиболее цитируемых статей и журналов. В свою очередь, данный индекс вдохновил ученых на исследования в части возможности разработки более совершенных индексов цитирования, среди которых можно назвать метод, разработанный Габриэлем Пински (Gabriel Pinski) и Френсисом Нариным (Francis Narin) в 1976 г., и в дальнейшем оказавший существенное влияние на алгоритм анализа связей PageRank, разработанный Сергеем Брином (Sergei Brin) и Ларри Пейджем (Larry Page). Этот алгоритм стал ядром поисковой системы Гугл (Google).

Эти и многие другие системы цитирования предлагают также возможности своего рода оценки “продуктивности” того или иного учёного, научного издания, учреждения и т.п., минимизируя или же вовсе исключая при этом элемент субъективизма.

Особое место в плеяде наукометрических показателей и индексов занимает Индекс Хирша или h-индекс. «h-индекс», или индекс Хирша – это наукометрический показатель, предложенный в 2005 году американским физиком Хорхе Хиршем из университета Сан-Диего, Калифорния. Индекс Хирша является количественной характеристикой продуктивности учёного, группы ученых, университета или страны в целом, основанной на количестве публикаций и количестве цитирований этих публикаций.

Индекс вычисляется на основе распределения цитирований работ данного исследователя. В частности, сам Хирш писал так:

Учёный имеет индекс h, если h из его Np статей цитируются как минимум h раз каждая, в то время как оставшиеся (Np – h) статей цитируются не более чем h раз каждая.

Иными словами, учёный с индексом h опубликовал h статей, на каждую из которых сослались как минимум h раз. Так, если у данного исследователя опубликовано 100 статей, на каждую из которых имеется лишь одна ссылка, его h-индекс равен 1. Таким же будет h-индекс исследователя, опубликовавшего одну статью, на которую сослались 100 раз. В то же время (что представляет собой более реалистический случай), если среди публикаций исследователя имеется 1 статья с 9 цитированиями, 2 статьи с не менее чем 8 цитированиями (включая уже упомянутую статью с 9 цитированиями), 3 статьи с не менее чем 7 цитированиями, …, 9 статей с не менее чем 1 цитированием каждой из них, то его h-индекс равен 5 (т.к. на 5 его статей сослались как минимум по 5 раз). Обычно распределение количества публикации N(q) в зависимости от числа их цитирований q в очень грубом приближении соответ ствует гиперболе: N(q) ≈ const × q⁻¹. Координата точки пересечения этой кривой с прямой N(q) = q и будет равна индексу Хирша.

Индекс Хирша был разработан, чтобы дать более адекватную оценку научной продуктивности исследователя, чем это в состоянии сделать такие простые характеристики как общее число публикаций или общее число цитирований. Индекс хорошо работает лишь при сравнении учёных, работающих в одной области исследований, поскольку традиции, связанные с цитированием, отличаются в разных отраслях науки (например, в биологии и медицине h-индекс намного выше, чем в физике). Что немаловажно, индекс Хирша вычисляется с использованием бесплатных общедоступных баз данных в Интернете.

Однако, при всех его положительных сторонах, индекс Хирша нельзя назвать ни идеальным наукометрическим показателем, ни показателем, который в состоянии решить пресловутую «корневую проблему» наукометрии. Например, весьма нетрудно спрогнозировать ситуацию, когда h-индекс даёт совершенно неверную оценку значимости исследователя. В частности, короткая карьера учёного приводит к недооценке значимости его работ. В частности, h-индекс Эвариста Галуа (Évariste Galois), «отца» современной высшей алгебры равен всего 2 (!) и останется таким навсегда. Если бы Альберт Эйнштейн Albert Einstein, не приведи господь, умер в начале 1906 г., его h-индекс остановился бы на 4 (!) или максимум 5 (!), несмотря на чрезвычайно высокую значимость статей, опубликованных им в 1905 г.

Индекс цитирования постоянно подвергается критике как показатель, статистически недостоверный, зависящий от области знаний (у биологов и медиков больше, чем у физиков, а у физиков, соответственно, больше, чем у математиков), от суммарного количества специалистов по тому или иному разделу науки, от текущей популярности исследования (в «горячих» областях работы цитируются лучше, чем пионерские или выходящие за рамки текущей ситуации в науке), от географии журнальных публикаций, возраста исследователя, от возможной «накрутки», как «обезличенный» показатель и т. д. и т.п.. Авторам данной статьи к этой критике уже фактически нечего добавить.

Альтернативой индексу цитирования является оценка по импакт-фактору научных журналов. Импакт-Фактор (ИФ, или IF) — численный показатель важности научного журнала. С 1960-х годов он ежегодно рассчитывается Институтом научной информации (англ. Institute for Scientific Information, ISI), который в 1992 году был приобретён корпорацией Thomson и ныне называется Thomson Scientific и публикуется в журнале Journal Citation Report. В соответствии с ИФ (в основном в других странах, но в последнее время всё больше и в России) оценивают уровень журналов, качество статей, опубликованных в них, дают финансовую поддержку исследователям и принимают сотрудников на работу — то есть, все то же и все так же, как в случае с прочими наукометрическими показателями и индексами. На сегодня абсолютное большинство специалистов сходятся во мнении, что хотя Импакт-фактор и имеет большое влияние на оценку результатов научных исследований, но вот оценивать это самое влияние однозначно нельзя.

Согласно алгоритму, расчёт импакт-фактора основан на трёхлетнем периоде. Например, импакт-фактор журнала в 2011 году I2011 вычисляется следующим образом: I2011 = A/B, где: A — число цитирований в течение 2011 года в журналах, отслеживаемых Институтом научной информации, статей, опубликованных в данном журнале в 2009—2010 годах; B — число статей, опубликованных в данном журнале в 2009-2010 годах. Все кажется простым и понятным, однако, в расчёте есть несколько нюансов: Институт научной информации исключает из расчётов некоторые типы статей (сообщения, письма, списки опечаток и т. д.), и для новых журналов импакт-фактор иногда рассчитывается только для двухлетних периодов. А отсюда, вывод прост: наложенные ограничения, являясь достаточно «валюнтаристскими» по своей сути, имманентно поддерживают «принцип неравновесности». А если их исключить, то все выглядит еще хуже. Например, непонятно, насколько или в какой мере собственно само число цитирований показывает качество статьи. Кроме того, в журналах с длительным временем публикации оказываются статьи, которые ссылаются на публикации, не попадающие в трёхгодовой интервал. Действительно, ведь ни для кого не секрет, что в некоторых журналах время между принятием статьи и публикацией составляет более двух лет, таким образом, остаётся всего год на ссылки, которые учитываются в расчётах. С другой стороны, увеличение временного промежутка, в котором учитывается цитирование, сделает импакт-фактор менее чувствительным к изменениям, а, соответственно, ошибка растет чисто статистически.

Эксперты в большинстве своем сходятся во мнениях, выделяя следующие положительные и отрицательные свойства импакт-фактора:

Положительные свойства ИФ:

• широкий охват научной литературы (более 8400 журналов из 60 стран);

• результаты публичны и легкодоступны;

• простота в понимании и использовании;

• журналы с высоким ИФ обычно имеют более жёсткую систему рецензирования, чем журналы с низким ИФ.

Наиболее очевидные недостатки ИФ (они прямо вытекают из наших рассуждений выше):

• число цитирований, на самом деле, не отражает качество исследования, впрочем, как и само число публикаций;

• промежуток времени, когда учитываются цитирования, слишком короток (классические статьи часто цитируются даже через несколько десятилетий после публикации);

• природа результатов в различных областях исследования приводит к различной частоте публикации результатов, которые оказывают влияние на импакт-факторы.

Несмотря на вышеуказанные недостатки данных методов, оценка научной продуктивности по базам научного цитирования в настоящее время широко распространена. Поддерживается она, однако, не всем научным сообществом. Существует и такая точка зрения (разделяемая, в частности, авторами данной статьи), что наука, как один из наиболее интеллектуально требовательных и сложных видов человеческой деятельности, не может быть просто оценена по универсальной «наукометрической» формуле.

Так, например, эта точка зрения высказывалась О.В. Михайловым в статье “Индекс цитирования ученого: важнейший ли это критерий качества его научной деятельности? ” (Михайлов О.В. Цитируемость ученого: важнейший ли это критерий качества его научной деятельности? [Электронный ресурс]/ Михайлов О.В. – Режим доступа: http://vivovoco.rsl.ru/VV/JOURNAL/SCILOG/CITATION.HTM. Дата обращения: 08.05.2013). Приведём пару цитат из данной публикации:

“…можно ли считать справедливым сам тезис, что цитируемость или даже востребованность работ ученого является критерием их научной ценности? Классическим примером здесь может служить первоначальное негативное отношение математиков (да и не только их) к работам Н.И. Лобачевского по неэвклидовой геометрии, которую они восприняли едва ли не в штыки, и ни о какой востребованности их и речи быть не могло. Прозрение пришло к ним лишь через 12 лет после смерти великого русского геометра”.

“Как быть с тем обстоятельством, что фактически в любой отрасли науки сосуществуют как открытые исследования, содержание которых доступно неопределенному количеству лиц, так и ограниченные по степени информационного доступа исследования с тем или иным грифом секретности? Наверное, ни для кого не секрет, что ученые, работающие даже по тематикам с грифом «для служебного пользования» (не говоря уже о засекреченных) если и цитируются вообще, то крайне незначительно по сравнению с учеными, работающими по открытым тематикам; более того, нередко в открытой печати невозможно найти даже сами фамилии таких исследователей. О С.П. Королеве, И.В. Курчатове и А.Д. Сахарове, имена которых золотыми буквами навсегда вписаны в историю российской и мировой науки, широкая научная общественность услышала лишь после того, как эти ученые либо сами фактически отошли от дел (Курчатов, Королев), либо были изгнаны властями из соответствующей «закрытой» отрасли науки и встали в открытую оппозицию им (Сахаров)”.

Что может стать достойной заменой данным методам? По нашему мнению, только экспертная оценка. Экспертная оценка или рецензирование представляет собой процедуру рассмотрения научных статей и монографий учеными-специалистами, ведущими научную деятельность в той же области, что и автор публикации (отсюда название в некоторых языках — «рассмотрение коллегами», «равными»: англ. peer review, исп. revisión por pares). Поскольку отзыв специалистов, вне зависимости даже от его конкретного содеражния, является своего рода «актом принятия» работы, да и, собственно, самого ее автора в научный дискурс. Ведь так и только так он становится его участником, «равным среди равных». То есть, рецензирование представляет собой сопричастность в противовес формальной статистической метке или величине.

Цель рецензирования до публикации — удостовериться в точности и достоверности изложения и, в случаях, когда это необходимо, добиться от автора следования стандартам, принятым в конкретной области или науке в целом. Публикации произведений, не прошедших рецензирования, часто воспринимаются с недоверчивостью профессионалами во многих областях, хоть это и есть проявление «формализма чистой воды». Рецензирование используется издателями для отбора и оценки представленных рукописей. После публикации рецензирование может быть использовано в качестве рекламы публикации, в этом случае, в отличие от предыдущего, рецензия также публикуется в открытой печати. И это уже один из инструментов как раз того самого пресловутого продвижения как самой статьи, так и журнала, с вопроса о котором мы и начали наши рассуждения.

Одновременно со сказанным о рецензировании выше, следует отметить еще и то, что научно-исследовательские организации и ВУЗы, а также различные финансирующие организации и фонды зачастую инициируют и осуществляют процедуру рецензирования при оценке продуктивности учёных или для принятия решений о выделении средств на исследования, проводимые данными учёными.

Обязательному рецензированию подвергаются также диссертации на соискание учёных степеней, а нередко и дипломные проекты выпускников высших учебных заведений. Именно поэтому концепция рецензирования в настоящее время активно ставится «в противовес» стандартной ВАК-овской процедуре защиты диссертаций. И, заметьте, эта концепция в настоящее время находит все большую и большую поддержку среди «сильных мира сего». Зададимся вопросом: почему? Возможно, потому, что это уход от сухой статистической формализации и «обезличивания» в «живой поток» реального научного дискурса?

Но обратимся к тем выводам, к которым пришли авторы в процессе своих исследований и написания данной статьи. Осмелимся предположить, что многие читатели в процессе ознакомления с материалом, изложенным здесь, самостоятельно и даже сами того не желая могли прийти к выводам абсолютно аналогичным.

Выражаясь образно словами Р. Блэкмора (R.Blackmore): «We believe we’ll catch the rainbow...» (англ. Мы верим, что нам удастся поймать радугу...). Это мы вот к чему: а не кажется ли вам, уважаемые друзья и коллеги, что «механистические» подходы к социальным явлениям, попытки их вычислить и измерить в формальных понятиях стохастических функций, а тем более посредством их прогнозировать, исчерпали себя уже в XIX веке? И все споры и «порча копий» на тему того, какой из множества коэффициентов, индексов и фактором лучше, какой из них дает более точный «срез реального вклада в науку» представляются автором не более состоятельными, чем споры даже не о «кислом и соленом», а о, скажем, «кислом и квадратном». И авторы отдают себе полный отчет в том, какой шквал критики рискуют они навлечь на себя, особенно в нашей стране, где любой спор моментально теряет свою корректность и аргументированность, переходя прямо на личности и персоналии оппонентов. Уже сейчас мы предвидим возмущённые возгласы: «Да кто они такие?», «Да что они себе позволяют?» и т.п.

Но, уважаемые коллеги, давайте задумаемся, что на сегодня все-таки может быть реальной оценкой значимости, ценности и достоверности того или иного исследования, статьи, работы, монографии? Формальные коэффициенты? Или все-таки аргументированные развернутые отклики — по сути, рецензии на статьи, отчеты, протоколы? На одной чаше весов мнение экспертов, а на другой формальные индексы, которые, кстати, при известном «усердии и провории» можно себе и обеспечить. Мнение экспертов, возразят нам, тоже «легко» обеспечивается, особенно в России.

Но ведь наука не живет в какой-то одной стране — она по своей имманентной сути интернациональна, даже наднациональна. И отсюда выход — ключ к решению проблемы, ключ к пониманию реальных ценностей, даже просто оценке вклада в науку лежит в этом же интернациональном, международном поле, где и осуществляется современный научный дискурс. Ключ к решению проблемы — в международном рецензировании результатов научных исследований, в публичности и доступности выводов и соображений, рассуждений их авторов.

Безусловно, изрядная доля критики, которая может быть направлена в сторону системы рецензирования, справедлива. Любой метод имеет свои огрехи. И даже более того, касательно рецензирования эти огрехи не исчерпываются вышеупомянутыми.

Так, например, в последнее время появились попытки проверить систему рецензирования (своего рода fool-proof test) на прочность путём предоставления явно бессмысленных произведений, но написанных псевдонаучным языком. Успешные попытки такого рода принадлежат компьютерной программе SCIgen — это несколько статей, сгенерированных случайным образом, были приняты к публикации в американском, иранском и российских журналах.

SCIgen — компьютерная программа, генерирующая случайный текст, отдаленно напоминающий научную статью, содержащую иллюстрации, графики и примечания. Заявленное разработчиками назначение программы: «автоматическое генерирование тезисов для конференций, подозреваемых в низком цензе приёма».

Так, в 2005 году «статья» «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy» была принята к публикации (без рецензирования статьи) WMSCI (World Multi-Conference on Systemics, Cybernetics and Informatics – англ. Всемирная многоотраслевая конференция по систематехнике, кибернетике и информатике) и авторы были приглашены на конференцию. Авторы рассказали о мистификации на своём сайте, в результате чего конференция WMSCI лишилась финансовой поддержки со стороны IEEE (Institute of Electrical and Electronics Engineers — Институт инженеров электротехники и электроники). Возможно ли найти более яркое доказательство полной несостоятельности формализации подходов?

Позже созданные с помощью программы «статьи» были приняты к публикации на конференциях IPSI-BG и International Symposium of Interactive Media Design. Студент из Ирана под псевдонимом Мосалла Нежад подал такую статью в журнал Applied Mathematics and Computation, где её приняли, но успели изъять до печати после объяснения, что это была мистификация. Что это? «Скверный анекдот» или все же «Дядюшкин сон», если заимствовать терминологию у классиков? Нет, это всего лишь неминуемый результат, к которому приводит любая «формализация» в данной сфере.

Подобный «скверный анекдот» в нашей стране перешел уже в стадию скандала. Так, в сентябре 2008 года российский «Журнал научных публикаций аспирантов и докторантов» опубликовал рецензированную статью «Корчеватель: алгоритм типичной унификации точек доступа и избыточности», являющуюся компьютерным переводом (Googl-ить мы все горазды, но, справедливости ради, как профессионалы перевода добавим, что все же с некоторой ручной правкой перевода) пресловутой вышеупомянутой английской статьи «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy». Статья была опубликована под именем вымышленного автора Михаила Жукова. Текст был отправлен для публикации сотрудниками газеты «Троицкий вариант», решившими продемонстрировать низкое качество системы научных публикаций и рецензирования. Статья получила следующие оценки рецензента: «Актуальность работы: высокая; Выбор объекта исследования: правильный. Определение задач и целей работы: логичное. Новизна научного материала: отличная(!). Степень разработанности темы: достаточная. Структурированность работы: хорошая. Методическая ценность: отличная (!). Стиль изложения: неудовлетворительный. Практическая эффективность: отличная» (!). Претензии рецензента сводились всего лишь (!) к ненаучности, по его мнению, отдельных выражений («Стиль изложения может быть хорош для газетной статьи, не для научной!»), после их исправления статья была принята и опубликована. После чего, 17 октября 2008 года решением президиума Высшей аттестационной комиссии (ВАК) Министерства образования и науки Российской Федерации журнал «Журнал научных публикаций аспирантов и докторантов» был исключён из Перечня ведущих рецензируемых научных журналов и изданий (так называемого «Списка ВАК»), в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёных степеней доктора и кандидата наук.

А ведь не считая «репрессивной составляющей» описанного здесь нами скандала, авторы склонны считать этот эксперимент удачным и положительным. А результат его — так, вообще, просто, отличным! Важным в данном опыте, по нашему мнению, является не то, что были выявлены случаи недобросовестной, халатной практики рецензирования и вычитки поступающих в редакции научных или подаваемых под видом таковых текстов. Важно то, что уже существуют эффективные методы выявления таковых!

Давайте же обратимся к опыту предыдущих поколений. Что делал ученый, скажем, в том же XIX веке, сделав какое-либо открытие или придя к важным умозаключениям? Он писал письма коллегам, то есть фактически просил их дать оценку его труда — рецензию. Причем письмо писалось не одно, а масса — в разные страны, ведущим умам в своей области.

Так почему же мы сегодня, когда процесс обмена информацией ускорился в разы, да что там — в сотни, в тысячи раз — благодаря современным средствам телекоммуникаций и Интернету, всеми силами стараемся загнать живую научную мысль в «прокрустово ложе» формальной статистики?