Что и как измерять в науке

Наукометрические методы в настоящее время активно используются при оценке эффективности деятельности научных коллективов, при распределении грантов и других ресурсов, необходимых для проведения научных исследований, при принятии административных решений в сфере науки и образования.

Анализ данных о цитировании, как один из методов оценки научной деятельности, позволяет выявить степень влияния того или иного исследования на развитие науки, вклад в науку отдельных ученых и организаций, однако необходимо учитывать и другие характеристики, отражающие различные стороны научно-исследовательской работы. Принятие решений, связанных с вопросами управления научными исследованиями, определением рейтинга отдельных ученых и научных учреждений, должно осуществляться на базе многоаспектного анализа научной деятельности.

Наукометрические показатели могут способствовать формированию взвешенного экспертного суждения. Однако, как указывает Ю. Гарфилд, использование количественных данных без должного предварительного обучения обращению с ними и критического взгляда может воспрепятствовать прогрессу исследований и научных сотрудников. В связи с этим актуальной задачей является грамотная и корректная трактовка наукометрических индикаторов.

Подготовленное компанией Thomson Reuters совместно с Уральским федеральным университетом «Руководство по наукометрии: индикаторы развития науки и технологии» [1] позволяет познакомиться с методологией современной наукометрии и ее основными инструментами, призвано помочь решить сложную задачу по оценке результативности отдельных ученых и научных коллективов, найти ответы на ключевые вопросы наукометрии.

Данная монография представляет собой обзор ряда современных методик мониторинга библиометрических показателей и оценки эффективности научных исследований и технологий. Руководство включает в обобщенном и систематизированном виде материалы, которые освещают различные аспекты наукометрии и могут стать основой для практического применения наукометрических методов. Приведенные в книге примеры иллюстрируют связь практических аспектов использования наукометрии с теоретическими исследованиями в области измерения науки и технологий.

Авторами книги являются известные специалисты в области наукометрии: заместитель директора Центра мониторинга науки и образования Уральского федерального университета имени первого Президента России Б.Н. Ельцина Марк Акоев; заведующая отделением научно-информационного обслуживания РАН и регионов России Всероссийского института научной и технической информации РАН, доктор педагогических наук Валентина Маркусова; советник директора Научной библиотеки им. М. Горького Санкт-Петербургского государственного университета, кандидат биологических наук Ольга Москалева; заместитель директора библиотеки Национального исследовательского университета «Высшая школа экономики», кандидат физико-математических наук Владимир Писляков.

Во вводной главе В.А. Маркусовой представлена история уникальной идеи Ю. Гарфилда по использованию библиографических ссылок в качестве средства научного поиска, его деятельность по воплощению этой идеи в жизнь в форме универсального инструмента для научного поиска – Science Citation Index. Рассматриваются история методов анализа цитирования и их применение для изучения развития научных идей и направлений, изучения социальной структуры науки и сетей научного соавторства. Прослеживается зарождение и становление наукометрии, развитие ее методологии и создание новых информационных продуктов на основе новейших достижений информационных технологий на примере платформы Web of Science. Автором отмечается непрерывно возрастающая потребность государственных органов всех стран в использовании библиометрических индикаторов как средства оценки эффективности научной деятельности университетов и научных организаций. Важным этапом в использовании библиометрических ресурсов стало создание мировых рейтингов университетов.

В главе «Наука, технология и общество» М.А. Акоевым рассматриваются возможности и ограничения в применении наукометрии при принятии решений о выделении ресурсов для поддержки научной работы. Наукометрия может быть использована как одна из составляющих процесса распределения ресурсов, причем не только лицами, принимающими решения, но и соискателями. Наукометрия, с некоторыми ограничениями, может сделать более доступной информацию в процессах принятия решения, но она не может быть применена для всех областей научной деятельности. Подчеркивается важность привлечения экспертов в предметной области к проведению оценок. Описаны подходы к построению экспертных оценок количественных и качественных показателей научной продуктивности. Для составления оценки научной деятельности, помимо экспертных и наукометрических оценок, основанных на библиометрических показателях, необходимо учитывать, какие ресурсы выделялись на проведение исследований и сколько людей работало на получение результата.

Предпринимается попытка выявления причин роста интереса и востребованности методов наукометрии со стороны администрации научных заведений и государственных органов управления. Одна из причин востребованности наукометрических методов оценки как дополнения к экспертным решениям – это возможность быстрее и дешевле получить доступ к уже сформулированным результатам экспертной оценки с учетом всех ограничений на получение и интерпретацию результата.

Уделяется внимание рассмотрению вопроса учета численности научного персонала и ресурсного обеспечения научной деятельности для оценки эффективности научного и технологического процессов, а также вопрос численности ученых и вариантов измерения научной продуктивности. Представлена картина взаимосвязей и задержки времени появления измеримых артефактов научной и технологической продукции.

Рассмотренные в главе два «полярных» подхода к оценке научной результативности, а именно экспертное оценивание и опора на наукометрию, не являются взаимоисключающими. Каждый из них обладает своими преимуществами. Только объединив оба подхода в рамках процесса принятия решения и вовлекая в процесс все заинтересованные стороны, при условии максимальной прозрачности методов, которыми получены оценки, можно достичь результата, способствующего развитию науки и технологии для общественного блага.

Важное значение имеет глава «Библиометрические индикаторы в ресурсах Thomson Reuters», в которой В.В. Писляковым представлены основные библиометрические показатели и примеры расчетов с использованием конкретных инструментов. В главе рассказывается о содержании баз данных научного цитирования, наполнении и функциях инструментов, предоставляемых Thomson Reuters, об импакт-индикаторах, измеряющих среднюю цитируемость в расчете на одну статью; о самоцитировании в научной литературе; о подходах к кросс-дисциплинарному сравнению библиометрических характеристик, прежде всего, при помощи нормализованных индикаторов с различными способами нормализации; рассматриваются показатели «экстремальной» (предельной) цитируемости, к которым отнесены доля высокоцитируемых статей и коэффициент нецитируемости, «взвешенные» индикаторы, учитывающие при подсчете цитируемости научный уровень цитирующих журналов, индекс Хирша и некоторые его модификации, показатели, характеризующие хронологическую структуру распределения ссылок.

Содержание главы «Научные публикации как средство коммуникации, анализа и оценки научной деятельности», подготовленной О.В. Москалевой, составляют история создания и характеристики научных журналов, формирование баз научных публикаций, связь наукометрических показателей с природой научной коммуникации, информация о существующих теориях цитирования и основанных на показателях цитирования способах оценки качества журналов, научной деятельности отдельных ученых, организаций и стран.

Важное место отводится источникам информации о публикациях для оценки научной деятельности. Четкое указание источника получения сведений о публикациях и цитированиях имеет огромное значение. Это связано с тем, что различные базы данных формируются по совершенно разным принципам. Google Scholar и Microsoft Academic Search формируются на основании данных Интернет, что, безусловно, обеспечивает максимальную широту представленных материалов, но, с другой стороны, в эти системы не попадают сведения из закрытых источников и публикации, отсутствующие в электронном виде, что в определенной степени ограничивает их возможности. Кроме того, Google не может полностью гарантировать достоверность информации.

Международные индексы цитирования охватывают наиболее значимые журналы в каждой отрасли знаний, в то время как национальные индексы цитирования руководствуются принципом максимального охвата всего сегмента национальных научных публикаций. Профильные базы данных, например, такие, как AGRIS, формируются посредством отбора конкретных статей по определенной тематике, в данном случае сельскохозяйственного профиля.

К тому же даже размещенные на одной и той же платформе (например, на платформе Web of Science) различные базы данных формируются по разным принципам. В связи с этим, сообщая данные о количестве публикаций, цитировании, индексе Хирша и других показателях, необходимо обязательно указывать, на основании какой конкретной базы данных они получены.

Значительное внимание уделяется описанию отличительных особенностей публикаций в разных научных областях и возможных подходов к сравнительному анализу цитирования публикаций в разных областях знаний. Различия в публикациях представителей естественнонаучных и социально-гуманитарных наук проявляются в количестве соавторов, распределении по типам публикаций, источниках, на которые ссылаются исследователи.

Отдельно рассматриваются альтернативные цитированию способы оценки публикаций и использование библиометрических показателей при построении рейтингов университетов и научных организаций. С развитием интернет-технологий начали развиваться способы оценки публикаций, отличные от привычных библиометрических методов. Это способы оценки публикаций не по числу их цитирований в базах данных, а по их реальному использованию или по уровню интереса к публикациям, который также может быть измерен и выражен в совершенно конкретных значениях. Особенно это актуально в отношении тех областей науки, в которых цитирования, как правило, могут не быть реальным отражением их ценности. Инструментами быстрого анализа популярности научной литературы, помогающей сделать выбор в пользу тех или иных из огромного количества опубликованных статей, являются такие показатели, как загрузка статей, их упоминания в социальных сетях, научных блогах, обсуждения статей читателями на сайтах журналов и т.д. К показателям, которые используются для оценки результатов научной деятельности, также относятся различные финансовые показатели, характеризующие научную деятельность (например, полученные гранты), участие в конференциях, количество объектов интеллектуальной собственности и доходы от внедрения патентов, количество созданных компаний, внедряющих научные достижения института или университета, их финансовое состояние. Для адекватной оценки научной деятельности предлагается использовать весь спектр показателей, учитывающих как различия по областям знаний, так и размеры организаций, дополняя их показателями, альтернативными библиометрическим.

Актуальным является использование приемов визуализации в связи с необходимостью выявления закономерностей в больших объемах информации. В главе «Картирование науки и технологии, прогноз развития» М.А. Акоевым дана характеристика методов визуализации наукометрической информации, рассматриваются вопросы визуализации взаимосвязей документов в тематическом, семантическом, хронологическом и географическом представлениях на примерах публикаций из различных указателей цитирования и патентных баз. Описаны методы проведения анализа набора документов с использованием такой визуализации.

Использование приемов визуализации данных позволяет сократить затраты на нахождение зависимостей и в дальнейшем – на представление результатов анализа. Помимо построения диаграмм к ним относится также и представление сложноорганизованной информации в формате карт (картирование), на которых можно показать связи анализируемых элементов. С вопросами картирования наукометрической информации тесно связаны задачи построения прогноза развития науки и технологии и задачи повышения качества существующих и развития новых направлений исследований в научных организациях

В главе рассмотрены вопросы ограничений в прогнозировании научно-технического развития и аспекты повышения качества существующих научных направлений и развития новых направлений в организации.

Содержание книги удачно дополняют три статьи родоначальника наукометрии Юджина Гарфилда, который, как справедливо отмечает В.А. Маркусова, должен был бы стать первым лауреатом Нобелевской премии по информатике, наукометрии и социологии науки, если бы таковая существовала. Статьи «Их ошибки, наши ошибки и ваши ошибки», «Русские идут!» (представляющая собой рейтинг100 самых влиятельных советских ученых 1973–1988 и 50 самых цитируемых советских статей за 1973–1988 гг. в Science Citation Index) и «Эволюция Science Citation Index», впервые опубликованные на русском языке с любезного согласия автора, демонстрируют его интерес к науке СССР и России.

В отличие от Российской Федерации, где «существует довольно большое библиометрическое сообщество, проводящее исследования в разных организациях», исследователи Республики Беларусь пока только приступают к организации библиометрических исследований. Из завершенных работ можно назвать исследования «Мониторинг научно-технического интеграционного процесса России и Белоруссии» (2007–2009)» и «Разработка системы библиометрических индикаторов для оценки вклада различных фондов в совместные научные исследования России и Беларуси» (2010–2011), осуществленные на базе Центральной научной библиотеки имени Я. Коласа Национальной академии наук Беларуси совместно с Библиотекой по естественным наукам Российской академии наук. Как научный руководитель указанных проектов должна признать актуальность выхода «Руководства по наукометрии», которое может стать полезным пособием не только по организации практической работы по оценке результативности деятельности отдельных исследователей и научных коллективов, но и по проведению научных исследований наукометрического характера, прежде всего исследований, связанных с анализом совместной научной деятельности ученых разных стран.

[1]Руководство по наукометрии: индикаторы развития науки и технологии / М.А.Акоев, В.А.Маркусова, О.В.Москалева, В.В.Писляков; [под. ред. М.А.Акоева]. – Екатеринбург: Изд-во Урал. ун-та, 2014.– 250 с.