Категории и критерии оценки российских журналов и программы их развития

Благодарности: работа поддержана Государственным контрактом «Разработка и внедрение инструментов демонстрации и популяризации научно-исследовательских и научно-технических работ и достижений в образовании и науке, стимулирующих формирование положительной оценки в освещении актуальных процессов в области научных исследований, интеллектуальных технологий» (ГК 14.597.11.003, шифр 2014-14-597-0006) в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы» (Мероприятие 3.3.1 – IV очередь-1), заказчик работ – Министерство образования и науки РФ.

ВВЕДЕНИЕ

В связи с тем, что на протяжении нескольких десятков лет государство не уделяло серьезного внимания развитию научных изданий, в т.ч. научных журналов, состояние и качество научного редакционно-издательского комплекса пришло в серьезный упадок, значительно отстав в своем развитии от зарубежного. Также значительно упал уровень публикуемых в российских научных журналах статей. Это касается в том числе и журналов, издающихся уже многие десятилетия. Можно назвать много причин, создавших такую ситуацию. Они относятся и к низкому качеству подаваемых авторами рукописей, и к отсутствию в журналах соответствующего уровня организации и развития редакционно-издательского процесса, отсутствию знания в редакциях и издательствах международных форматов и стандартов и другим причинам, не позволяющим журналам достичь авторитетности и признания в мировом научном сообществе. Необходимость получения более объективной информации о публикациях российских ученых и улучшения «видимости» для мирового сообщества достижений науки и технологий России, в первую очередь по глобальным индексам цитирования (ГИЦ) Web of Science и Scopus, вызвало интерес к задаче расширения присутствия в этих индексах российских журналов. Безусловно, представление большей части российских ведущих журналов в ГИЦ способствовало бы увеличению публикаций российских ученых, видимых международному сообществу, а также улучшению их читаемости и цитируемости зарубежными учеными-коллегами. Однако достижение «читаемости» и «цитируемости» российских публикаций возможно только при условии соответствия качества и публикаций, и журналов в целом международным стандартам, на которые ориентируются производители и эксперты ГИЦ при отборе научных журналов для индексирования в этих ресурсах. Отбор изданий в ГИЦ осуществляется по критериям, которые в совокупности дают представление о требованиях к журналам международного уровня.

Оба названных конкурирующих между собой информационных ресурса, на которые ориентируется в настоящее время весь мир при определении эффективности и конкурентоспособности проводимых в своих странах научных исследований, достаточно широко и открыто информируют потенциальных поставщиков научных изданий о критериях, которые они используют при оценке и отборе изданий в системы [1-4]. Одновременно с этим опыт работы российского специалиста, одного из авторов данной статьи, в качестве эксперта в международном экспертном совете Scopus (Content Selection Advisory Board, CSAB) также дал возможность подготовить, издать и представить в сети интернет категории и критерии системы отбора журналов в Scopus [5]. Значительная часть этих рекомендаций посвящена особенностям представления российских журналов в этой базе данных (БД) и в целом в англоязычных индексах цитирования.

Повышение интереса к задачам расширения «присутствия российской науки» в глобальных индексах цитирования и критическая оценка состояния системы российских научных журналов привели руководство страны к осознанию необходимости государственной поддержки редакционно-издательского комплекса и разработки программы его развития. Одним из первых шагов такой господдержки явилось выделение финансовых средств на программы развития конкретных журналов, направленные либо на улучшение наукометрических показателей по ГИЦ для изданий, уже включенных в эти системы, либо на достижение соответствующего международного уровня и включение в ГИЦ – для журналов, отсутствующих на сегодняшний день в этих системах.

Начало разработки критериев оценки и отбора программ развития российских научных журналов для выведения их на международный уровень и в глобальные информационные ресурсы было положено Рабочей группой (РГ) при Министерстве образования и науки РФ. РГ была сформирована в апреле 2014 года с целью подготовки предложений о мерах государственной поддержки российских научных журналов по поручению, данному Минобрнауки и РАН Президентом РФ и подписанному им 15 января 2014 года (http://www.kremlin.ru/assignments/20065). Авторы статьи принимали участие в этой работе и, когда в июле-августе 2014 года встал вопрос о проведении НП «НЭИКОН» конкурса по государственной поддержке программ развития и продвижения журналов в международные информационные системы, использовали ее результаты в качестве основы для разработки критериев отбора победителей. Конкурс проводился в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы» (Мероприятие 3.3.1 – IV очередь-1) по теме «Разработка и внедрение инструментов демонстрации и популяризации научно-исследовательских и научно-технических работ и достижений в образовании и науке, стимулирующих формирование положительной оценки в освещении актуальных процессов в области научных исследований, интеллектуальных технологий» (ГК 14.597.11.003, шифр 2014-14-597-0006). На сайте информационной системы конкурса (http://konkurs-jurnalov.neicon.ru/) представлена в полном объеме конкурсная документация этого проекта.

Комплекс разработанных РГ Минобрнауки РФ критериев и мероприятий по государственной поддержке программ развития научных журналов можно представить в целом как «программу развития системы научных периодических изданий России». Реализация этой программы должна повысить качественный уровень российских журналов в целом и расширить их присутствие в мировом научно-информационном пространстве, главной составляющей которого являются глобальные индексы цитирования (ГИЦ), крупные зарубежные реферативные базы данных и полнотекстовые платформы. Поэтому основными критериями для оценки уровня российских журналов, направлений и путей их подготовки к выходу в мировое научно-информационное пространство являются требования к журналам, включаемым в ГИЦ Web of Science и Scopus, а также международные стандарты подготовки и издания журналов крупнейших ведущих научных издательств мира, таких как Elsevier, Springer, Wiley, Taylor&Francis, American Physical Society (APS), Institute of Physics (IOP), American Chemical Society (ACS), Sage, Emerald и др., и стандарты (стили) крупнейших библиографических служб (National Library of Medicine (NLM), American Psychological Society (APA), Modern Language Association (MLA) и др.), которые используют глобальные индексы цитирования. Все перечисленные издательства предъявляют очень серьезные требования к качеству публикуемых в их журналах статей с точки зрения как их содержания, так и форматов и стилей изданий в целом. Для российских журналов ведущие журналы мира должны стать примерами изданий международного уровня, а используемые ими стандарты – основой новых стандартов российского научного редакционно-издательского комплекса.

1. «КВАЛИФИКАЦИОННЫЕ» ТРЕБОВАНИЯ К ЖУРНАЛАМ, РАССМАТРИВАЕМЫМ В КАЧЕСТВЕ ПРЕТЕНДЕНТОВ НА ГОСУДАРСТВЕННУЮ ПОДДЕРЖКУ ПРОГРАММ ИХ РАЗВИТИЯ

При разработке критериев отбора журналов и программ их развития для выделения им государственного финансирования первоначально были определены основные, базовые требования, без которых журналы либо не рассматривались, либо их невыполнение существенно снижало шансы отбора участника конкурса в число победителей. Часть из этих требований относятся к условиям регистрации и распространения изданий внутри страны, что является значимым и немаловажным для организации учета и выполнения требования «видимости» журналов для российского руководства и всего научного сообщества. К таким критериям относятся:

• наличие регистрации издания в соответствии с нормативно-правовыми требованиями РФ;

• поставка обязательного экземпляра в ИТАР-ТАСС (бывшую Российскую книжную палату).

Первый критерий подразумевает наличие Свидетельства о государственной регистрации в качестве СМИ в Роскомнадзоре/Роспечати. Это требование не выполняется многими журналами, которые имеют небольшой тираж, а также и сетевыми электронными изданиями, для которых регистрация в качестве обязательного требования нигде не прописана. Руководствуясь Законом о СМИ (от 27.12.1991 № 2124-1, действующая редакция от 02.07.2013 г.), который позволяет не регистрировать периодические издания, выходящие тиражом менее 1000 экз., многие организации, издающие научные журналы в печатной форме, считают не обязательным и ненужным регистрировать свои издания. В результате это привело к тому, что в России отсутствует единая система регистрации и учета научных журналов. Если для массовых журналов и газет положение Закона вполне понятно и допустимо, так как тираж для СМИ в 1000 экз. не может характеризовать его как действительно массовое издание, то к научным журналам это положение вряд ли может применяться, тем более что большинство научных журналов представлены в интернете в полнотекстовом виде либо на своих сайтах, либо на платформах агрегаторов (eLibrary.ru, «Киберленинка», Elpub, различные ЭБС. В этих условиях тираж уже не является единственным показателем распространенности издания. Научный журнал, издание которого направлено на определенную читательскую аудиторию, часто достаточно узкую, независимо от тиража, должен быть зарегистрирован в соответствующих органах, причем с указанием на наличие как печатной, так и электронной формы. При этом целесообразно было бы в регистрационную систему вносить сведения о наличии у журнала его переводной версии. Отсутствие регистрации имеет достаточно много отрицательных моментов: а) не позволяет учесть все российские научные периодические издания; б) не позволяет учесть наличие нескольких форм – печатной, электронной (online и offline); в) не стимулирует издающие организации к увеличению тиража и расширению своего присутствия на российском, а также и на международном рынке. Думаем, что это не все отрицательные моменты, которые можно перечислить. Важно то, что порядок регистрации научных периодических изданий должен быть представлен на обсуждение в законодательные органы для внесения изменений в правовые документы, возможно, упростив в какой-то мере их регистрацию. Это позволит в дальнейшем на государственном уровне учитывать все научные периодические издания, регулировать, контролировать и анализировать этот поток.

Второе требование – необходимость соблюдения Федерального закона об обязательном экземпляре документов (принят Государственной думой 23.11.1994 г., редакции 2002 и 2011 годов). Оно заключается в передаче в ИТАР-ТАСС (бывш. Российская книжная палата (РКП)) определенного количества печатных и электронных (на переносных носителях) экземпляров периодических и других видов изданий. Это требование не относится к электронным сетевым изданиям, но оно должно распространяться на российские и зарубежные издательства, выпускающие также переводные научные журналы. В ФЗ дано определение: «Обязательный федеральный экземпляр – экземпляры различных видов документов, изготовленных на территории Российской Федерации, за ее пределами по заказу организаций и отдельных лиц, находящихся в ведении Российской Федерации, а также документов, импортируемых для общественного распространения на территории Российской Федерации, которые подлежат безвозмездной передаче их производителями в соответствующие организации в порядке и количестве, установленных настоящим Федеральным законом» (http://www.consultant.ru/document/cons_doc_LAW_162621/). Выполнение этого критерия в целом определяет обязательное наличие всех научных периодических изданий в главных универсальных или специальных библиотеках страны, что позволяет сделать их более доступными российскому читателю. Многие редакции и издательства, выпускающие журналы небольшим тиражом, не считают необходимым поставлять свои издания в ИТАР-ТАСС (РКП), что, кроме сказанного, так же как и отсутствие регистрации, не позволяет в полном объеме учитывать и иметь представление о российском потоке научных периодических изданий. Сами редакции и издательства таким образом ограничивают доступ к своим журналам широкой читательской аудитории, обращающейся в библиотеки.

Теперь перейдем к критериям, которые непосредственно относятся к международным (включены в требования ГИЦ), однако большинство из них также должны являться неотъемлемыми характеристиками российских научных журналов, независимо от того, включены или стремятся эти журналы в международные системы или предполагают оставаться на российском информационном пространстве. К таким критериям относятся:

• наличие ISSN;

• соблюдение периодичности выхода издания и заявленного объема;

• наличие стабильной, определенной системы рецензирования;

• сформулированная редакционная политика журнала;

• наличие списков литературы ко всем научным статьям;

• наличие англоязычной библиографической информации к статьям;

• наличие сайта научного журнала.

Журнал, не имеющий ISSN, в международных системах не признается периодическим. Для российских журналов типичным является недопонимание значения этого уникального идентификатора периодического издания и обязательного элемента выходных данных журнала, незнание ГОСТ 7.56-2002, определяющего в т.ч. местоположение этого идентификатора в журнале: «ISSN… помещают в верхнем правом углу первой страницы обложки или передней сторонки переплета, при их отсутствии – на титульном листе или на совмещенном титульном листе каждого выпуска сериального издания». В российских журналах приходится искать ISSN по всему журналу, чаще всего его «прячут» в нижней части издательской страницы. Часто забывают включать ISSN в описание журнала на главной странице его веб-сайта, что совершенно недопустимо. Кроме того, в настоящее время требуется получение в ISSN-центре отдельного ISSN на электронную версию журнала при ее наличии (а наличие такой версии для современного журнала относится к безусловным требованиям). Отсутствие ISSN на электронную версию плохо отражается на оценке журнала, предложенного для включения в ГИЦ.

При оценке заявок, поданных на конкурс, журналы, не имеющие ISSN, не рассматривались. Требование документального подтверждения регистрации в ISSN-центре вызвало шквал запросов в этот центр от заявителей, что привело к необходимости организаторам конкурса (НП «НЭИКОН») срочно оплатить и получить доступ к регистрационному порталу ISSN-центра (http://portal.issn.org/) для выдачи журналам этих подтверждений . При поиске записей журналов в Регистре ISSN центра выяснилось, что достаточно много журналов использовали ISSN, не пройдя полностью регистрацию своего журнала, и в результате записи о присвоении ISSN таким журналам отсутствовали. Невнимательное прочтение первого сообщения из ISSN-центра о выдаче «временного» ISSN и необходимости, после выхода следующего выпуска, подтвердить регулярность издания журнала привело к тому, что некоторые журналы не были зарегистрированы, и их данные в ISSN-регистре отсутствовали. В то же время обращение таких журналов в ISSN-центр позволило быстро пройти регистрацию до конца и подтвердить наличие ISSN. Однако были случаи, когда журнал использовал совершенно чужой ISSN, даже не российского журнала. Чем закончилось обращение этого журнала в ISSN-центр, организаторы конкурса до сих пор не знают. Однако если редакция не предприняла на данном этапе никаких шагов к исправлению ситуации, то в случае подачи заявки на включение в ГИЦ эта проблема возникнет вновь, и журналу все-таки придется получать новый ISSN. По причине нелегитимного использования ISSN были отклонены регистрации не менее 10 российских журналов, подавших заявки в Scopus.

Важность наличия ISSN у научных журналов, по нашему мнению, должны также в полной мере осознавать органы, регистрирующие научные журналы в России (Роскомнадзор и Роспечать). Для научных журналов этот идентификатор должен быть обязательным и по российским требованиям. Он позволяет в какой-то мере избежать регистрации незначительных журналов-однодневок, которые постоянно возникают и умирают в достаточно большом количестве. По данным РКП, в списке научных периодических изданий, включающем 3518 названий, 586 журналов не имеют ISSN (17%), достаточно большая часть этих журналов – «вестники» университетов. Говорить о том, что такие журналы можно рассматривать в качестве серьезных претендентов на международное влияние, безусловно, не приходится. Нам кажется, было бы правильно, если бы Роскомнадзор при регистрации научного журнала требовал бы от него уже на стадии регистрации наличия ISSN, причем как на печатную, так и на электронную форму издания.

Соблюдение периодичности выхода издания, а также заявленного объема (хотя последнее не прописывается в явном виде в критериях ГИЦ), тоже являются важнейшими критериями оценки изданий международного уровня. Издание, нарушающее график выхода и число выпусков, не может считаться периодическим и относится к нерегулярным изданиям, которые не рассматриваются ГИЦ, а регулярное нарушение объема издания говорит о нестабильности его состояния, неопределенности политики, а в случаях резкого увеличения объема – о недобросовестности издания. Последнее особенно касается журналов открытого доступа. В числе критериев, определяющих журналы и издательства – «паразиты» (“predatory journals and publishers”), принятых Джеффри Биллом (Jeffrey Beall’s), этот показатель является одним из основных (http://scholarlyoa.com/).

То, что научный журнал, стремящийся к международному признанию, должен быть рецензируемым (peer-reviewed), является обязательным и безусловным требованием ГИЦ и международных стандартов для научных журналов. Причем рецензирование должно быть достаточно высокого уровня (предпочтительно двустороннее слепое, либо одностороннее слепое, или хотя бы открытое, при минимальном числе рецензентов – 2). Просмотр рукописей только главным редактором или рецензия, приносимая автором, не относятся к рецензированию как таковому. При подготовке анкеты для журналов, подающих заявку на конкурс по господдержке, мы ввели в систему понятие «смешанного» рецензирования, и то, что многие журналы отметили именно этот тип рецензирования, говорит о том, что система рецензирования в таких журналах не отработана в полной мере, не структурирована и не организована. Безусловно, в ГИЦ такой тип рецензирования не предусмотрен. Организация достаточного уровня рецензирования относится к одному из важнейших критериев ГИЦ. Это не означает, что все журналы должны вводить двойное слепое рецензирование, однако работа по улучшению качества журнала невозможна без работы над качеством и отбором наиболее ценных подаваемых рукописей для публикации в журнале. О низком уровне рецензирования или невысоком авторитете журнала (небольшом его портфеле, когда выбор статей для публикации и наполнения журнала достаточно ограничен) говорят данные о проценте возвращаемых авторам статей. Когда журнал возвращает 5–10% статей авторам, означает, что журнал берет практически любые ру кописи, предлагаемые авторами. Конечно, могут быть исключения, например, в случаях, когда рецензирование направлено на улучшение качества большинства подаваемых рукописей и доведение их до уровня, принятого журналом, но такую ситуацию для российских журналов трудно назвать типичной. С этим связаны также требования к уровню редколлегии, редсовета и внешним рецензентам.

То, как журнал формулирует свою редакционную политику в самом журнале или на сайте журнала в описании журнала (в конкурсе требование сформулировать политику журнала было внесено в анкету журнала), говорит о наличии у редакции или издателя понимания целей и задач его издания, принципов и концепции организации издания. Направленность публикаций журнала на определенную аудиторию, предметно-тематическую область, стремление к достижению актуальности, новизны, уникальности издания по выбору тематического состава статей, уровню авторского коллектива, географического разнообразия членов редсовета, редколлегии и авторов – все это говорит об осознании роли журнала для научного сообщества. Причем при стремлении журнала в международное пространство, это понимание должно также быть донесено и до зарубежной научной аудитории, и, в первую очередь, до экспертов – специалистов по областям ГИЦ.

Одним из основных признаков, относящих журнал к научному изданию, является наличие у всех научных статей и обзоров списков литературы. Этот критерий, безусловно, относится к важнейшим при рассмотрении журнала в качестве претендента в индексы цитирования. Библиографическое качество списков, оптимальный состав источников, достаточное их количество, наличие ссылок на журнальные публикации, как русскоязычные, так и англоязычные (причем на источники, входящие в индексы цитирования), в совокупности создают положительное впечатление о журнале в целом.

Наличие англоязычной библиографической информации в статьях, т.е. той части, которая позволяет включать в англоязычные информационные ресурсы (ГИЦ и другие базы данных) и давать полноценную информацию о статьях нерусскоговорящему читателю и пользователю, также является одним из важнейших критериев при оценке журнала и его программы. Если журнал предусматривает работу над улучшением качества англоязычной части, увеличение объема авторских резюме, содержательной формулировкой заглавий статей, редактирование англоязычной части статей, корректное и полное представление данных об организациях – местонахождении работы авторов, помогает путем полного оформления титульных страниц статей правильно цитировать издание, значит, он стремится к тому, чтобы информация о публикациях журнала стала доступна для международного сообщества. Кроме того, полноценная информация о каждой статье на ее титульной странице как на русском, так и на английском языке говорит о том, что журнал соблюдает положения этичного издания, делая информацию о каждой статье доступной, прозрачной и легко цитируемой.

Сайт научного журнала является обязательным атрибутом любого журнала, стремящегося получить международное признание. При всем том, что интернет-технологии и интернет-информация уже почти два десятилетия как перестроили наше сознание и изменили образ жизни, никак нельзя сказать, что это глубоко повлияло на присутствие российских журналов в Интернете, как в русскоязычном российском сегменте, так и в англоязычном (в последнем – особенно плохая ситуация). Журнал без сайта, содержащего всю необходимую информацию об издании, не может претендовать на включение в ГИЦ. Полноценный сайт должен содержать на двух языках: описание политики журнала (цели и задачи), архивы и текущие выпуски (в открытом или ограниченном доступе), полного состава редакционного совета и редколлегии, подробные инструкции для авторов, систему рецензирования (лучше с наличием на сайте системы подачи и прохождения рукописи от подачи до публикации – «электронной редакцией») и другие важные сведения о журнале. Отсутствие на сайте полной информации о журнале, плохая доступность, плохие дизайн и качество текстов (прежде всего мы говорим об англоязычных текстах), небрежность оформления, отсутствие доступа к статьям с сайта (открытый доступ, подписка на длительный срок, покупка выпуска или статьи) расценивается международными экспертами как недобросовестное издание журнала, влечет за собой отрицательную реакцию на журнал в целом. Учитывая то, что многие российские журналы только недавно начали массированную подготовку по требованиям международных стандартов, при рассмотрении заявок наличие сайта учитывалось положительно, однако требование к качеству сайта не являлось предопределяющим результат экспертизы, т.к. полноценное его создание могло быть заложено в программу развития. Неожиданным оказался результат анализа журналов, имеющих переводную версию и располагающихся на платформе издательства Springer: значительная часть журналов для русскоязычной версии не имеют полноценных сайтов, таким образом сужая информацию об основном журнале как для русскоязычного, так и для англоязычного пользователя. Безусловно, это ограничивает знание о журнале, и ожидать широкого чтения и цитирования таких журналов в этом случае не приходится.

Какие еще характеристики рассматривались при выборе критериев оценки журналов и программ их развития? Например, наличие у статей DOI (digital object identifier). Наличие этого идентификатора статей журнала, также как и включение DOI в библиографические описания в списках литературы в журнале, становится уже почти обязательным требованием для журналов, предлагаемых в ГИЦ. Так как российские журналы только подходят к массовому получению этого идентификатора, то, безусловно, при оценке журналов наличие этого критерия не рассматривалось как обязательное. В то же время программы развития должны были содержать получение DOI в числе первых решаемых шагов.

В России достаточно много журналов, которые размещают свои статьи в открытом доступе на своих сайтах. При решении задачи расширения присутствия журнала в международных системах в первую очередь необходимо рассматривать в качестве основного ресурса, куда следует включить журнал, платформу журналов открытого доступа – Directory of Open Access Journals (DOAJ). DOAJ является общепризнанной платформой журналов открытого доступа, учитываемой также и экспертами Scopus. В перечне журналов, включенных в Scopus, размещенном на сайте http://www.elsevier.com/online-tools/scopus/contentoverview, можно увидеть отдельный столбец, где дана характеристика журналов открытого доступа, входят они или нет в эту базу данных. Безусловно, этот критерий для российских журналов открытого доступа должен быть включен в качестве составляющей программы развития в части, касающейся «формирования устойчивых каналов распространения» (http://konkursjurnalov.neicon.ru/images/docs/pril2.pdf).

2. БИБЛИОМЕТРИЧЕСКИЕ ПОКАЗАТЕЛИ ЖУРНАЛОВ

Библиометрические показатели журнала и главного (или ответственного) редактора журнала были основой для оценки влияния и престижности журнала (Категория ЭС «Авторитетность журнала и редакторов экспертной системы»). Работа по библиометрической оценке журналов предваряла «предметную» экспертизу. Имея данные о цитируемости журнала по трем – Web of Science, Scopus и РИНЦ, эксперт ставил свою оценку авторитетности журнала по библиометрическим показателям.

Библиометрические характеристики включали:

1. Данные Web of Science – всего 4 показателя, в т.ч.:

– для журналов, включенных в WoS:

• импакт-фактор журнала по данным JCR 2013 года;

• число ссылок на статьи из журнала за все годы присутствия;

• среднюю цитируемость одной статьи за весь период присутствия;

• число «неучтенных» ссылок на статьи журнала за весь период БД (вид поиска “Cited Reference Search”, поле “Cited Work”);

– для журналов, не включенных в WoS:

• число «скрытых» ссылок на статьи журнала за весь период БД (то же, что

«неучтенных» для присутствующих в WoS журналов);

– показатели главного редактора по WoS: число публикаций; число ссылок; индекс Хирша.

2. Данные в Scopus – всего 4 показателя:

– для журналов, включенных в Scopus:

• SJR журнала по данным 2013 года;

• число ссылок на статьи из журнала за все годы присутствия;

• средняя цитируемость одной статьи за весь период присутствия;

• число неучтенных (скрытых или потерянных) ссылок на статьи журнала за весь

период БД по полю “References”, опция “Secondary Documents”;

– данные Scopus для журналов, не включенных в Scopus:

• число «скрытых» ссылок на статьи журнала c 1996 года по полю “References”, опция “Secondary Documents”;

– показатели главного редактора по Scopus: число публикаций; число ссылок; индекс Хирша.

3. Данные РИНЦ:

• импакт-фактор РИНЦ;

• число ссылок на статьи из журнала за все годы присутствия;

• средняя цитируемость одной статьи за весь период присутствия;

– показатели главного редактора по РИНЦ: число публикаций; число ссылок; индекс Хирша; средняя цитируемость одной статьи.

Анализ библиометрических показателей по ГИЦ российских журналов, участвовавших в конкурсе, – тема отдельной статьи, которую авторы рассчитывают также представить на суд читателей.

3. КАТЕГОРИИ ЭКСПЕРТНОЙ СИСТЕМЫ И ДАННЫЕ АНКЕТ ЖУРНАЛОВ

Основным источником данных о журнале для экспертной оценки в первую очередь являлись анкеты, многосторонне характеризующие журнал, которые заполняли участники конкурса. Часть данных анкет журналов (всего в анкетах – 99 позиций), так же как и данные титульной страницы заявки (всего 15 позиций), были включены в экспертную систему в качестве информации, сопровождающей экспертизу по каждой из категорий системы. Данные анкеты также помогали на конечном этапе определения победителей, так как позволяли дополнительно оценить качество редакционно-издательского процесса журнала и перспективы дальнейшего его развития. Например, журналы, получившие высокую оценку экспертов, в результате не были признаны победителями в связи с тем, что они имели 80%, 90% и 100% собственных статей учредителя (одной организации). Безусловно, такие «домашние» журналы не могли рассматриваться в качестве реальных претендентов на включение в ГИЦ, т.к. наличие достаточного географического разнообразия авторов, так же как и членов редколлегий и редсоветов, является одним из основных требований этих ресурсов. Труднее всего добиться оптимального 20% (максимум 30%) состава «своих» авторов и редакторов университетским и академическим (РАН, РАМН) изданиям.

В качестве основных категорий (разделов) экспертной системы конкурса по государственной поддержке программ развития и продвижения журналов были приняты:

1) политика и научный контент журнала;

2) качество формата, языка и библиографической части статей;

3) авторитетность журнала и редакторов;

4) доступность и распространение журнала;

5) характеристика программы развития и комплекта представленных документов.

В конце экспертизы эксперт-предметник делал окончательное заключение о журнале, программе и целесообразности поддержки программы развития журнала.

Для раздела «Политика и научный контент журнала» была дана информация о журнале почти по 50-ти характеристикам, начиная со сведений об учредителях, описания политики и системы рецензирования и заканчивая данными о переводной версии (если есть) и наличии доступа заявителя к Web of Science и Scopus. По категории «политика» оценивались такие критерии, как:

• формулирование редакционной политики;

• соответствие содержания статей заявленным целям и рубрикации журнала;

• научная ценность публикуемых научных статей;

• новизна и актуальность содержания публикуемых статей;

• соответствие тематики журнала приоритетным направлениям развития науки и технологий РФ/критическим технологиям/основным направлениям фундаментальных исследований/экономическим национальным приоритетам;

• наличие уникального научного материала в журнале;

• соответствие тематики журнала интересам международного научного сообщества (оценка перспективности для выхода на международный уровень);

• уровень рецензирования (по описанию в анкете);

• географическая распределенность редакционной коллегии (по анкете);

• географическая распределенность авторов (по анкете).

На рисунке 1 представлен фрагмент раздела «Политика...» ЭС на примере журнала – участника конкурса.

Рис. 1. Фрагмент раздела «Политика и научный контент журнала» экспертной системы

Для раздела «Качество формата, языка и библиографической части статей» была дана информация по 19-ти характеристикам журнала, касающихся периодичности, объема издания, объема авторских резюме, наличия англоязычной части в статьях, наличия списков литературы и т.д. По данной категории оценивались такие критерии, как:

• читаемость статей на русском языке (оценивается качество языка, научный стиль статей);

• наличие полных текстов статей на английском языке;

• читаемость статей на английском языке (оценивается качество языка, научный стиль и формат статей);

• качество представления и оформления иллюстративного материала в статьях;

• соблюдение принятой структуры для научных статей;

• периодичность и объем выпуска (число статей) журнала (оптимальность с точки зрения его тематики);

• качество полиграфического/сетевого представления выпусков, уровень редакционно-издательского оформления журнала в целом;

• качество авторских резюме на русском языке;

• качество авторских резюме на английском языке;

• качество адресных данных (аффилиации) авторов к каждой статье на русском языке;

• качество адресных данных (аффилиации) авторов к каждой статье на английском языке;

• качество списков литературы к научным статьям.

Рис. 2. Фрагмент раздела «Качество формата, языка и библиографической части статей» экспертной системы

Для категории «Авторитетность журнала и редакторов» была дана информация по 14-ти характеристикам журнала, включая информацию о главном редакторе, ссылку на его личную страницу в интернете (при наличии), количественные характеристики по числу членов редсовета, географическому разнообразию членов редсовета и авторов и т.д. По данной категории оценивались по мнению эксперта-предметника, независимо от библиометрических показателей:

• авторитетность журнала в научном сообществе РФ;

• авторитетность журнала в международном научном сообществе;

• авторитетность в научном сообществе главного редактора, персонального состава редакционного совета и редакционной коллегии;

• авторитетность в научном сообществе основного состава авторов журнала.

На рисунках 3–4 представлены фрагменты этого раздела экспертной системы. На рисунке 4 представлен фрагмент раздела с библиометрической оценкой журнала.

Рис. 3. Фрагмент раздела «Авторитетность журнала и редакторов»

Рис. 4. Фрагмент библиометрической части в экспертной системе «предметника»

Для категории «Доступность и распространение журнала» информация из анкеты была представлена 21-й характеристикой журнала: тираж, каналы распространения, наличие зарубежных подписчиков, наличие сайта, число загрузок статей с сайта, наличие DOI, наличие журнала в WoS и/или Scopus и т.д. По данной категории оценивались такие критерии, как:

• уровень распространенности журнала в научном сообществе;

• доступность и полнота информации о журнале на русскоязычном сайте (наличие сайта с основной информацией о журнале – политика/редсовет/редколлегия /авторам/подписчикам/оглавления/авторские резюме/контакты и т.д.);

• доступность и полнота информации о журнале на англоязычном сайте (наличие сайта на английском языке с основной информацией о журнале – политика/редсовет/редколлегия/авторам/подписчикам/оглавления/авторские резюме/контакты и т.д.);

• распространенность журнала в российском сегменте интернета (подписка, наличие в eLibrary, ЭБС, базах данных);

• распространенность журнала в зарубежном сегменте (подписка, базы данных, зарубежные платформы, WoS, Scopus).

На рисунке 5 представлен фрагмент раздела «Доступность и распространение журнала» экспертной системы Конкурса.

Рис. 5. Фрагмент раздела «Доступность и распространение журнала»

И последний, можно сказать, самый важный раздел перед Окончательным заключением, – это раздел, где предлагается оценить Программу развития и План реализации.

Эксперт отвечает на вопросы:

• качество и полнота содержания представленной на конкурс программы;

• позволяет ли представленная программа развития решить поставленные проектом цели и задачи и достичь конечной цели – включения в глобальные индексы цитирования, и в какой степени;

• позволяет ли представленный план реализации программы покрыть расходы на реализацию ключевых мероприятий программы за счет государственной поддержки, или расходы завышены/занижены;

• позволяет ли представленный план реализации программы покрыть расходы на реализацию всех мероприятий программы за счет всех средств, включая господдержку и другие источники финансирования, или расходы завышены/занижены.

4. ИЗ РЕКОМЕНДАЦИЙ ЭКСПЕРТАМ-ПРЕДМЕТНИКАМ ПО КРИТЕРИЯМ ОЦЕНКИ ЖУРНАЛОВ

Все 536 журналов, представившие заявки на конкурс, прошли экспертизу одним или двумя экспертами (одним экспертом оценка ограничивалась в тех случаях, когда журнал однозначно не проходил по нескольким ключевым параметрам). Всего экспертизу делали 40 экспертов по предметным областям и 13 специалистов по библиометрии. 226 журналов получили положительную оценку программы (рекомендация – поддержать), 294 – не были рекомендованы на поддержку, 16 – получили два противоположных результата от двух экспертов.

В процессе организации работы для экспертов была подготовлена краткая инструкция, расставляющая акценты, на которые следовало обратить внимание при оценке журнала по той или иной категории, а главное – программы развития и плана реализации. Не повторяя уже выше сказанное, перечислим здесь некоторые из сделанных акцентов в качестве рекомендаций экспертам по предметным областям. Надо здесь отметить, что работа с экспертами еще будет продолжена, т.к., будучи ведущими учеными в своих областях знаний, многие недостаточно хорошо понимали и понимают требования к журналам международных систем. Без знания и понимания критериев отбора журналов трудно формировать объективную оценку журналам и особенно помогать продвигать их в ГИЦ. В то же время представленные ниже рекомендации также полезны редакторам, готовящим свои журналы к включению в зарубежные индексы цитирования.

4.1. Политика журнала

Журнал должен иметь сформированную политику, в которой определяет цели, задачи, предметные области, систему рецензирования; наличие или намерение расширения географического разнообразия членов редакционного совета, редколлегии и авторов. При этом:

1) тематика журнала должна быть актуальной, обладать новизной и представлять интерес для международного сообщества; она не должна быть локальной, предназначенной только для узкого круга читателей своего региона или определенной группы специалистов своей отрасли; требования к тематике должны также учитывать государственные интересы;

2) должна быть предусмотрена возможность расширения международных контактов, участия в международных проектах и программах для получения журналом международного влияния, расширения авторской аудитории за счет иностранных авторов, рассмотрена возможность перевода статей на английский язык;

3) журнал должен иметь четко сформулированные требования к рецензентам и авторам; рецензирование главным редактором не является достаточным; возможны следующие варианты рецензирования: открытое, одностороннее анонимное (слепое) и двустороннее анонимное (слепое), в зависимости от тематики; двустороннее слепое рецензирование является предпочтительным для журналов с широкой авторской аудиторией.

Рецензирование является ключевым моментом для развития научного журнала. Рецензирование должно обеспечивать гарантию того, что все статьи в журнале соответствуют определенному уровню качества представляемых в них научных работ. Отсутствие реальной экспертизы рукописей или проведение ее чисто формальным образом, когда рукописи отбираются одним редактором, приводит к тому, что даже в неплохих по средним показателям журналах существует большой разброс по качеству статей. Оценить, насколько серьезно организована экспертиза поступающих рукописей, можно несколькими способами:

• интегральная оценка состава редколлегии/редсовета. Этот способ позволяет оценить уровень ученых – членов редколлегии, но при этом нет гарантии, что все эти ученые принимают активное участие в рецензировании и отборе рукописей для публикации в журнале;

• процент отсеиваемых рукописей. Хороший показатель, как правило, отражающий качество рецензирования;

• степень разброса опубликованных в журнале статей по качеству. Эксперт оценивает этот показатель по содержанию. В библиометрических системах дается показатель процента процитированных статей, что иллюстрирует стабильность качества (при высоком проценте процитированных статей) или обратное (при низком показателе);

4) журнал должен иметь качественные редакционный совет и/или редколлегию (в случае отсутствия первого), состоящие из ученых из разных регионов России, приветствуется международный состав, ученые своей организации должны составлять не более 30%;

5) журнал должен иметь качественный состав авторов (см. все требования к редсовету); авторы одной организации в каждом выпуске не должны составлять более 30%;

6) журнал должен быть научным, содержать 85–90% оригинальных научных статей, не публиковавшихся где-либо еще на этом же языке, и обзоров достаточного объема (объем научных статей, как правило, не должен быть менее 5–8 страниц, обзоры – не менее 10–12 страниц, в зависимости от тематики); к отраслевым, специализированным, научно-производственным журналам предъявляются те же требования, но научные статьи могут составлять 70–80%;

7) приветствуется принадлежность (учреждение) журнала общественными научными организациями: научными обществами, ассоциациями, союзами и т.п.;

8) журнал должен иметь историю издания минимум 1 год (это для журналов, подающих заявку на конкурс).

4.2. Академический уровень журнала

Оценка академического уровня журнала должна проводиться экспертом в предметной области журнала и включать весь комплекс критериев его содержательной составляющей. Оцениваются научный уровень статей журнала, их новизна, актуальность, соответствие тематики приоритетным направлениям, критическим технологиям или основным направлениям фундаментальных исследований, экономическим приоритетам, а также оценивается уникальность тематики, если таковая есть.

4.3. Формат, язык и библиографическое качество статей журнала

В этой категории оцениваются читаемость статей, их научный стиль, качество представления и оформления иллюстративного материала в статьях и полиграфического оформления статей в журнале. Особое внимание уделяется качеству авторских резюме, адресных данных авторов статей и списков литературы.

4.4. Доступность

Степень доступности определяется прежде всего по сайту журнала. На сайте должны быть описаны и представлены:

• политика журнала: цели, задачи, целевая аудитория, предметные области;

• оглавления и авторские резюме (минимум) за несколько лет;

• редакционный совет и редколлегия, личные данные всех членов;

• процесс рецензирования;

• полные контактные данные реакции, издательства и др. ;

• инструкция для авторов;

• наличие данных об авторах.

В качестве дополнительных данных в оценке доступности журнала должны учитываться:

• включение журнала в зарубежные базы данных, полнотекстовые платформы; открытые интернет-ресурсы, каталоги, индексы;

• наличие DOI;

• включение журнала в Directory of Open Access Journals (DOAJ) – для журналов открытого доступа.

4.5. Оценка «влияния» и престижности журнала

Уровень «влияния и престижности» журнала можно определить по комплексу библиометрических показателей по ГИЦ (см. раздел 2), а также по известности в научном окружении эксперта этого журнала.

4.6. Оценка программ развития

Программы могут оцениваться положительно, если в них в убедительной форме изложены все направления работы с журналом по достижению им нового качественного уровня. В программах развития российских научных журналов должны содержаться сведения о комплексе планируемых действий, нацеленных на повышение качества издания в соответствии с требованиями международных стандартов и критериями Web of Science и Scopus. Конечными целями должно стать включение журнала в эти индексы (для журналов, не входящих на текущий момент в ГИЦ) и достижение библиометрических показателей, приближенных к средним или выше средних показателей по предметной области (для журналов, включенных в ГИЦ).

Такими действиями могут быть:

• увеличение доли привлеченных статей зарубежных авторов и совместных публикаций;

• привлечение статей высокоцитируемых авторов (формирование корпуса высокоцитируемых авторов по тематике журнала и привлечение их для написания статей);

• увеличение доли научных обзоров;

• повышение научного уровня редакционной коллегии/совета за счет выявления и привлечения ученых с высокими показателями цитирования, в том числе зарубежных;

• повышение качества системы рецензирования за счет привлечения международно признанных экспертов, выявление и ведение базы данных внешних экспертов;

• внедрение редакционно-издательских систем;

• достижение соответствия формальным требованиям Web of Science и Scopus (наличие оглавлений на английском языке, информативного заглавия статей, полной адресной информации об авторах, аннотаций, ключевых слов на английском языке, списков литературы достаточного объема и качества с учетом дисциплинарной специфики периодических изданий, в том числе транслитерация

списков использованной литературы на латинице);

• улучшение полиграфического и цифрового качества изданий;

• развитие электронной версии журнала с использованием дополнительных медиа-средств (публикации на сайте основных данных статьи – таблиц, рисунков, видеороликов, 3D-изображений и т.д.);

• внедрение системы обратной связи с авторами для анализа степени их удовлетворенности работой журнала;

• создание электронных архивов издания с полнотекстовым поиском;

• совершенствование каналов распространения.

Журналы открытого доступа в своих программах должны стремиться к максимально большому распространению в заинтересованных профильных организациях, в т.ч. в зарубежных странах. Размещение на зарубежных платформах провайдеров электронных ресурсов можно считать устойчивым каналом распространения. Для изданий открытого доступа можно посоветовать работать с самой крупной международной платформой журналов открытого доступа – Directory of Open Access Journals (DOAJ) и с другими платформами электронных ресурсов (EBSCO, ProQuest, RePEc и др.), а также создавать открытые архивы за прошлые годы (даже для журналов, распространяющих текущие номера по подписке). Для подписных изданий необходимо увеличивать подписку в российском сегменте. Для этого надо планировать бесплатную рассылку, чтобы журнал знало профильное научное сообщество.

5. ОРГАНИЗАЦИЯ ПРОЦЕССА ПРОВЕДЕНИЯ КОНКУРСА И ЭКСПЕРТИЗЫ

Для проведения оценки был создан специальный сайт http://konkurs-jurnalov.neicon.ru. Начальная страница сайта конкурса представлена на рисунке 6.

Рис. 6. Скриншот начальной страницы сайта конкурса

На этом сайте участник конкурса должен был заполнить:

• экранную форму титульного листа заявки, где указывал формальные сведения о своем журнале и организации-заявителе;

• экранную форму анкеты журнала.

Также редакция должна была предоставить в систему в электронном формате ряд документов для проверки «квалификационных критериев» (подтверждение регистрации журнала как СМИ, регистрации заявителя как юридического лица, наличия ISSN, поставки журнала в РКП) и два последних номера журнала. И главное – программу и план реализации.

После окончания работы заявителя по загрузке всех необходимых документов в информационную систему конкурса все документы в полном объеме становились доступными в личном кабинете модератора, который первоначально проверял их комплектность. Одновременно вся информация о журнале была доступна для оценки специалистом по библиометрии. Только после окончания библиометрической экспертизы модератор направлял журнал на предметную экспертизу, выбирая из всего состава экспертного совета фамилию ученого соответствующей предметной области. Для оценки журнала и программы эксперту был доступен весь пакет документов заявки. Кроме того, в системе для каждого журнала был доступен адрес сайта журнала, который эксперт должен был обязательно просмотреть.

Здесь необходимо сказать несколько слов о сформированном для целей оценки журналов Российском экспертном совете по отбору и продвижению журналов в международные информационные системы (РЭС). Для экспертизы были приглашены 40 специалистов по разным предметным областям, причем значительная часть специалистов была приглашена в процессе экспертизы в связи с неожиданно большим объемом поступивших на конкурс заявок. Для экспертов была подготовлена инструкция по использованию экспертной системы и критериям оценки журналов, а также предоставлены для ознакомления дополнительные материалы [1–5], позволявшие ввести их в курс дела.

Все журналы и их программы получили полную оценку, которая может и должна быть использована не только в рамках этого конкурса. В процессе проведения конкурса была сформирована очень интересная информационная база о научных журналах, подавших заявку на конкурс. Благодаря полной анкете и другим документам было собрано большое количество сведений. На основании собранных сведений можно делать выводы о состоянии науки в стране, можно отбирать наиболее продвинутые журналы и направлять сведения о них в мировые реестры научных журналов. Так, например, используя данные анкет, мы отобрали 150 журналов, которые не были зарегистрированы в БД Ulrich’s Periodicals Directory, и направили о них сведения для регистрации в этой БД.

Хотя большинство программ развития нельзя назвать полными и отвечающими всем требованиям, некоторые из них представляют образцы для подражания. Фрагмент одной из таких программ представлен на рисунке 7.

Рис. 7. Пример оформления и содержания программы развития журнала

В наших планах – продолжение работы по экспертизе научных журналов. Мы надеемся, что многие научные журналы захотят получить объективную и квалифицированную оценку своей деятельности и своих планов развития. По мере роста нашей базы данных мы получим онлайновый справочник по российским научным журналам, в какой-то мере более полный, чем имеющиеся мировые аналоги.