Анализ роли ресурса www.dissernet.org в оценках и управлении качеством деятельности редакций научных журналов России

Брумштейн Ю.М.
The analysis of the www.dissernet.org resource role in estimates and control of editorial offices activity quality of Russian scientific journals - View in English
Статья в журнале
Об авторах:

Брумштейн Ю.М.1
1 Астраханский государственный университет, Россия, г. Астрахань

 Скачать PDF

Аннотация:
Рассмотрены существующие возможности общественного контроля в отношении качества деятельности научных журналов России, соблюдения их редакциями и авторами правил публикационной этики. Сделан вывод, что эти возможности пока недостаточны.
В связи с этим проанализировано место ресурса www.dissernet.org в осуществлении общественного контроля – с акцентом на оценки им научных журналов. Показано, что сайт ресурса играет ключевую роль в обеспечении его известности у Интернет-пользователей; доступности для них результатов проведенных ресурсом «экспертиз» различных объектов, связанных с научной деятельностью. Поэтому был выполнен анализ вебометрических показателей сайта ресурса, показавший его достаточно высокую популярность у Интернет-пользователей. Выявлено, что количество научных публикаций, посвященных ресурсу, невелико. Однако в средствах массовой информации России есть достаточно много сообщений о ресурсе, в т.ч. воспроизводящих его «мнения» в отношении различных видов объектов. Такая ситуация делает актуальным проведение объективной оценки деятельности ресурса; целесообразности использования информации, размещенной на его сайте.
Исследованы декларируемые цели и практика деятельности ресурса, его юридический статус, особенности финансирования. Дана общая характеристика номенклатуры «Диссеропедии российских журналов», представленных на ресурсе. Проанализированы причины (основания) включения ресурсом научных журналов в «Диссеропедию российских журналов». Показано, что опубликованные в этих журналах работы оцениваются ресурсом только в отношении наличия заимствований и количества страниц публикаций, на которых такие заимствования обнаруживаются.
В статье оценены достоинства и недостатки рассматриваемого ресурса с позиций различных групп юридических и физических лиц. Сделан вывод о том, что размещенная на сайте ресурса информация может использоваться для оценок качества деятельности редакций научных журналов только как дополнительная по отношению к сведениям, доступным в других источниках.

Ключевые слова:

информационно-коммуникационные технологии, научные коммуникации, научные журналы, публикационная этика, редакционные коллегии, Диссернет, Диссеропедия российских журналов, состав информации, оценка информации, использование информации
Цитировать публикацию:
Брумштейн Ю.М. Анализ роли ресурса www.dissernet.org в оценках и управлении качеством деятельности редакций научных журналов России // Научная периодика: проблемы и решения. – С. 65-86. – doi: 10.18334/nppir.7.2.37949

Brumshteyn, Yu.M. The analysis of the www.dissernet.org resource role in estimates and control of editorial offices activity quality of Russian scientific journals. Scholarly Communication Review , 65-86. doi: 10.18334/nppir.7.2.37949 (in Russian)

Приглашаем к сотрудничеству авторов научных статей

Публикация научных статей по экономике в журналах РИНЦ, ВАК (высокий импакт-фактор). Срок публикации - от 1 месяца.

creativeconomy.ru Москва + 7 495 648 6241




Введение. В настоящее время социально-экономическое развитие России во многом определяется эффективностью формирования и использования интеллектуального потенциала страны и ее регионов [6] (Brumshteyn, Zakharyan, 2016). В этих процессах важное значение играют научные коммуникации между исследователями [18,32] (Kanatnikova, 2015; Sayko, 2015), в т.ч. осуществляемые путем публикации научных статей в российской и зарубежной периодике [7,19,26,28,37] (Brumshteyn, 2016; Kirillova, Kuznetsov, Dimentov, Lebedev, Shvartsman, 2014; Okzhos Ilyina, 2014; Pototskaya, Levykh, Mamchur, 2016; Fedorova, 2015); «аккумулирования» публикаций организациями-агрегаторами [31,33] (Roshchina, 2011; Sokolova, 2016); обеспечения доступа к опубликованным работам заинтересованных физических лиц и организаций; продвижения этих работ в научно-информационном пространстве [7, 29] (Brumshteyn, 2016; Prudnikov, 2015). В рамках процессов формирования и управления потоками научной информации важное значение имеет качество деятельности редакций научных журналов, соблюдение ими правил публикационной этики [3,11,13] (Abramov, Kirillova, 2012; Gorelkin, 2016; Zernes, 2013) и, в том числе, исключения случаев использования в работах некорректных заимствований. В связи с этим помимо контроля за деятельностью редакционных коллегий со стороны организаций, издающих научные журналы, а также ВАК [1] России, важное значение имеет и общественный контроль, в т.ч. на основе использования современных информационно-телекоммуникационных технологий.

Однако эти вопросы в существующих публикациях отражены недостаточно полно. Поэтому целью настоящей статьи является попытка устранить указанный недостаток.

Анализ существующих возможностей общественного контроля за качеством деятельности научных журналов России

В современной России издается 964 НЖ, включенных в перечень «Международных реферативных баз и систем учета цитирований» (МРБиСУЦ), «признаваемых» ВАК России в отношении защит кандидатских и докторских диссертаций (Перечень ВАК от 01.09.2016) – далее для него используется сокращение «Перечень ВАК-1». Кроме того, статус ВАКовских имеют еще 1 958 НЖ (по перечню ВАК от 25.04.2017), которые не включены в МРБиСУЦ. Далее для этого (второго) перечня используется сокращение «Перечень ВАК-2».

С позиций правил, установленных ВАКом, все НЖ России по своему «научному статусу» могут быть отнесены к таким категориям:

1. соответствующие Перечню ВАК-1;

2. включенные в Перечень ВАК-2;

3. все остальные.

Для практических целей 3-ю категорию целесообразно разделить на две подкатегории: издания, включенные в «базу РИНЦа» и не включенные – в том числе журналы, исключенные РИНЦем из своей базы 19.04.2017 (344 издания).

Неформальный научный статус научных журналов [1,14,23,24] (Abaev, 2009; Zubets, 2010; Loyko, Romanov, Popova; 2015; Mazalov, Pechnikov, Falko, 2009) определяется не только их принадлежностью к перечням ВАК, но и наукометрическими показателями (НМП), сложившимся в научном сообществе мнением об издании – в т.ч. и с учетом допускаемых им нарушений научно-публикационной этики (НПЭ). При этом в существующих публикациях справедливо отмечается, что экспертиза качества научных журналов [1,36] (Abaev, 2009; Fedorets, 2009), объективное определение их рейтингов [24] (Mazalov, Pechnikov, Falko, 2009) затрудняются несовершенством системы существующих НМП. В связи с этим в российской научной периодике систематически публикуются статьи, посвященные разработке для научных журналов новых НМП и улучшению применения уже существующих [15,20,36] (Emelin, 2016; Colledge, James, 2016; Fedorets, 2009). Встречаются также публикации, в которых анализируются не сами научные журналы, а состав их редколлегий [25] (Mazov, Gureev, 2016). Публикаций, посвященных анализу состава «учредителей» научных журналов, автору настоящей статьи пока найти не удалось.

При оценках научных журналов помимо НМП в научной литературе используются различные термины: авторитетность, значимость [23] (Loyko, Romanov, Popova; 2015), известность, востребованность, научный уровень и др. Объективно такая ситуация связана с тем, что у научного журнала имеется совокупность характеристик, которые сложно свести в единый «интегральный показатель».

Постоянный или даже периодический контроль со стороны ВАК за качеством деятельности такого большого количества изданий организовать очень сложно. При этом включение НЖ в «Перечень ВАК-2» осуществлялось при условии соблюдения ими достаточно формальных требований – в т.ч. в отношении периодичности выхода, наличия рецензирования статей, соблюдения установленных ограничений на количества тематических направлений публикаций и пр. За последнее время случаи исключения НЖ из «Перечня ВАК-2» по инициативе ВАКа в явной форме на его сайте не отражены. С другой стороны, и изменение количества НЖ в «Перечне ВАК-2» практически прекратилось (Прим. ред. – на момент выхода выпуска Перечень продолжил пополняться), а изменения тематик журналов осуществляются редко. Однако ситуация может измениться в связи с началом действия с 9.05.2017 Приказа МинОбрНауки № 1586 от 12.12.2016 (далее Приказ). Отметим в частности следующее.

(1) Ограничение срока «рассмотрения по существу» для документов, представленных для включения журналов в «Перечень ВАК-2» 9-ю месяцами (пункт 10 Приказа).

(2) Возможность исключения НЖ из этого Перечня по трем причинам (пункт 12 Приказа): а) в случае ликвидации издания; б) по ходатайству редакции издания; в) на основании рекомендаций Комиссии в случае выявления несоответствия издания Требованиям. Пункт «б» выглядит не вполне корректным (по крайней мере, по отношению к вузам), т.к. «редакции изданий» обычно не являются юридическими лицами, которые могут самостоятельно принимать такие решения. Пункт «в» в качестве причины решения об исключении НЖ предусматривает только «рекомендации Комиссии». Однако при этом ничего не говорится об обязанностях Комиссии в отношении контроля НЖ; возможностях обращения в Комиссию по вопросам исключения НЖ из «Перечня ВАК-2» различных организаций, включая профессиональные сообщества (группы) исследователей, ресурса «Диссернет» и пр. Отметим еще, что если в отношении деятельности образовательных организаций (в т.ч. вузов) действует такая мощная «структура» как Рособрнадзор, то в отношении НЖ аналогичной «контрольной структуры» сейчас фактически нет.

(3) Возможность изменения тематики НЖ и его названия по инициативе «издания» предусматривается пунктом 13 Приказа. При этом для представленных документов длительность «рассмотрения по существу» также соответствует 9-ти месяцам. В связи с возможностью изменения названия НЖ и его тематик представляется целесообразной регламентация порядка «наследования» изданием НМП в РИНЦе.

(4) В Требованиях к НЖ (приложение к Приказу) ничего не говорится о возможности исключения журналов из «Перечня ВАК-2» за нарушения «научной публикационной этики», а сам этот термин (или его аналог) в Приказе вообще не встречается.

Основным «инструментом» признания актуальности и качества опубликованных работ пока является включение ссылок на них во вновь публикуемые статьи. В дальнейшем это позволяет рассчитать НМП отдельных авторов, статей, научных журналов. Ориентация редакций научных журналов и авторов на необходимость роста НМП в ряде случаев приводит к неоправданному увеличению количества публикуемых работ с дублирующимся содержанием; «обмена» авторами статей ссылок на работы друг друга; взаимным ссылкам на статьи из НЖ, редакции которых специально договорились об этом; принудительным (обязательным) требованиям редакций к авторам публикуемых статей в отношении обязательного цитирования определенного количества работ, опубликованных в тех НЖ, куда направляются статьи и пр. В некоторых случаях предусмотренные в правилах НЖ ограничения на количества соавторов в статьях могут противоречить желанию авторского коллектива указывать всех лиц, которые принимали творческое участие в работе [16] (Eremenko, 2016).

На сайте РИНЦ (www.elibrary.ru) существует малоизвестная возможность оценивания (в рамках т.н. «альтернативной метрики») отдельных статей «зарегистрированными посетителями» по весьма ограниченному количеству градаций, но не в виде содержательных комментариев. При этом автоматически «нивелируются» оценки, сделанные исследователями, имеющими разные уровни научной авторитетности, НМП и пр.

Итак, необходимость (целесообразность) общественного контроля за деятельностью НЖ определяется следующими обстоятельствами:

· очень большим количеством издаваемых в России научных журналов (в т.ч. и ВАКовских);

· ограниченными возможностей ВАК в отношении их постоянного государственного контроля в отношении соблюдения унифицированных требований;

· недостаточной эффективностью использования существующих НМП для оценки деятельности научных журналов и пр.

К сожалению, средства осуществления общественного контроля деятельности НЖ и обеспечения доступности его результатов в современной России являются совершенно недостаточными. Публикации в научной периодике материалов, связанных с соблюдением (или нарушением) конкретными научными журналами правил публикационной этики, почти не встречаются. Это же касается и обсуждения корректности публикаций отдельных авторов. На сайтах практически всех НЖ отсутствуют форумы, позволяющие организовать обсуждение уже опубликованных статей – в т.ч. в отношении соблюдения их авторами правил научно-публикационной этики. Малоизвестны (или их вообще нет) также сайты-форумы для проведения обсуждений НЖ учеными в «инициативном порядке» для журналов определенных тематических направлений деятельности и пр.

При таких условиях важную роль в отношении обеспечения общественного контроля научной деятельности (включая и работу НЖ) начал играть ресурс www.dissernet.org, а фактически его сайт. Он используется для различных целей, однако основная из них – продвижение результатов выполненных «экспертиз» в информационном пространстве России.

Оценки научных журналов иногда даются и в средствах массовой информации – причем нередко достаточно субъективно. В ряде таких случаев как основание для оценок используется информация, размещенная на ресурсе www.dissernet.org.

Анализ известности и востребованности ресурса www.dissernet.org в информационном пространстве России

В России других сайтов с функциональностью, аналогичной рассматриваемому ресурсу, пока нет. Однако за рубежом примерно аналогичные сайты имеются.

Ресурсу www.dissernet.org (который далее будем также называть просто «Диссернетом») посвящена достаточно подробная статья в Википедии (https://ru.wikipedia.org/wiki/Диссернет).

Оценки со стороны государственных органов (и их должностных лиц) в отношении деятельности «Диссернета» очень немногочисленны и кратки [12].

Есть определенное количество публикаций в научной литературе, направленных на «информационное продвижение» этого ресурса в научно-информационном пространстве [30] (Rostovtsev, 2016), а также посвященных его деятельности [2, 17, 34] (Abalkina, 2016; Ippolitov, 2016; Tikhomirov, 2014a).

При этом в [17] (Ippolitov, 2016) не только критикуется работа «ресурса в целом», но и подробно анализируется «качество» публикационной активности одного из «активистов» ресурса, нарушение им (по мнению авторов [17] (Ippolitov, 2016)) правил НПЭ. Такое «пристальное внимание» к отдельным «персонам» для российской научной периодики не характерно. Однако оно встречается в средствах массовой информации, причем там, как правило, приводятся только итоговые оценки без обоснований.

С учетом того, насколько много физических и юридических лиц, являются объектами «экспертиз» «Диссернета», количество публикаций о его деятельности в научных изданиях России следует считать очень небольшим. Как следствие можно сделать вывод, что указанные физические лица и организации не считают нужным комментировать негативную информацию о них, размещенную на www.dissernet.org (а тем более оправдываться).

Интересной (и достаточно важной!) особенностью сайта www.dissernet.org является отслеживание, систематизация и публикация номенклатуры ссылок на опубликованные материалы, касающиеся его деятельности. Однако приведенные на сайте ресурса ссылки относятся не к научным изданиям, а к средствам массовой информации – в т.ч. и считающимся зарубежными.

Автор проанализировал также вебометрические показатели для рассматриваемого сайта. С целью их оценок была использована методика, подробно описанная в [8] (Brumshteyn, Vaskovskiy, Gorbacheva, 2016). Поэтому ниже мы приводим лишь ключевые показатели для сайта (на 14.04.2017) и некоторые минимальные комментарии к ним.

Среднее время доступа к сайту (4.61 сек) было оценено с использованием бесплатного сервиса для проверки скорости загрузки страниц веб-сайтов с разных «точек мира» – http://sitespeed.me.

Были также определены следующие характеристики сайта: веб-размер (11704 страницы); количество на нем графических файлов (59348); количество файлов c расширением pdf (9). Для суммарного объема информации, размещенной на рассматриваемом сайте, была получена оценка в 3 049 377 Kb.

Кроме того, по гиперссылкам были оценены «информационные связи» сайта с другими Интернет-сайтами, а также внутренние связи. Количество «входящих» ссылок (т.е. ссылок на сайт www.dissernet.org с других Интернет-сайтов) составило 13127. Количество «внутренних» ссылок (т.е. с одних страниц сайта на другие) равнялось 613882, т.е. примерно по 52.5 ссылки на одну страницу.

Исходящие ссылки (т.е. ссылки с рассматриваемого сайта на внешние по отношению к нему Интернет-ресурсы) оценивались в двух вариантах: количество исходящих url на сайте (=179589) и общее количество исходящих ссылок (=265090).

Количество уникальных посетителей сайта за месяц (с отсчетом «назад» от даты проведения анализа сайта 14.04.2017), составило 17 387, а количество просмотров сайта за тот же период – 69 552. Таким образом, один уникальный посетитель пользовался сайтом в течение месяца в среднем 4 раза.

Среднее время работы пользователей с информационными ресурсами на сайте за рассматриваемый период составило 3 минуты 47 секунд. Этот показатель можно, скорее всего, интерпретировать так – посетители получали только интересующую их информацию в отношении отдельных «персон», научных журналов или иных объектов, а не осуществляли какой-то систематический анализ размещенной на ресурсе информации.

Подчеркнем, что доступные в Интернете бесплатные средства вебометрики позволяют получить многократно большее количество показателей для сайта, но их рассмотрение выходит за рамки настоящей статьи. Системные администраторы сайтов с использованием «счетчиков» [9] (Vaskovskiy, Brumshteyn, 2015) в инициативном порядке могут получить также детальную информацию в отношении востребованности отдельных страниц сайтов.

Приведем еще количества ссылок, которые дают поисковые системы Интернета по запросу «Диссернет» (на 16.04.2017 18:00): www.google.ru – 148 тыс.; www.mail.ru – 15 тыс.; www.yandex.ru – 997 тыс.

Таким образом, сайт «Диссернета» является достаточно «известным» в Интернет-пространстве, имеет значительное количество посетителей. Это делает целесообразным подробное рассмотрение деятельности данного ресурса в виде отдельной статьи.

Особенности финансирования, декларируемые цели деятельности, юридический статус ресурса

В соответствии с тем, что сказано на странице https://www.dissernet.org/about/ «Расходы «Диссернета», связанные с выполнением его задач, финансируются за счет добровольных пожертвований граждан, сочувствующих его миссии и разделяющих его принципы». При этом фамилии «жертвователей» (на небольшие суммы) и «спонсоров» (на суммы свыше 30 тыс. руб.) даны только на 01.02.2014. Таким образом, судя по приведенной информации, не предусматривается возможность, по крайней мере, прямого финансирования деятельности ресурса со стороны каких-либо организаций (включая коммерческие), различных фондов и пр.

На стартовой странице сайта сказано, что этот ресурс позиционируется как «Вольное сетевое сообщество экспертов, исследователей и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов». Хотя ресурс существует лишь с 2013 г, он уже оказывает определенное влияние на процессы, связанные с защитами диссертаций в России; пересмотры результатов этих защит; оценки деятельности НЖ.

Объектами оценок («экспертиз») «Диссернета» являются, прежде всего, диссертации. Однако оцениваются также российские научные журналы (в т.ч. издаваемые вузами); деятельность отдельных лиц, в т.ч. связанных с защитами диссертаций и участием в редколлегиях НЖ; диссертационные советы, в т.ч. работающие при вузах.

Целью деятельности ресурса www.dissernet.org в отношении НЖ является (судя по информации, приведенной на его сайте) выявление лишь некоторых видов нарушений:

· некорректная редакционная политика;

· не этичные действия членов редакционных коллегий НЖ;

· опубликование НЖ материалов, с не оформленными надлежащим образом заимствованиями текста.

Таким образом, рассматриваемым ресурсом изначально не ставятся задачи комплексной оценки всего массива НЖ России (включая ВАКовские) в отношении качества публикаций, корректности соблюдения ими правил НПЭ и др.

Существенно, что рассматриваемый ресурс не является частью каких-то академических или коммерческих структур, вузов, государственных организаций. Как следствие, они не могут оказывать прямого влияния на номенклатуру (выбор) проверяемых на ресурсе НЖ и отдельных публикаций в них; период времени, за который осуществляются проверки работ, опубликованных в НЖ; формулировки результатов проведенных ресурсом «экспертиз» и пр.

В деятельности «Диссернета», судя по материалам, представленным на https://ru.wikipedia.org/wiki/Диссернет, принимают участие и сотрудники бюджетных организаций России, включая академические институты. Однако на самом сайте www.dissernet.org список его сотрудников (активистов) в явной форме не представлен. Не указываются также фамилии физических лиц (и их групп), выполнявших конкретные «экспертизы». Таким образом, приводимые на сайте оценки для НЖ должны рассматриваться как отражение позиции некоторой группы лиц, участвующих в работе ресурса – причем, судя по всему, на «общественных началах», а не в рамках исполнения ими основных служебных обязанностей.

На рассматриваемом ресурсе отсутствует (или по крайней мере недоступен для «не зарегистрированных пользователей») какой-то «Устав» вольного сообщества или документ, аналогичный ему по содержанию. Декларация целей, приведенная на странице https://www.dissernet.org/about/, вряд ли может считаться полноценной заменой Уставу.

В средствах массовой информации России, а также на самом рассматриваемом сайте, отражаются достаточно многочисленные случаи проявления «Диссернетом» инициатив по пересмотру результатов защит диссертаций, в т.ч. путем обращения в ВАК России с мотивированными ходатайствами. Однако сведений об аналогичных инициативах ресурса в отношении «наказания» каких-то НЖ нет. Между тем на сайте опубликованы списки научных журналов, в которых (по мнению сотрудников ресурса) выявлены нарушения норм НПЭ.

Сайт www.dissernet.org находится вне доменных зон su, ru, рф. Поэтому в судебном порядке достаточно сложно добиться удаления размещенной на сайте ресурса негативной информации. Впрочем, автору настоящей статьи и не удалось найти в Интернете сведений о том, что такие попытки к настоящему времени вообще предпринимались какими-либо физическими или юридическими лицами.

Общая характеристика «Диссеропедии журналов» ресурса Диссернет

Отметим, прежде всего, что на сайте «Диссернета» публикуются лишь «списки» для объектов различных типов, в отношении которых были проведены «экспертизы» и выявлены (по мнению активистов ресурса) некоторые нарушения норм НПЭ. Каких-то «белых списков» НЖ, для которых при «экспертизе» не было выявлено нарушений, на сайте ресурсе не ведется.

На 16.04.2017 на странице http://biblio.dissernet.org/ была представлена негативная информация по 191 российским научным журналам. По крайней мере за последние два месяца (по отношению к 16.04.2017), это количество достаточно быстро возрастало. Судя по информации, приведенной на указанной странице сайта, его сотрудники в перспективе допускают увеличение количества изданий в «Диссеропедии журналов» до 3000.

Таким образом, количество НЖ, включенных в «Диссеропедию журналов» на рассматриваемом в данной статье ресурсе, составляет примерно 9.8 % по отношению к «Перечню ВАК-2» от 25.04.2017. Однако даже в НЖ из указанного списка в 191 издание, доли статей, опубликованных с нарушением правил публикационной этики, составляют отнюдь не 100 %, а намного меньше. Отметим еще, что часть НЖ из числа указанных 191, присутствует и в «Перечне ВАК-1».

Пункт основного меню «статистика» сайта www.dissernet.org не дает количественных показателей в отношении распределения указанных 191 НЖ по их тематическим направлениям деятельности (ТНД). Вероятно, это связано с тем, что у большинства указанных НЖ имеется несколько ТНД – причем в различных сочетаниях друг с другом. Поэтому нами была сделана оценка долей НЖ, включающих отдельные ТНД. Подчеркнем еще раз, что эти доли нельзя суммировать, т.к. указанные ниже 5 ТНД часто встречаются в одних и тех же НЖ одновременно. Итак, на 16.04.2017 в «Диссеропедии журналов» ресурса www.dissernet.org было представлено по «экономике» 77 НЖ (40.3 %); по «юридическим наукам» – 67 НЖ (35.1 %); по «педагогике» – 45 НЖ (23.6 %); по «психологии» – 27 НЖ (14.1 %); по «сельскохоз. наукам» – 24 НЖ (12.6 %). Таким образом, в «Диссеропедии журналов» преобладают НЖ по экономическим и гуманитарным наукам. При этом по первым трем группам (из пяти приведенные выше) эти доли намного выше, чем доли журналов с такими же ТНД в «Перечне ВАК-2». Более объективные оценки указанных показателей могли бы строиться с учетом количеств нарушений, относящихся к отдельным НЖ; общих количеств публикаций в НЖ и пр. Однако проведение таких расчетов слишком громоздко, хотя в принципе и возможно – например, с привлечением дополнительной информации с сайта www.elibrary.ru.

На ресурсе www.dissernet.org на 16.04.2017 помимо 191 НЖ фигурировали 2211 «персоны»; 269 диссертационных совета; 420 российских вуза (все эти показатели на сайте Диссернета со временем растут, хотя и с разной скоростью). Вузы попадают в «списки» Диссернета очевидно по следующим причинам: деятельность в них (при них) Советов по защите диссертаций к которым у Диссернета есть «претензии»; работы в вузах «персон» из числа указанных 2211 человек; наличия НЖ из этих вузов в «Диссеропедии журналов» (191 журнал на 16.04.2017).

На странице http://biblio.dissernet.org/collectionsb/116808 рассматриваемого сайта представлен список главных редакторов НЖ – персон «Диссернета» – для тех журналов, которые включены в «Диссеропедию журналов». С этой страницы сайта по гиперссылкам открываются «персональные страницы», посвященные их главным редакторам, а также самим НЖ. Однако главные редакторы НЖ со временем могут меняться. Поэтому представляется, что более корректным было бы давать ссылки именно на тех главных редакторов, которые руководили НЖ в тот период времени, когда издания были включены ресурсом в «Диссеропедию журналов» (с указанием момента такого включения).

Отметим также, что на ресурсе не приводятся фамилии ответственных секретарей НЖ, включенных в «Диссеропедию журналов», хотя эти лица играют важную роль в издании журналов [10] (Gasparyan, 2016).

Причины (основания) включения научных журналов в «Диссеропедию журналов» ресурса Диссернет

Ниже перечислены основные причины, по которым «Диссернет» включает российские НЖ в «Диссеропедию журналов».

1) Наличие в редколлегиях НЖ «персон «Диссернета», т.е. лиц включенных в его персональные «списки» лиц, которые (по мнению активистов ресурса) нарушают нормы научной деятельности. Для каждого НЖ из «Диссеропедии журналов» указывается количество членов его редколлегии, причастных к необоснованному (по мнению Диссернета) присуждению ученых степеней. При этом фамилии этих лиц можно узнать из последующего пункта основного меню для каждого НЖ. Также путем перехода по гиперссылкам можно получить список диссертантов, которым по мнению экспертов Диссернета, ученая степень была присуждена «необоснованно». При переходе по гиперссылкам, соответствующим конкретным диссертациям, открываются «таблицы заимствований». Существенно, что какого-то определенного «порога заимствований», определяющего необходимость включения рассмотренных диссертаций в такой список, на сайте ресурса не приводится.

Однако численности членов редколлегий (редсоветов) разных НЖ значительно различаются. Поэтому представляется, что не лишним было бы и указание этих численностей – для оценки долей членов, действия которых рассматриваются Диссернетом как не этичные.

Существенно, что нет каких-то «предельных сроков» нахождения НЖ в «Диссеропедии журналов» ресурса Диссернет (или, по крайней мере, они не оговариваются на его сайте). Поэтому, судя по всему, если НЖ попал в «Диссеропедию журналов», то он в ней продолжает оставаться неограниченно долго, даже если состав его редколлегии принципиально изменился.

2) Публикация в НЖ статей авторами «красочных» (по терминологии, используемой на сайте Диссернета) диссертаций. В этом пункте приводится только общая численность таких авторов. Переход на конкретные фамилии осуществляется по гиперссылкам, далее можно перейти на информацию о самих диссертациях.

Повторим, что на рассматриваемом ресурсе «необоснованность» присуждения научных степеней связывается только с объемами заимствований в диссертациях, но не с их качеством, научной новизной, актуальностью и пр. Между тем ВАКом России для обеспечения объективности принятия решений по защитам диссертаций принят целый ряд мер: обязательная предварительная публикация их материалов (а также отзывов на диссертации) на Интернет-сайтах; соблюдение определенной процедуры (регламента) при защитах; аудиовидеозапись процессов защит; проверка защищенных диссертаций экспертами ВАКа (для докторских диссертаций она проводится обязательно, для кандидатских, судя по всему, выборочно) и пр.

3) Научный журнал принимает вместе со статьей готовые рецензии на нее (информация о журнале типа «Да» или «Нет»). Можно ли представление авторами таких рецензий вместе со статьями считать нарушением редакциями НЖ правил публикационной этики? Этот вопрос следует считать дискуссионным по следующим причинам:

(А) Некоторые НЖ в обязательном порядке требуют такие рецензии от студентов, аспирантов и лиц, не имеющих ученых степеней. При этом целью является снижение трудоемкости редакционно-издательской обработки поступающих материалов за счет предварительного «отсеивания» слишком слабых статей, на которые «профильные» специалисты отказываются давать положительные рецензии.

(Б) Помимо представляемой автором (авторами) рецензии в НЖ может осуществляться (и, как правило, во всех ВАКовских НЖ осуществляется) также внутреннее рецензирование. Его результаты обычно рассматриваются как более важные по сравнению с мнением, отраженным в представленной автором (авторами) внешней рецензии.

(В) По некоторым узким направлениям исследований в составе редколлегии и в «корпусе рецензентов» НЖ вообще может не быть достаточно компетентных специалистов, глубоко знающих рассматриваемую в статье проблематику. При этом редакции НЖ формально могут отказываться рассматривать такие работы в силу «недостаточной компетентности» по соответствующей тематике. Однако на практике редакции нередко ограничиваются проверкой формального соблюдения в таких работах правил, установленных НЖ; методического уровня статей; списка литературы. В остальном же, редакции ориентируются на мнения компетентных узких специалистов, которые дали отзывы на статьи. При этом, естественно, должна осуществляться проверка того, что этот специалист работает в соответствующей предметной области – например, на основе списка его публикаций, отраженных на сайте www.elibrary.ru. Кроме того, информация с этого сайта позволяет выявить авторов представляемых рецензий, которые являются соавторами по статьям в последние годы. Этот факт обычно должен рассматриваться как нарушение правил НПЭ этики со стороны тех авторов, которые представили соответствующие рецензии, а также и самих рецензентов.

4) Неоднократная публикация статей с неоформленными заимствованиями. Для этой позиции на рассматриваемом ресурсе также указывается только количество работ. Однако из основного меню можно перейти на конкретные публикации по гиперссылкам – чтобы оценить объемы выявленных нарушений (заимствований).

В российской периодике есть достаточно много статей, посвященных проблеме плагиата в научных публикациях [5,18,21,22,27,34] (Bliznets, Leontev, 2013; Kanatnikova, 2015; Kulikova, 2016; Levin, 2014; Ostrovskaya, 2016; Tikhomirov, 2014a). Однако на практике понимание этого термина во многих случаях различается. С юридической точки зрения плагиату соответствуют только точные текстуальные заимствования, для которых не даны необходимые ссылки [5] (Bliznets, Leontev, 2013).

Выражение «неоформленные заимствования» является не вполне корректным. Лучше говорить о «заимствованиях, не оформленных надлежащим образом». Например, пусть заимствование заключено в кавычки, но не указан его источник. Тогда это будет именно неверно оформленное заимствование, т.к. авторы показали, что текст не принадлежит им. Для объективности отметим также, что кавычки могут показывать и использование терминов (включая словосочетания) в переносном смысле.

Другая категория заимствований в статьях – фрагменты текста, не заключенные в кавычки или (как альтернатива) не выделенные курсивом [7] (Brumshteyn, 2016). В этих случаях можно определенно говорить об «умышленном плагиате» в статьях и диссертациях. Однако если в последнем случае используются «автоцитирования» из статей, в которых автор диссертации является единственным автором, то формально считать это «плагиатом» нецелесообразно. Отметим, что в литературе для таких случаев иногда используется термин «самоплагиат» [21] (Kulikova, 2016).

Для выявления фактов заимствований в опубликованных материалах созданы и используются в России различные программные средства [4,38,39] (Avdeeva, Sus, 2014; Chekhovich, 2013; Chirkin, 2013). Указанные ресурсы могут не только рассчитывать доли «оригинального текста» в анализируемых публикациях, но и давать ссылки на конкретные источники, из которых были проведены заимствования, показывать фрагменты заимствованных текстов. Результативность таких проверок может быть значительно снижена за счет использования т.н. «ручного рерайтинга» текстов работ [7] (Brumshteyn, 2016).

Важно, что системы типа «антиплагиат» пока используются для анализа заимствований в отдельных работах, но не в номерах НЖ в целом. В тоже время результаты такого анализа НЖ были бы полезны не только как своеобразный НМП изданий, но и как средство оперативного контроля за деятельностью редакций со стороны руководства издающих их организаций, научной общественности.

Отметим, что на ресурсе www.dissernet.org вообще не ставятся задачи выявления в опубликованных статьях заимствований графических объектов в виде схем (в т.ч. доступных на сайтах в Интернете вне каких-либо научных статей, диссертаций и пр.), фотографий и пр.; формул и пр. Объективности ради отметим, что используемые в России автоматизированные системы выявления заимствований этого делать пока не умеют – по крайней мере, если подрисуночные подписи в опубликованных работах отличаются от источников заимствований.

5) Неоднократное тиражирование «множественных публикаций» (МП). Переход к этим публикациям на www.dissernet.org также возможен по гиперссылкам. На рассматриваемом сайте приводится расшифровка для термина МП – это такая работа, для которой «список авторов полностью совпадает со списком авторов "источников"». Однако термин МП не имеет общепризнанного толкования. Чисто формально МП следует считать только опубликование одного и того же материала в разных НЖ вообще без каких-либо изменений, как пример приведем [34,35] (Tikhomirov, 2014a; Tikhomirov 2014b). При наличии изменений в опубликованных материалах можно говорить о работах, содержащих «автозаимствования» в большом объеме.

6) Неоднократная публикация статей с «загадочным авторством». На рассматриваемом сайте этот термин толкуется так – «список авторов частично совпадает со списком авторов "источников" ». Просмотр информации, доступной по гиперссылкам, показывает, что в этих случаях речь также идет о «масштабных» заимствованиях, не оформленных надлежащим образом, а не о полностью совпадающих текстах работ. Сам по себе термин «загадочное авторство» выглядит не вполне корректным (неудачным), т.к. в статьях указываются фамилии, имена, отчества авторов, места их работы или учебы.

7) На сайте www.dissernet.org приводится также «индекс накрутки цитирования» для НЖ. Под ним понимается «отношение двухлетнего импакт-фактора РИНЦ (ИФ1) журнала к импакт-фактору по «ядру» РИНЦа (ИФ2) без самоцитирования». Термин «накрутка» имеет в данном контексте негативный смысл. Его можно связать с нарушением НЖ «неписанных» норм НПЭ, которые разными редакциями понимаются по-разному, а в требованиях ВАКа к НЖ эти правила в явной форме не отражены. Отметим, что РИНЦ показатель, соответствующий «индексу накрутки цитирования» для НЖ, не считает нужным представлять на своем сайте – хотя рассчитать и отобразить его было бы достаточно просто.

Сам по себе «индекс накрутки цитирования» не рассматривается на ресурсе www.dissernet.org как основание для включения НЖ в «Диссеропедию журналов». Однако считается, что значение указанного индекса дополнительно подтверждает решение «Диссернета» о занесении НЖ в «Диссеропедию журналов».

В связи с этим отметим, что включение НЖ в «ядро РИНЦа» пока не имеет какого-то особого юридического значения, поскольку эта категория журналов в документах ВАКа в настоящее время прямо не отражена. Однако, раздельный учет публикаций в ВАКовских НЖ, входящих и не входящих в «ядро» РИНЦа, могут осуществлять некоторые Советы по защите диссертаций, фонды-грантодатели и пр. Последние, впрочем, пока особое внимание обращают на наличие у авторов заявок на гранты публикаций в НЖ, входящих в списки МБРиСУЦ или в «журналы мирового уровня» (это термин из рецензии в отношении заявки на грант, которую автор посылал в Российский Фонд Фундаментальных Исследований).

Существенно, что на сайте «Диссернета» не представлены комментарии в отношении опубликованной негативной информации со стороны физических лиц, редакций НЖ (или их главных редакторов), организаций-издателей НЖ, других физических и юридических лиц. Между тем на сайте ресурса специально указан адрес для «обратной связи» – rosvuz@dissernet.org.

Достоинства и недостатки рассматриваемого ресурса

В общем случае достоинства и недостатки ресурса www.dissernet.org могут рассматриваться с позиций различных физических и юридических лиц, в т.ч. и тех, которые никак не отражены (не упоминаются) на его сайте. При этом в общем случае оценки достоинств и недостатков могут относиться к таким объектам: диссертациям; диссертационным советам; НЖ; членам их редколлегий; другим «персонам диссернета». В силу тематики статьи приводимые ниже оценки «достоинств и недостатков» ориентированы, в основном, на направление «научные журналы».

Итак, к достоинствам ресурса можно отнести следующее.

Д1) Независимый (по отношению к органам государственного управления научной деятельностью, вузам, другим организациям) характер приводимых оценок по результатам «экспертиз». Даже в профилактическом плане наличие такого ресурса полезно как «сдерживающий фактор» в отношении нарушений норм научной деятельности и, в том числе, нарушений научными журналами и авторами статей норм публикационной этики.

Д2) Рассматриваемый ресурс во многих случаях выступает инициатором пересмотра результатов защит диссертаций. Однако пока нет информации о том, чтобы ресурс инициировал процедуры пересмотра статусов НЖ в отношении их наличия в «Перечне ВАК-2» и/или «ядре» РИНЦа.

Д3) Достаточно удобная «внутренняя» поисковая система ресурса – в варианте «расширенного поиска» эта система обладает развитой функциональностью.

К недостаткам ресурса www.dissernet.org можно отнести следующее.

(Н1) Ориентацию на анализ информации преимущественно в отношении диссертаций и вузов, хотя на ресурсе фигурируют и иные типы организаций. Отметим также, что на странице https: // www.dissernet.org/instructions/ утверждается, следующее «В настоящее время сообществом «Диссернет» запущены масштабные проекты тотальной, конвейерной проверки диссертаций, защищенных ВСЕМИ представителями российских властных структур, включая законодательную и исполнительную власть, силовые ведомства, системы судов и прокуратуры». Действительно, такие проверки осуществляются (в т.ч. в отношении министров правительства РФ), а результаты публикуются на сайте Диссернета; попадают и в различные средства массовой информации.

(Н2) Выборочный характер приводимых сведений в отношении НЖ – только по отдельным изданиям и за достаточно ограниченный период времени. При этом на рассматриваемом ресурсе не представлена информация типа «Такой-то НЖ проверен такого-то числа за такой-то период времени и нарушений НПЭ не обнаружено». Судя по всему, не предусмотрена и возможность инициативных обращений на ресурс со стороны редакций НЖ с просьбами о проведении таких проверок и публикации их результатов на сайте.

(Н3) Не комплексный характер оценок отдельных публикаций, НЖ, диссертаций – только на основе наличия и объемов «дословных заимствований», но не качества работ в целом, их актуальности и пр. Отметим, в частности, что для комплексных оценок НЖ, подвергаемых «экспертизам», могли бы использоваться следующие виды информации, доступные через Интернет: наличие НЖ в Перечнях ВАК № 1 и № 2 (см. выше); НМП для НЖ, размещенные на сайте www.elibrary.ru и сайтах МРБиСУЦ; оглавления номеров НЖ (в отношении соблюдения редакциями НЖ декларированных в правилах для авторов ТНД) – такие оглавления обычно доступны не только на сайте www.elibrary.ru, но и сайтах организаций-издателей – в т.ч. и в случае платного доступа к текстам работ; аннотаций опубликованных в НЖ статей или их содержаний (если тексты статей находятся в открытом доступе); сведений о личных НМП авторов работ, размещенных в НЖ; личных НМП членов редколлегий НЖ, их главных редакторов и пр.

(Н4) Для тех документов, в которых обнаружены «некорректно сделанные заимствования текста», страницы с такими заимствованиями на сайте Диссернета выделяются целиком – с использованием соответствующей цветовой заливки. При этом «первоначальное восприятие» такой информации Интернет-пользователями интуитивно может соответствовать тому, что страницы заимствованы полностью. Однако просмотр содержимого анализируемой страницы и оригинала на сайте «Диссернета» обычно показывает, что заимствованы лишь отдельные фрагменты текста. Поэтому представляется, что при «раскрытии» страниц, отмеченных как содержащие некорректно выполненные заимствования, стоило бы указывать «проценты» таких заимствований.

Кроме того, для каждого подвергаемого «экспертизе» документа целесообразно было бы указывать проценты для двух видов заимствований: из работ, в которых автор рассматриваемого документа является единственным автором или соавтором; из всех работ, которые включены в базу публикаций, проверяемых на наличие заимствований из них. При этом кажется вполне разумным, что в текстах диссертаций, их авторами могут использоваться достаточно обширные фрагменты текстов из ранее опубликованных ими научных статей и других материалов – при условии, что корректно сделаны соответствующие ссылки.

(Н5) Категоричный (безапелляционный) характер приводимых оценок НЖ, публикаций, диссертаций, отдельных «персон Диссернета» – включая и главных редакторов НЖ. Между тем следует исходить из того, что по крайней мере часть приводимых оценок, может рассматриваться как «спорная» – в т.ч. из‑за различий в подходах к оценкам, которые используются в разных ТНД (направлениях исследований). Такие оценки приводятся на сайте от имени «ресурса в целом», а не каких-то конкретных экспертов или их групп. Однако понятно, что со временем состав таких экспертных групп может меняться.

Для сравнения укажем, что сообщения, публикуемые в средствах массовой информации (в т.ч. и со ссылками на Диссернет), обычно имеют подпись конкретного журналиста – хотя допускаются и публикации под псевдонимами. Если такой подписи нет, то материал считается отражающим позицию редакционной коллегии.

(Н6) Отсутствие на сайте Диссернета каких-либо комментариев со стороны НЖ и физических лиц, в отношении которых приводится негативная информация. Между тем на странице сайта https: // www.dissernet.org/about/ указывается следующее. «Связаться с «Диссернетом», в том числе, направить заявление/обращение в порядке ст. 15.7 Федерального закона от 27.07.2006 N 149-ФЗ "Об информации, информационных технологиях и о защите информации", можно по адресу info@dissernet.org».

(Н7) Некоторую ориентацию ресурса (судя по содержанию выпадающих меню) на представление негативной информации в отношении работ по экономике, педагогике, праву. Возможно, впрочем, что это отражает тот факт, что для работ именно по этим направлениям сотрудниками («активистами») ресурса обнаруживается наибольшее количество нарушений. При этом, судя по некоторым публикациям об «активистах» ресурса, ими являются в основном специалисты по физико-математическим и естественным наукам.

(Н8) Отсутствие на сайте ресурсе анализа информации по тем публикациям, которые не находятся в открытом доступе в Интернете. Таким образом, например, если «платный НЖ» заинтересован в исключении возможностей проверок публикаций в нем, то он может просто не «выкладывать» их содержание в открытый доступ. При этом отсутствие опубликованных в НЖ статей в открытом доступе не считается нарушением норм НПЭ, т.к. связано с «экономической политикой» редакций НЖ и, в частности, с обеспечением для них возможностей воспользоваться «имущественными авторскими правами» на опубликованные работы. В связи с этим отметим, что даже те НЖ, которые не выкладывают статьи в открытый доступ, могут попасть в «Диссеропедию журналов» Диссернета – например, за счет наличия в их редколлегиях его «персон».

(Н9) Как и на многих других ресурсах, связанных с научной деятельностью, на www.dissernet.org не ведется специальный учет умерших физических лиц и, как следствие, соответствующая информация не отображается. Поэтому, вероятно, определенная часть «персон Диссернета» уже ушли из жизни. В силу этого представление на ресурсе негативной информации по таким лицам (особенно если это делается уже после того, как они умерли) представляется не совсем корректным по морально-этическим соображениям.

(Н10) Неясность того, какие дает возможности и какие накладывает обязанности «регистрация» пользователей на ресурсе – необязательная возможность такой регистрации предусмотрена на стартовой странице сайта.

Выводы.

1. Показана объективная и субъективная недостаточность имеющихся возможностей общественного обсуждения (контроля) деятельности научных журналов России, соблюдения ими и авторами правил научной публикационной этики.

2. В связи с этим подробно проанализирована деятельность ресурса www.dissernet.org, его место в информационном пространстве России.

3. Сделаны оценки вебометрических показателей этого ресурса, которые показывают его достаточно высокую посещаемость Интернет-пользователями.

4. Количество ссылок в научных публикациях на рассматриваемый ресурс очень невелико, хотя поисковые системы Интернета по запросу «Диссернет» дают много ссылок.

5. Оценены достоинства и недостатки ресурса «Диссернет» в отношении представленной на нем информации по научным журналам.

6. Сделан вывод о том, что для объективной оценки научного журнала приводимые на рассматриваемом ресурсе сведения могут использоваться только как дополнительный материал по отношению к другим видам информации о журналах.

[1] В статье используются следующие основные сокращения: ВАК – Высшая аттестационная комиссия России; МРБиСУЦ – международные реферативные базы и системы учета цитирований; НЖ – научные журналы; НМП – наукометрические показатели; НПЭ – научная публикационная этика; РИНЦ – Российский Индекс Научного Цитирования; ТНД – тематическое направление деятельности.



Издание научных монографий от 15 т.р.!

Издайте свою монографию в хорошем качестве всего за 15 т.р.!
В базовую стоимость входит корректура текста, ISBN, DOI, УДК, ББК, обязательные экземпляры, загрузка в РИНЦ, 10 авторских экземпляров с доставкой по России.

creativeconomy.ru Москва + 7 495 648 6241



Источники:
1. Абаев Л.Ч. Об одном подходе к использованию экспертных методов для оценки научных журналов // Управление большими системами: сборник трудов. 2009. № 27. С. 36-46.
2. Абалкина А. Журналы с сомнительной репутацией, или «Корчеватель» возвращается // Троицкий вариант – Наука. 2016. 26 января. ТрВ № 196. URL: http://trv-science.ru/2016/01/26/korchevatel-vozvrashchaetsya/
3. Абрамов Е.Г., Кириллова О.В. Публикационная этика в научно-исследовательском процессе // Научная периодика: проблемы и решения. 2012. № 5. С. 4-8.
4. Авдеева Н.В., Сусь И.В. «Антиплагиат.РГБ» – система для верификации авторских текстов // Библиотековедение. 2014. № 4. С. 41-44.
5. Близнец И., Леонтьев К. Плагиат и заимствования: правовой аспект // Интеллектуальная собственность. Авторское право и смежные права. – 2013. – № 7. – С. 9-17.
6. Брумштейн Ю.М., Захарян М.Ю. Анализ направлений использования информационных технологий для оценки и управления результативностью издания российских научных журналов (на примере журналов по интеллектуальной собственности) // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, № 3 (2016) http://naukovedenie.ru/PDF/84TVN316.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/84TVN316
7. Брумштейн Ю.М. Влияние развития информационных технологий на особенности использования ссылок в российских научных журналах и методы оценки на основе них наукометрических показателей // Научная периодика: проблемы и решения. 2016. Т. 6. № 2. С. 60-80.
8. Брумштейн Ю.М., Васьковский Е.Ю., Горбачева А.Н. Интернет-сайты органов исполнительной власти в прикаспийских регионах России: анализ номенклатуры, функциональности и востребованности ресурсов // Прикаспийский журнал: управление и высокие технологии. 2016. № 4 (36). С. 52-68.
9. Васьковский Е.Ю., Брумштейн Ю.М. Системный анализ функциональных возможностей счетчиков посещаемости сайтов // Прикаспийский журнал: управление и высокие технологии.- 2015, № 3 –с.45-58
10. Гаспарян А.Ю. Распределение обязанностей в редакционной команде научного журнала // Научный редактор и издатель. 2016. Т. 1. № 1-4. С. 10-16.
11. Горелкин В.А. Факторы, препятствующие развитию Российских научных журналов: взгляд из провинции /В сборнике: Научное издание международного уровня – 2016: решение проблем издательской этики, рецензирования и подготовки публикаций 2016. С. 88-100.
12. «Диссернет» неправильно подает результаты // Совет ректоров. 2014. № 3. С. 6.
13. Зернес С.П. Кодекс научно-издательской этики // Энергобезопасность и энергосбережение. 2013. № 2. С. 42-43.
14. Зубец В.В., Ильина И.В. О статусе научных изданий // Вестник Тамбовского университета. Серия: Естественные и технические науки. 2010. Т. 15. № 1. С. 316-319.
15. Емелин Н.М. Информационное обеспечение мониторинга рецензируемых научных изданий // Известия Института инженерной физики. 2016. Т. 1. № 39. С. 75-78.
16. Еременко Т.В. Соавторство в научных публикациях: этические аспекты // Социология науки и технологий. 2016. № 4. С. 134-149.
17. Ипполитов С.С. Российские научные журналы под лупой «диссернета» : «борьба за чистоту науки» или «чистой воды болтовня»? // Экономический журнал. 2016. № 4 (44). С. 8-27.
18. Канатникова Е.А. Развитие современных коммуникативных технологий и проблема плагиата // Ученые записки Орловского государственного университета. Серия: Гуманитарные и социальные науки. 2015. № 3. С. 330-334.
19. Кириллова О.В., Кузнецов А.Ю., Диментов А.В., Лебедев В.В., Шварцман М.Е. Категории и критерии оценки российских журналов и программы их развития // Научная периодика: проблемы и решения, 2014. № 5(23). С. 20-34
20. Колледж Л., Джеймс К. «Корзина метрик» – лучшее средство для оценки авторимтета журнала // Научный редактор и издатель. 2016. Т. 1. № 1-4. С. 25-31.
21. Куликова Е.Ю. Краденая наука: почему плагиат и самоплагиат неприемлемы // Вестник Российского государственного медицинского университета. 2016. № 6. С. 50-53.
22. Левин В.И. Плагиат в Российской науке // Alma mater (Вестник высшей школы). 2014. № 6. С. 111-114.
23. Лойко В.И., Романов Д.А., Попова О.Б. Современные методы оценки значимости научных журналов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 110. С. 836-852.
24. Мазалов В.В., Печников А.А., Фалько И.А. О построении рейтинга научных журналов // Управление большими системами: сборник трудов. 2009. № 27. С. 47-52.
25. Мазов Н.А., Гуреев В.Н. Редакционные коллегии научных журналов как объект наукометрических исследований. Обзор публикаций // Научно-техническая информация. Серия 1: Организация и методика информационной работы. 2016. № 7. С. 22-31.
26. Окжос К.М., Ильина Е.А. Анализ информационной среды научных журналов России // Актуальные проблемы современной науки, техники и образования. – 2014. – Т. 2. – № 1. – С. 185 189.
27. Островская А.С. Плагиат в XXI веке; кому это нужно? // Вопросы современной педиатрии. 2016. Т. 15. № 2. С. 148-153.
28. Потоцкая О.Ю., Левых А.Э., Мамчур В.И. Зарубежные статьи как фактор роста фальсификаций научных публикаций и снижения наукометрических показателей организаций // Медичні перспективи. 2016. Т. 21. № 3. С. 20-25.
29. Прудников В.М. Практика продвижения результатов научных исследований в Российском информационном пространстве // В сборнике: Научное издание международного уровня – 2015: современные тенденции в мировой практике редактирования, издания и оценки научных публикаций Материалы 4-й Международной научно-практической конференции. Ответственный редактор О.В. Кириллова. 2015. С. 123-124
30. Ростовцев А.А. Дисернет: проблемы масштабных фальсификаций российской науки /В сборнике: Научное издание международного уровня – 2016: решение проблем издательской этики, рецензирования и подготовки публикаций 2016. – С. 250-253.
31. Рощина Н.В. Российский индекс научного цитирования и проблема корректного цитирования в периодике // Вестник УрФУ. Серия: Экономика и управление. 2011. № 1. С. 134-140.
32. Сайко Е.А. Научные коммуникации в России: реалии и перспективы исследования проблемы // Научная периодика: проблемы и решения. – 2015. – Т. 5. – № 5. – С. 208 212
33. Соколова А.А. Анализ научно-исследовательской деятельности в России: проблемы и перспективы // Интернет-журнал «Науковедение». Том 8, № 2 (2016) http://naukovedenie.ru/index.php?p=vol8-2
34. Тихомиров А.В. Плагиат и охота не ведьм в науке // Главный врач: Хозяйство и право. 2014. № 4. С. 2-3.
35. Тихомиров А.В. Плагиат и охота на ведьм в науке // Медицинская экспертиза и право. 2014. № 5. С. 6-7.
36. Федорец О.В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами: сборник трудов. 2009. № 27. С. 18-35.
37. Фёдорова Л.М. Российское научное издание: традиции, инновации, коллизии /В сборнике: Научное издание международного уровня – 2015: современные тенденции в мировой практике редактирования, издания и оценки научных публикаций Материалы 4-й Международной научно-практической конференции. Ответственный редактор О.В. Кириллова. 2015. С. 160-168.
38. Чехович Ю.В. Об обнаружении заимствований при экспертизе научных статей // Научная периодика: проблемы и решения. – 2013. – № 4 (16). – С. 22 25
39. Чиркин Е.С. Системы автоматизированной проверки на неправомерные заимствования // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2013. № 12 (128). С. 164-174.
40. Yatskiv Ya.S. Scientific periodicals as part of scientific, technicak and humanitarian development of the country // Вісник Національної академії наук України. 2015. № 5. С. 45-47.