Проблемы измерения публикационной активности российских вузов в интернете

В последнее время чрезвычайную актуальность приобрела проблема объективной оценки качества российских вузов. К выбору методов объективной оценки сводится в частности, пресловутая проблема эффективных и неэффективных вузов. По этому поводу уже много написано, но тем не менее мы хотим внести в обсуждение проблемы свой небольшой вклад. Речь идет об объективном и независимом измерении некоего показателя, характеризующего деятельность вузов в информационном пространстве Интернета.

В ходе реализации международного проекта, известного как Вебометрический рейтинг университетов мира, а также аналогичного российского вебометрического индекса научно-образовательных учреждений производится измерение нескольких показателей, характеризующих сайты этих учреждений. Среди них:

Видимость сайта – число ссылок на сайт с других сайтов;

Размер – количество страниц на сайте по данным поисковых систем;

«Богатые файлы» – количество файлов определенного типа на сайте, определяемого поисковыми системами;

«Научность» – число публикаций сайта и ссылок на них других авторов по базе данных Google Scholar (известной также как Академия Google).

Многие российские университеты включены в Вебометрический рейтинг университетов мира и соответствующие показатели, рассчитанные по правилам этого рейтинга, приводятся по адресу. Заметим, что в него включены не только вузы, но и научные учреждения. Всего в разделе «Российская Федерация» приводятся вебометрические показатели св. 1200 вузов и научных учреждений. Впрочем, некоторые учреждения включены в этот список ошибочно.

Более подробно с системой поиска Google Scholar можно познакомиться на портале этой информационной системы. Для наших целей существенно, что эта система позволяет провести поиск публикаций, содержащих имя искомого сайта в качестве адреса публикации или статей, цитирующих подобные публикации. По мнению разработчиков Вебометрического рейтинга университетов мира, к которому мы присоединяемся, данные Google Scolar отражают развитие в университетах открытых архивов, электронных библиотек и других инициатив, связанных с научными репозиториями. Нужно сказать, что само название показателя «научность» является, конечно, условным, почему и используется в кавычках. Фактически этот показатель измеряет публикационную активность вуза в пространстве Интернета, а также качество этих публикаций, определяемое через цитируемость этих публикаций.

В настоящей работе будут рассмотрены результаты измерения показателя «научность» для российских учреждений высшего профессионального образования (далее – вузы).

Технически измерение научности сайта производится следующим образом. В поисковом окошке Google Scholar указывается имя домена с оператором + в начале. Использование этого оператора позволяет проводить поиск по любым комбинациям символов, в том числе по тем, которые обычная поисковая система Google игнорирует.

Выдача по запросу содержит общее число найденных публикаций и ссылок на них, а также список описаний найденных документов. К документам, размещенным в Интернете, возможен переход по гиперссылке.

В качестве источника сведений об официальных сайтах вузов использовалась база данных Перечень аккредитованных образовательных учреждений, размещенный на портале «Российское образование», а также база данных Федерального государственного бюджетного учреждения «Национальное аккредитационное агентство в сфере образования». Всего были проанализированы данные по 637 государственным и 447 негосударственным вузам.

В случае присутствия в перечнях более одного сайта одного и того же учреждения, данные по всем адресам суммировались. Сайты, имеющие совпадающие домены первого и второго уровня, рассматривались как один и тот же сайт. При поиске по вариантам доменного имени, содержащем или не содержащем префикс www, выбирался вариант выдачи с большим значением.

Страницы различных учреждений, размещенных по одному и тому же адресу, не рассматриваются как самостоятельные сайты. В частности, это относится к страницам военных учебных заведений, размещенным на сайте Министерства обороны РФ по адресу mil.ru.

Очевидно, что сравнивать вузы, в том числе по их публикационной активности в Интернете разумно только в пределах некоторых категорий, объединяющих однородные вузы. Сравнивать, например, большой исследовательский университет с художественным вузом бессмысленно. Таким образом, встала задача классификации вузов на однородные категории. Отчасти это уже сделано правительством, утвердившим перечни федеральных и научно-исследовательских университетов. К последним мы также присоединили находящиеся на особом положении МГУ и СПБГУ.

Остальные вузы были разбиты на категории с учетом их наименования.

Указанная категоризация была проведена только для государственных вузов по причинам, рассмотренным ниже.

В результате вузы были разбиты на 18 категорий, представленных в табл. 1. Официальные категории представлены вначале, остальные упорядочены по убыванию количества вузов данной категории. Очевидно, что в некоторых случаях разбиение было проведено условно, но как мы далее увидим, эта условность не очень влияет на оценку научности. Например, ряд вузов имеет в своем наименовании слова «экономика и право». Такие вузы были отнесены к экономическим или юридическим по понятию, указанному первым.

Табл. 1

Категоризация вузов

Далее рассмотрим значение показателя «научности», который будем традиционно обозначать как Sc, сначала для сводного перечня государственных вузов, а затем для отдельных категорий. В табл. 2 представлен список лидеров перечня государственных вузов по показателю Sc. В качестве точки отсечения мы взяли значение показателя, равное 1 тыс. Ожидаемо мы видим, что большинство в списке принадлежит НИУ (18 позиций из 28), и по нескольку представителей других категорий вузов (фед. –2, унив. – 3, еех. – 4, экон. – 1). Это нормально, поскольку в список НИУ включены действительно ведущие российские вузы.

Табл. 2

Лидеры сводного перечня российских вузов

Обратимся теперь к общей структуре перечня государственных вузов в отношении «научности». На табл. 3 представлено распределение вузов согласно этому показателю.

Табл. 3

Распределение государственных вузов по показателю Sc

Последнюю категорию вузов (имеющих Sc < 3) вообще не следует принимать во внимание: 1-2 публикации, найденные Google Scholar, обычно означает всего лишь упоминание сайта в 1-2 каталогах. Сюда же вошли вузы, не имеющие сайтов (их более 20).

Таким образом, мы имеем 28 вузов, для которых найдено заметное количество электронных публикаций, примерно 250 вузов, которые проявляют определенную публикационную активность и св. 300 вузов, которые практически не публикуют материалов в Интернете.

Посмотрим теперь на ситуацию с негосударственными вузами. Лидеры этой категории (имеющие показатель Sc выше 100) представлены в табл. 4.

Табл. 4

Лидеры среди негосударственных вузов

Распределение негосударственных вузов по значению показателя Sc представлено в табл. 5.

Табл. 5

Распределение негосударственных вузов

Из табл. 4-5 очевидно, что публикационная активность негосударственных вузов невелика и, за редким исключением, они не могут конкурировать по этому показателю с государственными вузами. Этим объясняется то, что мы отказались от исследования этих вузов по отдельным категориям.

Табл. 6

Распределение показателя Sc по отдельным категориям

Далее рассмотрим показатель Sc по отдельным категориям вузов, предложенным нами выше.

Для тех, кого интересуют более подробные сведения о научности российских вузов, в приложении приводится список 133 образовательных учреждений, имеющих показатели Sc в интервале от 100 до 1000. Очевидно, в этой таблице представлены лидеры по всем категориям вузов, кроме военно-учебных заведений, поскольку в этой категории нет вузов, имеющих показатель Sc св.100.

Выводы

Из представленного материала можно сделать некоторые достаточно очевидные выводы. Прежде всего, подчеркнем, что измеряемый нами показатель отражает важную сторону деятельности вуза – а именно производство научной продукции в электронном виде, что характеризует прозрачность вуза, его публикационную активность.

Бесспорными лидерами по измеряемому нами показателю ожидаемо являются МГУ и Высшая школа экономики, которые лидируют и в других рейтингах российских вузов. Неожиданным является только необычно большой (четырехкратный) разрыв между двумя лидерами и остальными ведущими вузами страны.

Также можно было ожидать, что наиболее продвинутыми среди вузов являются Национальные исследовательские университеты. Действительно, из 31 НИУ (включая МГУ и СПбГУ) 30 имеют вполне приемлемый показатель Sc (св.100). Заметим, однако, что среди НИУ имеется один (Санкт-Петербургский Академический университет) который практически не имеет электронных публикаций (Sc=2). Правда, это новое образовательное учреждение, вероятно, получившее почетное звание НИУ авансом.

Если говорить о «научности» сайтов российских вузов по отдельным категориям, то очевидно выделяются категории – лидеры и категории – аутсайдеры. Среди первых (кроме НИУ) классические университеты, технические и экономические вузы. В этих категориях доля вузов, имеющих неплохие результаты по публикационной активности значительно больше, чем в других. К аутсайдерам можно отнести военные, физкультурные и вузы культуры и искусства, к которым требование производить научную продукцию, наверное, не слишком применимо. Очевидно эти вузы вообще следует оценивать по другим параметрам.

Негосударственные вузы в целом не могут конкурировать с государственными по «научности». Исключения очень заметны, в число небольшого количества негосударственных вузов, имеющих приемлемые значения этого показателя, попали, например, широко известные РЭШ и «Шанинка».

Заметим также, что точность категоризации вуза не очень влияет на общую оценку ситуации. Понятно, что вузы, имеющие неплохие показатели «научности», будут весьма заметны независимо от того, в какую категорию они попадут.

Результаты, приведенные в данной статье, являются частью комплексного исследования вебометрических параметров российских научных и образовательных учреждений, проводимого Институтом научной и педагогической информации РАО.

ИСТОЧНИКИ:

1. http://www.webometrics.info/

2. См. например, О российском индексе веб-сайтов научно-образовательных учреждений// Антопольский, А.Б., Поляк, Ю.Е., Усанов, В.Е. /Информационные ресурсы России, 2012, № 4, с 2-7 Сам индекс располагается по адресу http://ruwebometrics.info/

3. http://www.webometrics.info/en/Europe/Russian%20Federation

4. Russian Federation http://scholar.google.com/intl/ru/scholar/help.html

5. http://www.edu.ru/

6. http://www.nica.ru/naa/mission/

Приложение

Перечень вузов, имеющих показатели Sc в интервале от 100 до 1000