Публичные обсуждения при национальном университетском совете: разные мнения

CUN (Национальный университетский совет) организовал публичное обсуждение критериев научных публикаций. Учитывая неуклюжие попытки ANVUR (Национальное агентство по оценке качества университетов и исследований) навести порядок – их «сумасшедшие журналы» (ANVUR по ошибке посчитало научными развлекательные журналы. – Примеч. ред.) очень повеселили ученых в Италии и за рубежом – поворот событий можно считать хорошим. Или же это очередной фиговый листок, который не поможет разрушить бюрократическую клетку Агентства?

Ренато Фоски: Критерии, установленные Thomson Reuters (Web of Science) и Elsevier (Scopus), останутся определяющими до тех пор, пока научное сообщество не научится открыто критиковать сложившиеся принципы оценки качества и полезности результатов научной деятельности. Именно поэтому обсуждение при CUN (Национальный университетский совет. – Примеч. ред.) должно быть достаточно широким. Если там соберутся только ценители библиометрии, они всегда найдут, что ответить, не сомневайтесь. Подумайте об этом.

Джузеппе Де Николао: Мы породим чудовищ (только вспомните о «сумасшедших журналах»), если доверим определение критериев научности ANVUR. Помимо всего прочего ANVUR (агентство по оценке) отвоевало себе роль, которая по закону отведена представительному органу – CUN. Цель публичных обсуждений при CUN заключается не в том, чтобы составить спорные рейтинги, а чтобы определить критерии научной значимости, которые позволили бы собрать воедино накопленные знания итальянских исследователей. Если тот или иной вопрос решается в научном сообществе – это всегда хорошо. Это был бы сигнал, хоть и маленький, о том, что что-то делается в противовес ANVUR. Определить подходящие критерии как для математических исследований, так и для социологических – это не пустяковая вещь. Было бы правильно выслушать непредвзятые мнения заинтересованных лиц. То, что переговоры между ANVUR и научным сообществом закрыты, легко приводит к тому, что они перерождаются только во властные действия. Потребность, которая возникла в течение последних двух лет и тут же стала проблемой, – определить эффективные критерии оценки для всех отраслей знания вне зависимости от их особенностей. Ренато Фоски прав в мысли о том, что научность должна выражаться в некоей форме, которая могла бы индексироваться коммерческой базой данных. Но при выборе методики определения научности очень важно не потерять суть из-за бюрократов и исключительно коммерческих интересов.

Альберто Баччини: Критерии CUN сформулированы достаточно хорошо. Это общественное выражение мнения именно научного сообщества, заинтересованного в том, чтобы прозрачная и понятная процедура была принята кем-то (CUN) на законодательном уровне. Для CUN единственно верным определением научности является определение, принятое на уровне OECD (Организация экономического сотрудничества и развития). От определения ANVUR оно ушло на несколько световых лет вперед. Кроме того, CUN интересуется другими мнениями по спорным вопросам во всех научных кругах. Я думаю, что разделение на типы (какие результаты считать научными, а какие – нет, по мнению различных профессиональных сообществ) даст интересные результаты. Массовое участие в таком обсуждении может быть использовано как хороший аргумент против самостоятельно организованных списков журналов и библиометрических показателей. Но, возможно, я ошибаюсь.

Алессандро Ферретти: Скорее всего, CUN попался на удочку ANVUR. Во время выполнения плана Агентство по оценке жаловалось, что у него нет необходимых ресурсов, чтобы заняться ANPRePS (итальянский вариант проекта «Карта науки». – Примеч. ред.), так что такая консультативная инициатива CUN пришлась как нельзя кстати. CUN проводит исключительно «техническую» работу и собирает материалы для ANVUR, не выставляя вперед политические интересы.

Проблема в том, что последнее слово остается за ANVUR. В результате будет упущен очередной шанс для открытия дебатов о «целях» инициатив ANVUR и приукрашивания процесса упорядочивания поисков. Наверное, мы еще не усвоили, что любой процесс составления баз данных «сверху» всегда воспринимается как контроль за исследованиями и преподаванием. Но если у тех, кто сидит «наверху», дурные намерения, лучше бы не помогать им получить то, чего им так не хватает: достоверности.

Альберто Баччини: CUN – это не профсоюз или представительство ассоциации преподавателей высшей школы (или, по крайней мере, он не должен быть таковым). Это институт, которому закон дает право организовывать ANPRePS. ANVUR попыталось забрать это право. CUN пресек эту попытку и начал выполнять работу, предусмотренную законом. И сделал ее хорошо (на мой взгляд), гораздо более технично по сравнению с экспертами-самозванцами из ANVUR. Такая дистанция, конечно, не повышает доверия к ANVUR. Даже сомнений нет, что нужно будет обсуждать итальянскую модели оценки. Конечно, CUN сможет более эффективно отражать нападки, но при этом я не стал бы закреплять за ним основную ответственность. Он действует как законный институт. Мне трудно понять: почему молчит академическое сообщество? Фантони (президент ANVUR. – Примеч. ред.) говорит, что молчит большинство. Неужели он прав?

Алессандро Ферретти: Про кражу. За планом мероприятий ANVUR слышен крик души, потому что из-за нехватки людей оно не могло сделать ANPRePS. Мне кажется, это никак не сочетается с тем фактом, что они всё хотели сделать сами. Кроме того, есть несколько способов выполнить законные обязательства. Способ, который выбрал CUN, мне кажется весьма спорным. Он очень напоминает мне поведение пленных англичан из «Моста через реку Квай» (книги, которую стоит прочесть, если хочется понять суицидальное поведение большого числа университетов перед своими надзирателями). Вместо того чтобы в принципе оставить в покое ANVUR в этой трясине и продемонстрировать хотя бы какое-то сопротивление, в воздухе витают мысли: «Эй, давайте покажем этим недоумкам, как мы можем щелкнуть по носу эту систему оценки». А в результате они же делают всю грязную работу, чтобы потом утвердить ее и передать бесплатно «под ключ». MIUR (Министерство образования и науки) будет в восторге. Мне действительно кажется, что радости мало, если госструктура, выступающая против смертной казни, стремится сделать эту казнь максимально безболезненной. Такая работа не просто бесполезна. Она вредна.

Марко Козентино: Ни разу не встречал альпиниста, который спрашивал бы о высоте, уклоне и минеральном составе для того, чтобы понять, о какой горе идет речь. Альпинисты поднимаются на горы. Но когда они пускаются в разговоры, это чаще всего может значить только одно – взобраться на гору они не в состоянии. Здесь я вижу то же самое: чем сложнее система оценки, тем больше о ней разговоров по сравнению с действиями. Думаю, лучше всего будет оставить ANVUR в покое вместе с их поклонниками. В противном случае ситуация начинает походить на ту, которая имела место быть во времена рабовладельческого строя: аболиционистам нужно было иметь рабов, чтобы обходиться с ними более гуманно. Я прочитал, что кто-то считает полезным этот проект для выявления неактивных участников сообщества и тех, кто пишет псевдонаучные тексты. Для достижения этих целей достаточно обнародовать архивы U-Gov/Cineca (Консорциум, объединяющий 68 университетов и 3 государственных института. – Примеч. ред.), над которыми каждый из нас потрудился при заполнении и которые, подозреваю, скоро прикажут переделать. И тут мы возвращаемся к метафоре со «сдувшимся» альпинистом, который больше не в силах взбираться на гору и только и делает, что собирает и разбирает рюкзак все оставшееся до восхождения время, так и не приняв никакого решения.

Джузеппе Де Николао: На самом деле деление на категории результатов научных исследований отличается от журнальных рейтингов. Чтобы лучше понять предмет спора, советую почитать статью D. Hicks “One size doesn’t fit all”: отличие научного контента (даже при осознании того, что границы всегда неизбежно условны) от enlightenment (научно-популярного, просветительского) не должно сделать целью отбросить последний, но выделить эту область, сделать так, чтобы она изучалась и поддерживалась миссиями университетов – необходимо. Статья Hicks очень хорошо объясняет, к чему придет научная продукция без деления на категории для укрепления равнозначности научный = индексированный Web of Science со следующими результатами:

1. Подрывает национальные области науки, поскольку результаты научной деятельности публикуются в других местах;

2. Препятствует написанию работ для неакадемической аудитории;

3. Тормозит написание монографий.

Параллель, которую проводит Hicks между просветительской, научной литературой и патентами, хорошо объясняет, что разделение на категории – основополагающая вещь для понимания, какие социальные роли осуществляются и какие могли бы быть воплощены. В недавнем номере “Mulino” Даниэле Кекки написал статью (плохую) о критериях оценки («Оценка: есть ли подходящее лекарство?»). Один из критериев (итальянские ученые и, в частности, гуманитарии недостаточно продуктивны, потому что мало представлены в базе Web of Science) разбирается в статье Hicks по отношению к гуманитариям других стран («В 1997 г. и 1999 г. Батлер и Виссер проверили библиографии девяти австралийских университетов […], имеющиеся данные охватывали только 25% результатов хозяйственной деятельности и 17% результатов политики или политической деятельности»). Если нет точных данных и информации, преимущество в споре всегда у того, кто находится на стороне власти. Это обсуждение позволяет без проблем получать достоверные данные о публикационной активности академиков (как в научной сфере, так и в научно-популярной).

Алессандро Ферретти: Деление на категории – враг №1 аналитической оценки, так что ANPRePS – еще один гвоздь в крышку ее гроба. Действительно, в этой задумке CUN я не вижу никакой выгоды, которая компенсировала бы большую стратегическую ошибку. Я искренне надеялся, что университетский мир понял, что не следует принимать пилюльку от MIUR и от ANVUR, но это обсуждение внушает мне опасение, что, несмотря на впечатляющее число доказательств, сопротивление злу еще не развилось до нужного размера… И когда ANPRePS неизбежно будут использовать для того, чтобы навязать сверху исследовательскую политику в помощь обычным промышленникам, возможность сказать «а мы предупреждали» будет слабо утешать. Неужели мы не можем оставить в покое технические подробности маршрута, учитывая то, что корабль рано или поздно все равно налетит на подводные камни, даже несмотря на великолепную греблю? Неужели вы не видите, что мы точим нож, который будут использовать против свободы исследований?

Альберто Баччини: В последние полтора года университетский мир постоянно принимал подачки от ANVUR и MIUR (ASN (Звание национального ученого. – Примеч. ред.), вытягивало научное сообщество, которое обнаружило, что выполняет все задания, о прозрачности которых позаботилось ANVUR в том числе для того, чтобы повысить лояльность научной общественности). CUN – это не PD (демократическая партия. – Примеч. переводчика). Это государственный институт, который должен решать задачи, предусмотренные законом. Мы еще живем при парламентской демократии. Можно было бы закричать что есть мочи, что тот закон им не нравится, я бы этому очень обрадовался. Единственный способ дать в руки нужные инструменты тем, кто хочет покритиковать ANVUR – выполнять свою работу достойно. Я уже года полтора пишу о том, что в Италии будут явные проблемы со свободой исследований и породит их именно ANVUR. Может быть, вина CUN в том, что публичное обсуждение не было проведено в 2009–2010 гг.

Джузеппе Де Николао: Насколько нам известно, ANVUR не захотела расставаться с привилегиями по определению критериев научности журналов, которые снова присвоил себе CUN. Определение научности, которого добиваются при обсуждении с руководителями научных организаций – это отличный способ подсластить пилюлю. Честно говоря, трудно думать о движении вперед без разделения результатов исследований на категории научных или научно-популярных, просветительских. Задача не в том, чтобы гнаться за бездельниками, а в том, чтобы знать, что происходит. Кроме того, статус научности, который бы разделяли и понимали без индексаций в Web of Science и Scopus (прежде всего это касается гуманитарных и социальных наук), предполагает свободу или даже отказ от любого коммерческого интереса – ведь он не может диктовать, какую сферу науки развивать, а какую нет. Если отрасль с низкими показателями цитируемости включить в ту же категорию, что и отрасль с высокими показателями, она умрет, потому что научная карьера действительно хорошего ученого будет переломана этими индексами. Мы ученые, и мы не можем изучать одну и ту же тему отдельно с научной и ненаучной точки зрения.

Для того чтобы остановить чудовищ, которые размножаются на плодородных, но некультивируемых землях, нужно пролить свет на ситуацию.

Марко Козентино: А мне кажется, что вокруг танцуют под музыку, которую играет хозяин парохода. Вероятно, на решения ANVUR влияют интересы коммерческих издателей, продвигающих свои продукты, к которым как раз и есть претензии в качестве их адекватности для оценки научной значимости, но их влияние может похоронить любую инициативу. Если на это пойдут, все остальное будет походить на бесконечное рытье ям и немедленное их закапывание, чтобы занять солдат делом (по крайней мере, служба в армии дает хорошее представление об элементарной организации массового досуга).

Альберто Баччини: Попробую предположить такой сценарий. Результаты публичного обсуждения при CUN оказались вполне приемлемы. Итальянское академическое сообщество разделяет понятия научного и ненаучного «продукта». Есть достаточно ясная картина, как определение научности варьируется в зависимости от области исследования и какие есть инструменты у издателя, чтобы эту научность оценить. Ситуация на данный момент складывается такая: определения (или определений) научности на основе тех методов, которые предлагает ANVUR, в природе не существует (я пишу об этом уже несколько месяцев, но, кажется, меня не слышат). И итальянское научное сообщество думает, что этого определения нет. Значит, списки журналов ANVUR никуда не годятся (об этом мы тоже говорим уже давно). А еще это значит, что журналы, входящие в Web of Science и Scopus – лишь малая часть научной издательской продукции. Поэтому использовать эти базы данных как единственную отправную точку ошибочно.

Я бы сказал, что это был бы не тот результат, которого все ожидают. Я думаю, говорить о том, что мы против абстрактной оценки – это проигрышная стратегия. Это очень удобно тем, кто в этот момент говорит о том, что все нынешние профессора – бароны и бездельники, мало занимаются исследовательской работой и получают отвратительные результаты. Поэтому могут использовать аргумент: «Мы знаем, что вы не хотите, чтобы вас оценивали».

Алессандро Ферретти: Дорогой Альберто, проблема твоего сценария в том, что даже в случае реализации он будет весьма далек от возможности повлиять на реальную проблему, которая заключается в «цели» оценки. Идея общественного обсуждения – технически отладить этот инструмент. Но никто не задавал вопрос, как его потом использовать!

На мой взгляд, проблема № 1 оценки, которую проводит ANVUR, как раз в цели, так хорошо проиллюстрированной Бенедетто (Серхио Бенедетто входит в Совет директоров AVNUR с 2011 г. – Примеч. ред.) на примерах и фактически никем не опровергнутой: оценка нужна, чтобы обрезать некоторые ветки и выправить оставшиеся. Нужна, чтобы наказать одних и поощрить других.

Может, я покажусь наивным, но я продолжаю считать, что единственная форма приемлемой оценки – это полная картина сильных и слабых сторон оцениваемого субъекта, будь то университет, кафедра или какая-то отдельная личность. А ее цель – повлиять на оцениваемый объект так, чтобы он работал лучше. На мой взгляд, ресурсы на учебную деятельность и гранты на исследования предоставляются на основании критериев научной политики, которые учитывают интересы общества в целом (а не только крупных «работодателей», как это происходит сегодня).

А нынешняя оценка носит политический характер: она совершенно не нужна ни для обсуждений, ни для исследований и в конечном итоге приведет к краху университета: все будет полностью автоматизировано без шансов на спасение. Гранты и ресурсы распределяются не на основании демократического выбора, а на основании порядкового места в системе оценки. Это порождает парадоксы. Например, если выяснится, что кафедра экономики «лучше» других, то у нас произойдет бум исследований в экономической сфере (очевидно, в ущерб другим направлениям), который оставит в стороне реальные социальные нужды других отраслей знания. И это не гипотетический сценарий: в Греции это уже происходит!

С моей точки зрения переломным моментом может быть использование ANPRePS. Чем может быть полезна перепись преподавателей и исследователей? Чтобы выявить тех, кто мало публикуется, разобраться в их работе и помочь им улучшить результаты? Откровенно говоря, я убежден, что такого не будет: скорее всего, «Карта науки» будет использоваться только для поощрения или наказания отдельных личностей, чтобы дополнить и усилить удушающую систему наказаний/поощрений, которая уже действует на кафедрах и в университетах.

Главная проблема твоего сценария – то, что он космически удален от решения этого ключевого момента оценки. Как сказал бы Скотт Адамс, создатель «Дилберта» (комикс об инженере, который любит технологии больше, чем людей. – Примеч. ред.), этот сценарий «далек от многих уровней». Поэтому он не только не может эффективно решить существующую проблему, но и тратит впустую те немногие силы, которые еще остались.

Нам нужно бы усвоить урок манхэттенского проекта: сотни ученых работали на пределе возможностей над атомной бомбой и над ее техническим исполнением, но не видели проблемы в ее использовании. Позднее выяснилось, что никто из тех, кто работал над бомбой, не хотел бы, чтобы ее использовали против безоружных японских городов. Подавляющее большинство, например, хотело бы, чтобы ее сбросили в какой-нибудь пустынной местности (говорили о горе Фуджи!), чтобы показать всю ее огромную мощь и, следовательно, использовать ее как средство предупреждения военных конфликтов, но без катастрофических разрушений с десятками тысяч человеческих жертв. Но мы знаем, что в итоге произошло. Ученые из манхэттенского проекта тяжело пережили факт участия в разработке технического инструмента, использование которого привело к двум страшным катастрофам – как показала дальнейшая история, совершенно бесполезным.

Поэтому и спрашиваю себя: в наше драматическое время, когда демократия, по сути, упразднена и когда у нас есть самостоятельные и решительные политики, есть ли смысл обсуждать техническую сторону разработки того или иного инструмента вместо публичных дебатов о целях, для которых он будет использоваться, и последствиях его применения?