Rate my research dot com: измеряем, что ценим, ценим, что измеряем

Статья публикуется с разрешения Emerald Group Publishing Limited.

Оригинальная публикация в журнале http://www.emeraldinsight.com/journals.htm?issn=0025-1747&volume=47&issue=9&articleid=1817178&show=abstract

«Что можно измерить, тем можно управлять» – старый афоризм из области организационного менеджмента. «Что измерим, то и оценим» – истина, не менее актуальная как для многих областей общественной деятельности в целом, так и для академической сферы в частности.

Балльная оценка продуктов, услуг и их производителей, позволяющая составлять рейтинги, стала общепринятым критерием выбора во многих сферах деятельности.

Рейтинги «экспертов», составляющих список авторитетных критиков, стали весьма доступными. Сейчас легко можно выбрать: отели с помощью специализированных сайтов – TripAdvizor.com или HotelConnect.com, книги, основываясь на рецензиях сайта Amazon.com, множество разнообразных услуг от тату-салонов (ratemytato.com) и до университетов, которые также могут быть «протестированы» и оценены на специальных сайтах.

В частности, правительство Великобритании, начиная с 1997 года, включило лучшие агентства услуг и организаций, определенные по рейтингу потребительских предпочтений, в систему государственного финансирования. Организация Research Assessment Exercise (RAE) и ее возможный преемник Research Evaluation Framework (REF) распределяют государственные средства, основываясь в основном на «подсчете» опубликованных работ в «подходящих» научных изданиях. Такие организации как Ассоциация бизнес-школ Association of Business Schools, ABS) (см. Morris и др., 2009) выпустила журнал с рекомендациями для бизнес-школ по оценке качества их исследовательских мощностей.

Авторы данных рекомендаций занимают руководящие должности и, хотя работа опирается на данные исследований, она не претендует на звание фундаментальной, основанной на точных эмпирических данных, также она не включает в себя достаточно широкого обзора литературы. Но, тем не менее, мы надеемся, что данная работа внесет свой вклад в понимание важности научного издания как одного из звеньев оценочной цепи, которое обычно не принимается во внимание, а также позволит взглянуть на проблему оценки c точки издателя научной литературы.

Влияние в условиях финансового кризиса

«Настолько очевидно, что рухнуло нечто огромное» – таковы были слова Анжелы Кабреро, декана одной из бизнес-школ США в Аризоне (Thunderbird school of Global Management), процитированные в статье Нью-Йорк Таймс (Holland, 2009). «Можно взглянуть на это с другой стороны, но итог будет тем же. Исполнительные директора этих (разорившихся) компаний – это люди, которыми мы гордились. Мы не можем сказать «это не наша вина», когда происходит системное, повсеместное падение лидерства.

То, как исследование просчитывается, оценивается и финансируется, показывает, как работают бизнес-школы.

Способ оценки и финансирования исследования позволяет судить о качестве работы бизнес-школ. По тому, как бизнес-школы преуспевают в обучении и исследованиях, можно судить о выпускниках этих школ и преподавателях. Выпускниками бизнес-школ являются преимущественно люди, занимающие высокие посты в правительстве, руководящие должности в банках и крупных компаниях. Поэтому то, что может показаться мало изученной или незначительной частью нашей жизни, на самом деле имеет огромное значение.

Но как это «значение» обычно измеряется? Хорошее исследование – то, которое можно использовать в других работах. Это можно оценить по цитируемости, или по ссылкам. Цитируемость оценивается не по любым работам, а только по опубликованным в лучших журналах, список которых предоставляет агентство Томсон Рейтер в системе Web of science. Это платная база данных и рейтинговая система, которая создавалась годами, теперь лидирует в сфере оценочных систем. Она была разработана всемирно известным Институтом научной информации (ISI – Institute of Scientifi c Information).

Как и большинство научных изданий, некоторые наши (Emerald Group Publishing Limited – прим. ред.) журналы входят в список ISI, некоторые – нет. Туда попали все наши технические журналы и примерно четверть изданий по бизнесу и менеджменту. По правде сказать, не все издания, попавшие в этот список, мы сами можем смело назвать лучшими.

Одним из критериев достойного исследования может быть его использование другим профессором в своей работе, опубликованной в хорошем научном журнале. Но это определение в лучшем случае однобоко. Рейтинг цитируемости позволяет оценить работу относительно научных изданий и не может являться критерием ценности работы для использования в различных областях вне академической сферы. Но есть еще один негативный момент. В «лучших» научных бизнес-журналах публикуются преимущественно ученые из элитных учреждений, большинство из которых находятся в США. Отчеты о цитируемости ISI (JCR (2005)) показывают, что все журналы, входящие в топ-19, выпускаются в США.

Большинство публикаций на тему менеджмента относятся к специальными и околонаучным областям – наукам о поведении, технологическому менеджменту и менеджменту информационных систем, а также, уже в меньшей степени, стратегическому менеджменту, лидерству и корпоративному управлению.

Более междисциплинарные и межкультурные области исследований, к примеру, такие как международный бизнес, являются последними в списке популярности (хотя некоторые исследования в сфере международного бизнеса публикуются в популярных журналах). В топ-70 не наблюдается журналов по бизнес-этике.

Иногда ученые пишут для других ученых, взаимоцитируемость работ (этот феномен имеет название «круг цитируемости»), позволяет увековечить статус-кво и способствует развитию конформистского мышления, которое заражает потенциальных двигателей прогресса и руководителей, что в итоге приводит к финансовым неудачам. Такая система практически не оставляет возможности пробиться ученым из стран с развивающейся экономикой и небольших организаций, или тем, кто не может или не хочет понимать неписанные правила научного издания.

Инициативные студенты, интересующиеся библиметрией, могут изучать и брать информацию из таких рейтинговых систем как Page Rank [1] в Google, H-index [2], SCImago [3] или др. Но проблемы всех этих систем состоят в следующем:

● Они оценивают исследования с точки зрения научного интереса, а не с точки зрения влияния работы на общество в целом и ее использования. Оценивается лишь одни типы влияния.

● Цитируемость не дает ответ на вопросы, почему данная работа важна и почему на нее часто ссылаются.

● Оценка становится целью. В некоторых странах от ученых требуют лишь публикации в журналах ISI. Разве это правильно?

● Рейтинги контролируются коммерческими предприятиями, которым выгодно выживание этих оценочных систем.

● Система оценки довольно запутанная (она основана на сложном алгоритме), поэтому непросто определить ценность разных индикаторов, к примеру, таких как «факторы влияния» в системе ISI.

● Эти системы могут стать инструментом манипулирования.

Исследования и влияние

Исследования в сфере бизнеса и менеджмента должны иметь влияние на определенные области. Рассмотрим их.

Практика. Лидеры промышленности и бизнеса, практикующие специалисты и консультанты – на всех влияют результаты исследований.

Обучение. Студенты и преподаватели в учебных заведения являются непосредственными потребителями исследований.

Политика государства. Общественных служащие, политики, ответственные лица в общественных организациях, учреждениях и благотворительных обществах пользуются исследованиями, чтобы выстраивать свою политику и избирать верную линию поведения.

Общество. Культурные нормы и общепринятые образы мышления должны подвергаться проверкам результатами исследований.

Знания. Исследования, проведенные ради научного интереса, вносят вклад в увеличение совокупности знаний, которые может и не заметен на первый взгляд, но весьма важен.

Воздействие же одного исследования на другое – это лишь один из пяти видов влияния.

Многие известные критики указывают на то, что не стоит воспринимать теоретические научные знания как краеугольный камень в бизнес-исследованиях. Феффер и Фонг (Pferrer and Fong) (2002) заявляют: «есть много доказательств того, что учебная программа бизнес-школ лишь немного затрагивает те знания, которые необходимы для успешного ведения бизнеса». Минцберг и Гослинг (Mintzberg and Gosling) (2002) критикует традиционный однообластной подход, советуя сосредоточиться на «функциях бизнеса, а не на практике управления».

Бизнес и общество не должны действовать, основываясь на убеждении, что они существуют отдельно и не связаны друг и с другом. Кризис 2008-2009 годов показал нам, что происходит, когда связи рушатся. Также обстоит дело с бизнесом и бизнес-исследованиями, которые не должны существовать по отдельности.

Поэтому нам необходимо определить критерии качества исследования, исходя из этих сфер влияния и их взаимодействия. Итак, на суд читателей мы представляем следующие критерии:

● качественное исследование должно служить основой для дальнейшего качественного исследования;

● качественное исследование должно помогать выстраивать успешный бизнес и верную государственную политику;

● качественное исследование должно помогать формировать социальные нормы;

● качественное обучение должно воспитывать хороших учеников;

● хорошие ученики должны становиться теми, кто принесет пользу и успех организации, в которой работает, а также окажет положительное влияние на остальное общество;

● для издателей, таких как мы, успешный бизнес и публикации на тему менеджмента должны рассматриваться как поддержка серьезных исследований актуальных социальных тем;

● хорошее финансирование должно правильно распределяться для достижения наилучшего результата в исследованиях (определенных выше), приносящих пользу обществу в той или иной форме и помогающих решать сложные общественные и бизнес-задачи. Вы с этим согласны?

Важность использования

Более широкий подход к вопросу качества был разработан проектом MESUR в Лос-Аламосе (Los Alamos) (www.mesur.org). Основываясь на данных цитируемости и используемости, исследователи из Лос-Аламоса провели рейтинговый анализ, основанный на главной составляющей. По итогам работы они выяснили, что многоаспектный подход превосходит общепринятый критерий цитируемости, такой как импакт-фактор. По их мнению, он «маячит» где-то на периферии научной картины влияния.

Из всего этого был сделан вывод, что оценки используемости отчетливее позволяют дать представление о работе, чем оценки цитируемости, то есть они более надежны.

Если наша трактовка верна, то оценка, основанная на изучении используемости работы, является более важным индикатором научной ценности, чем многие доступные сегодня методы оценки цитируемости. Вопреки ожиданиям, импакт-фактор лучше выражает научную популярность (Bollen и др., 2009).

Из 39 способов оценки влияния, которые они изучили, импакт-фактор ISI занял 34 место по взаимосвязи с другими способами оценки. Такие способы оценки как импакт-фактор и цитируемость (в пиковый период) в системе ISI очень плохо сочетаются друг с другом.

Целю данной статьи не является рассмотрение вопроса о том, насколько убедительны приведенные выше доводы, поэтому скажем только, что перед тем как мы примемся закреплять идеи и решения о финансировании, продвижении и реализации в головах нового поколения ученых, нужно, по крайней мере, провести достойные дебаты.

Мы ценим то, что можем измерить. Количество скачиваний файла весьма неплохо поддается подсчету, и мы можем оценить свою пользовательскую статистику множеством разных способов. К примеру, мы знаем, что количество скачиваний является индикатором активности на куда более высоком уровне, чем статистика посещений страницы. Вы ведь не загрузите случайно с сайта одну из наших статей. Поэтому мы расцениваем количество загрузок и использований как показатель статистики читаемости, или, по крайней мере, заинтересованности исследованием. В 2008 году с сайта Эмеральд (emeraldinsight.com) было скачано 18 миллионов работ. В том же году 76 статей были загружены не менее 3000 раз каждая. Это, конечно, не уровень «Гарри Поттера», но для научных исследовательских работ – неплохо. А как приятно исследователям знать, что их статьи читает по всему миру широкая и разнообразная аудитория специалистов.

В процессе работы с посетителями библиотек мы узнаем, что большинство опубликованных работ скачивают студенты. Правильно, загрузки – это не только показатель читаемости, но также показатель того, насколько хорошо исследование используется в процессе обучения и на практике. Разве это не стоит того, что бы мы (ученые и издатели) трудились бок о бок ради общей цели?

Мы также можем отследить самые популярные темы. В 2008 году наиболее часто загружаемые из наших работ были посвящены темам, которые мы бы увидели и пять-десять лет назад, если могли тогда провести такое исследование. Маркетинг, потребительский сервис, лидерство, перемены, мотивация – темы, которые явно били рекорды популярности. Но сейчас в этом списке мы видим и темы, которых пять-десять лет назад еще не было: корпоративная социальная ответственность, управление, устойчивое развитие, глобализация, этика.

Мы будем и дальше продолжать проводить такого рода исследования. Первичные данные показывают, что студенты ищут, или их направляют на поиск исследований, носящих социальный характер. И это не может не радовать.

Следуя в этом направлении, мы планируем включить в требования к исследованиям социальную ценность работы, добавив область «социальная значимость» в аннотации к статьям и попросив учитывать это в публикуемых нами работах. Мы верим, что в качестве основной политики издательств подобный шаг уникален.

Оцените мое исследование

Разве действительно оценка потребительской полезности исследований находится за гранью возможного? Любой более менее продвинутый клиент онлайн магазинов привык формировать свои решения исходя из многочисленных отзывов таких же, как и он, пользователей о машинах, отелях, книгах, песнях. Иногда оценки экспертов дополняются, а иногда и уступают место мнениям обычных потребителей. Рейтинговые оценки стали очень доступными.

Мы не ожидаем, что www.ratemyresearch.com (пока еще не существующий сайт!) в ближайшем будущем станет базой или примером для других систем оценки исследований.

Мы постараемся сделать так, чтобы финансовые правительственные органы, профессора, занимающие старшие руководящие должности в университетах, и органы аккредитации задумались о более совершенных системах оценки качества. Многоаспектные системы оценки качества обычно намного эффективнее и уместнее, чем одноаспектные. Исследование можно отлично оценить, опираясь немного на индекс цитируемости, немного на оценку используемости и добавив к этому сравнительную оценку работы в ряде похожих исследований. Если бы советы директоров, правления, держатели акций многих наших банков и финансовых корпораций вместе с большинством правительственных чиновников прислушались к прогрессивным мнениям, звучащим вокруг, вместо того чтобы поддаться конформизму, мы бы не оказались в том болоте, где находимся сейчас. Есть законные требования к оценке качества исследований, которые не должны игнорироваться.

Никто не скажет нам спасибо, если урок преподнесенный нам финансовым кризисом 2008 года не будет понят и рассмотрен как руководство к действию. Все звенья исследовательской цепи в сфере бизнеса, обучения будущего поколения дипломированных менеджеров и восстановления связей бизнеса и общества, в котором это бизнес развивается, должны критически пересмотреть свою деятельность. Это касается органов финансирования и аккредитации, а также издателей.