Наука болеет перепроизводством недоработанных текстов, публикуемых, чтобы их «посчитали». Даже в лучших международных журналах стандарты медленно, но верно ползут вниз. Статьи выходят с ошибками: от ложных «теорем» до неверной атрибуции результатов, не говоря о «ляпах». Этого безобразия становится всё больше не только в абсолютном, но и в относительном выражении. Научный приоритет всерьез не проверяется: в областях с мощным потоком публикаций это затруднительно. Качество рецензирования падает.
Все ужасно спешат. Спешит автор: ему надо опубликовать за год как можно больше статей, а желательно – еще и одну-две книжки. Спешит редактор журнала с высоким импакт-фактором: ему нужно справиться с растущим потоком манускриптов и выбрать те, что принесут ссылки за два года (иные «бесполезны»). Спешит рецензент: во-первых, его ждет собственная работа, во-вторых, пока он будет разбираться со статьей, его завалят новыми, а не всегда удобно отказывать.
Спешит и читатель: он одновременно и автор, и рецензент, и докладчик на конференциях, и преподаватель, нередко – и редактор; у него на чтение почти нет времени. Многие уже не читают, а только пролистывают работы, на которые ссылаются.
Наука превратилась в гонку. Добро бы – за результатами. Нет, – за числом публикаций и ростом библиометрических индексов. Ученые с индексом Хирша в несколько десятков – вроде научных «миллионеров».
Публика редко интересуется их конкретным вкладом в науку: цифра заменяет ответ на этот вопрос. Первенство в своей среде «по Хиршу» научный писатель ощущает почти как актер – получение «Оскара».
В числе прочих причин это связано с внедряемой повсеместно системой оценки эффективности научной деятельности – по числу публикаций, импакт-фактору журналов, где они напечатаны, индексу Хирша и т.п. Тысячи небездарных людей сегодня ставят перед собой задачу не продвижения в понимании устройства мира, а продвижения «по Хиршу». Ведь должности, гранты, надбавки – всё это поставлено в зависимость от числа публикаций, числа ссылок на них, того же «Хирша».
Рост числа публикаций имеет и объективные причины. Ученых становится больше за счет присоединения Китая, других стран Азии, Латинской Америки и др. Проблема в том, что если по некоторому направлению публикуется тысяча работ в год, то в нем уже нельзя оставаться экспертом в традиционном смысле слова. Поскольку нельзя следить за всем потоком, многие решают не следить за ним вообще. Главная задача лечения современной науки – утверждение принципа «лучше меньше, да лучше». Внедрять его, идя против потока, трудно. К вопросу о том, как это можно делать, вернемся ближе к концу статьи. Сейчас отметим лишь, что нельзя премировать людей пропорционально числу публикаций. Система оценки должна быть такой, чтобы с некоторого момента становилось нерентабельным публиковать еще одну скороспелую статью, но оставалось рентабельным повышать качество работы. Это непростой путь, но ясно, что двигаться надо в этом направлении.
О «целебных свойствах» индекса Хирша
Что измеряет этот индекс? Пусть ученые A и B опубликовали по 10 статей. A получил по 200 ссылок на каждую, B на каждую свою статью получил по 10 ссылок. У кого из них выше индекс Хирша? Ответ: индекс Хирша у них одинаковый и равен 10.
Теперь предположим, что B опубликовал 11 статей и на каждую получил по 11 ссылок. Тогда он обгонит A «по Хиршу». Если же у него 20 статей и 20 ссылок на каждую, то он обгонит A «по Хиршу» в 2 раза. Хотя общее число ссылок на его статьи – в 5 раз меньше.
А теперь вопрос (увы, риторический): что стимулирует Хирш – публикацию требующих большого труда прорывных работ высшего качества или публикацию работ умеренного качества, но в немереном количестве?
Индекс Хирша более всего выгоден для «системных» середняков, без устали пишущих свои работы и обменивающихся ссылками с себе подобными. Для полного успеха им не обязательно признание всего мира – достаточно небольшой «мафии». Действительно, пусть B1 и B2 публикуют по 5 статей в год, и каждый из них в статье номер n ссылается на n первых статей другого (самые последние, еще не вышедшие, известны ему в виде препринтов). Тогда, без (!) учета самоцитирований, через 2k лет у каждого из них будет индекс Хирша h = 5k. Скажем, через 8 лет они будут иметь достойнейший индекс h = 20. Ничего не изменится и если B2 – всего лишь псевдоним автора B1.
Спасти рядового «решателя трудных задач»
Слово «спасти» не преувеличение. Возможно, при сегодняшнем рейтинговом зуде Г. Перельману уже не дали бы восемь лет спокойно заниматься гипотезой Пуанкаре, почти ничего не публикуя, и уволили бы за неэффективность. И здесь мы сразу должны признать, что радикального средства спасти «решателя трудных задач», этого едва ли не самого ценного члена научного сообщества, скорее всего, нет. Нет до той поры, пока его достижения не оценены сообществом.
Помочь в этой ситуации могут экспертные методы, о чем ниже, а сейчас рассмотрим иную ситуацию: пусть наш «решатель» о себе уже заявил. Тогда у него будет по-прежнему негусто публикаций (поскольку каждая требует больших затрат сил и времени), но число ссылок на каждую, скорее всего, будет превосходить их количество. То есть он будет немного напоминать ученого A из 1-го примера предыдущего раздела. И здесь мы снова вынуждены констатировать, что индекс Хирша его «в упор не увидит», так как визитная карточка нашего героя – не учитываемое Хиршем «лишнее качество».
Учесть «лишнее качество» просто: достаточно найти среднее (а также максимальное!) число ссылок на статью. Практикой показано, что этот способ статистически более надежен.
Пациент скорее жив?
Все же позиции «решателей трудных задач» и других научно мотивированных профессионалов остаются довольно прочными. Этому способствует, в частности, институт международных научных премий. Именно лауреаты этих премий и составляют высшую мировую научную элиту, продолжающую оберегать некоторые традиции.
Обратимся к российскому пациенту. Если в мировой науке основная проблема – снижение качества научной продукции при неконтролируемом росте ее количества и победа «бегущих за Хиршем» над «решателями трудных задач», то у нас всё то же погружено в денежную нищету и несколько слоев абсурда.
Россия – страна, вклад которой в мировую науку составляет 2–3 процента. При этом в России можно защитить диссертацию с чисто русскоязычным списком литературы – во многих областях знания, разрабатываемых во всем мире. Это и есть провинциализм. Он порождает имитацию научной деятельности в масштабах, несопоставимых с мировыми. В двух с лишним тысячах журналов из списка ВАК, и в журналах не из списка ВАК, и в сборниках конференций наряду с нормальными работами публикуются тысячи квазинаучных текстов, не соотнесенных с уровнем современного знания, сильно дублирующих друг друга, не представляющих научной новизны.
Вывод прост: система оценки научной деятельности в России должна недвусмысленно стимулировать публикации в лучших международных журналах, выход книг в лучших мировых издательствах. Таким способом мы приблизимся к достижению нескольких целей: 1) введем в мировой обиход наши результаты; 2) повысим престиж наших институтов и университетов; 3) приучим наших ученых работать по мировым стандартам – при всей их (стандартов) коррозии они заметно выше отечественных. Сейчас в «порядке применения стимулирующих выплат», действующем в РАН, рекомендуется учитывать индексы цитирования журналов, но во многих институтах публикация статьи в ведущем международном журнале (скажем, “Science”) оценивается так же, как публикация в любом «вестнике» из списка ВАК. А теперь оценим соотношение трудозатрат, необходимых для одной и другой публикации, и сравним их эффект – в смысле распространения результатов, престижа отечественной науки и института и т.д. И что «стимулирует» надбавка?
«Эталонный» пример стимулирования международных публикаций – система надбавок, принятая в НИУ ВШЭ. Здесь есть надбавки трех уровней. Надбавка высшего, 3-го уровня – «за статью в зарубежном рецензируемом научном журнале» – в случае статьи (не обзора!) одного автора и его полной ставки выплачивается в течение двух лет в размере 90 тыс. рублей в месяц. Надбавки 1-го и 2-го уровней составляют соответственно 35 и 60 тыс. рублей в месяц и выплачиваются за научные достижения, которые в ВШЭ оцениваются не так высоко. От количества статей надбавка 3-го уровня в НИУ ВШЭ не зависит: ученый премируется за наличие результатов «международного класса», а не за плодовитость.
Как оценить качество работ? Формальных способов два: индексы влиятельности журналов (импакт-фактор и т.п.) и учет ссылок на работы автора. Однако оба способа ненадежны, о чем много писали. Вывод: раз показатели ненадежны, а лучших нет, важно избежать больших ошибок, т.е. учет должен быть консервативным.
Предложения по учету ссылок на работы автора также могут быть сопоставлены по статистической методике. Одним из разумных представляется показатель (N2/n)1/4, где N – число ссылок на работы автора (за вычетом самоцитирований), n – число его работ. Под корнем здесь – произведение N на плотность ссылок N/n.
Для ссылок имеет смысл учитывать средний импакт-фактор журналов, откуда эти ссылки взяты (РИНЦ его считает). Разумеется, использовать так количество ссылок и импакт-фактор можно лишь при сравнении работ в одной области, поскольку, например, в математике среднее число ссылок на статью – меньше 1, а в науках о жизни – более 6 (данные 2000 г.).
Заслуживает внимания, что в ВШЭ за рецензию для зарубежного научного журнала начисляется 2 балла: это всего вдвое меньше, чем за статью в российском журнале. За рецензию для ведущего российского журнала дается 1 балл. Рецензирование – важная и трудоемкая работа; верно, что она оценивается! А вот «тезисы докладов и выступлений» в НИУ ВШЭ «к результатам академической деятельности не относятся». Это средство против простого способа «накрутки» баллов. Действительно, даже 50 тезисов не стоят одной полноценной статьи.
Предложения
Не все, но большинство приводимых ниже предложений в той или иной степени обоснованы выше.
- Ввести в российских научных учреждениях надбавки «За статью в зарубежном рецензируемом научном журнале» – наподобие надбавки, имеющейся в НИУ ВШЭ. Это должно стать средством лечения провинциализма нашей науки, ее излишней изолированности.
- Отказаться от индекса Хирша как интегрального показателя успешности ученого.
- Необходимо срочно прекратить премировать ученых за «вал публикаций», что подталкивает к производству научного мусора. Известен случай, когда фактически один и тот же доклад был послан на несколько десятков конференций, в результате чего автор стал рекордсменом своей организации по суммарному баллу.
- Администрациям научных учреждений следует окружить особой заботой и вниманием «решателей трудных задач».
- Оценку достижений ученых надо рассмотреть как научную задачу. Возможен следующий подход. Для каждой области знания экспертам предлагается оценить успешность ученых, включенных в заранее составленный список, по числовой шкале или отнеся каждого к одному из n упорядоченных классов.
- Было бы крайне полезно иметь классификацию ученых по типам. Кроме «решателей трудных задач», есть «продолжатели идей», которые берут на себя труд поставить и решить массу мелких задач, что придает теории законченный вид. Есть авторы, пишущие великолепные обзоры, есть те, кто умеет организовать команду, задать направление исследований и распределить задания и т.д. Скорее всего, ученых разных типов надо оценивать по-разному. Эту задачу можно также решить с помощью экспертов.
П.Ю. Чеботарев, «Управление большими системами». Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой»
Опубликовано в сокращении. С полным текстом статьи вы можете ознакомиться в приложенном файле.
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии