Как оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.
О попытке выполнить данное не нам поручение
Одним из поручений [1] по итогам заседания Совета по науке и образованию, состоявшегося 20 декабря 2013 года [2], было «представить предложения по установлению повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов в научной деятельности. Срок — 1 мая 2014 года. Ответственные: Медведев Д.А., Фортов В.Е.»
Еще в январе несколько членов ОНР, включая автора этих строк, попытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Совета ОНР лета 2012 года [3]. Оно сводилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников государственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конференций, индексируемых Web of Science.
Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год провести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опубликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикационной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значительное число публикаций в наиболее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребовало бы около 8 млрд руб. в год.
При обсуждении этой идеи в январе 2014 года было высказано опасение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по областям уже на первом этапе — иначе среди его победителей гуманитариев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть представителей гуманитарных и социальных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.
Но как выбрать журналы РИНЦ — по импакт-фактору? Тут же были приведены примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высокий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы — дело сложное. Ведь многие потенциальные эксперты входят в редколлегии различных журналов, а это чревато конфликтом интересов. Другая проблема — в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты научной деятельности. А отбраковывать монографии еще труднее, чем журналы.
В общем, попытка выстроить сбалансированное универсальное предложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.
Об эскизе комплексного подхода
Не могли мы забыть и о том, что против библиометрического мерила успехов всегда восстают не только гуманитарии (среди которых особенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экспертные структуры. Так, в декабре 2013 года при Отделении математических наук РАН был создан Экспертный совет по оценке результативности научных организаций.
В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных ученых. При работе таких комиссий математики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Framework (REF) — 2014. В этой системе, которую мы обсудим в последнем разделе статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.
Совершенно очевидно, что навязывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.
1. Разделить общий премиальный фонд между областями пропорционально количеству научных кадров.
2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каждого уровня и процентному соотношению количеств премируемых стипендиями каждого уровня. Есть резон (хотя и не железный) в равномерности этих значений по областям. А проще всего, если уровень один.
3. Каждое профильное Отделение РАН (помним, что ответственный за поручение — В.Е. Фортов) совместно с представителями институтов формирует Конкурсный совет. В тех областях, где имеется Корпус экспертов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его комиссии директоров институтов и их заместителей, а также других функционеров, чтобы он не стал инструментом лоббирования.
Каждый Конкурсный совет делает одно из двух: либо вырабатывает наукометрический критерий присуждения стипендии каждого уровня, либо формирует комиссии для экспертного присуждения стипендий и вырабатывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе «Panel criteria and working methods» [6] английской системы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных исследователей. Как и система [7], недавно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере науки; ее имеет смысл использовать в не меньшей степени.
4. Принципиально, чтобы Конкурсные советы и экспертные комиссии пользовались доверием научного сообщества. Поэтому наилучший способ формирования их — выборы, гарантирующие представительство как РАН, так и научных сотрудников, не имеющих академических званий. Процедуры выдвижения кандидатов, выборов, а также регламент экспертных комиссий должны быть одобрены профессиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.
Есть ли проход между Сциллой и Харибдой?
Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений такой [экс-]«феодальной» структуры, как РАН, представлялось им еще более порочным. Даже если требовать одобрения всех принципиальных решений научным сообществом. Ведь в искусстве взять хорошую идею (например, идею демократии), оставить от нее пустую форму и наполнить ее противоположным (скажем, антидемократическим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не пройдет, — простой формальный критерий.
Нужно отметить, правда, что коллеги — в основном естественники, т.е. представители областей, где корреляция библиометрических показателей и реальных успехов имеет неплохой уровень значимости.
Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит smallest publishable units, раскидывает их по реферируемым журналам и легко обгоняет более сильного коллегу, для которого подобные уловки неприемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные задачи, чреватые потерей скорости роста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производстве статей, вносящих в науку минимально возможный вклад.
Чтобы сохранялась здоровая мотивация, нужно, чтобы был возможен следующий сценарий. По результатам аттестации эксперты заявляют, что ученый X, за 2 года опубликовавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебники. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А ученый Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей работы, если бы опубликовал всё это в 2-3 статьях.
Но чтобы такой сценарий был возможен, как минимум нужна экспертиза.
Немного о новой системе аттестации в Великобритании
Великобритания является, безусловно, одним из флагманов западного мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там происходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.
Уходящая английская система оценивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публикаций, а качество исследования; она, как и новая, была экспертной. Внедряемая сейчас система Research Excellence Framework (REF) [6] тоже весьма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для развития науки. Ученых вопросы про impact раздражают, но налогоплательщики хотят знать, на что идут деньги.
Все научные дисциплины в REF можно разделить на те, где библиометрия не используется при оценивании вообще, и те, где она используется с большими ограничениями. К первым относятся математические, инженерные, гуманитарные, общественные науки, менеджмент и др. Ко вторым — науки о жизни, о Земле, химия, физика, информатика и экономика.
«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания качества, но не главное (primary) средство. При этом отмечается, что количество цитирований часто ненадежный показатель, например, в случаях прикладных или свежих исследований.
Цитирования для большинства дисциплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики — также Google Scholar; WoS ни разу не упоминается.
В целом речь идет о системе экспертного оценивания с детально и тщательно проработанными регламентами, отличающимися для разных областей знания. И вот что еще интересно: ни для каких дисциплин при оценивании не должны учитываться ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным образом всё это учитывается, но в целом, пожалуй, REF несколько ограничивает использование библиометрии по сравнению с RAE.
В противоположность системам оценки, для которых чем больше публикаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но — с формулировкой вклада в науку, вносимого каждой из работ, — по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слайсов» пойдет скорее во вред:половина из них просто не будет учтена. Полезность ограничения числа рассматриваемых статей не раз отмечалась и в некоторых предложениях ОНР.
Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе нескольких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшегося широкого использования библиометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опубликован в январе 2012 года. Далее почти два года он обсуждался; собрано большое количество стандартизованных анкет с отзывами; типичный объем заполненной анкеты — 10 страниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в конце года. Таким образом, прошло более семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально новой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!
Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Совете по науке и образованию, институтах.
Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А главный аргумент, из-за которого британцы построили и совершенствуют именно экспертную систему, мало зависит от местных условий. Он состоит в том, что наука — одна из самых содержательных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.
Напоследок необходимо сделать одно замечание. Поручение об «установлении повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институтов, а с этим пока нет никакой ясности.
1. http://kremlin.ru/assignments/20065
2. http://kremlin.ru/transcripts/19865
3. http://onr-russia.ru/content/гранты-стипендии-03072012
4. http://ubs.mtas.ru/upload/library/UBS4426.pdf
5. http://expertcorps.ru/
6. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethod...
7. http://rascommission.ru/index.php/documents/statements/63-otsenka
8. http://en.wikipedia.org/wiki/Least_publishable_unit
9. http://rae.ac.uk/
10.http://ubs.mtas.ru/upload/library/UBS4416.pdf
Павел Чеботарев
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии