Какой видят прикладную наукометрию ученые, эксперты и чиновники, что ей оценивают, насколько она сама по себе научна и объективна, как ее улучшить, и могут ли в этом помочь цифровые технологии - в репортаже Indicator.Ru с тематической дискуссии Гайдаровского форума в РАНХиГС при Президенте РФ.
«Наукометрия — это не показатели, а выводы»
Сомодераторы дискуссии «Наукометрия 2.0: цифровая перезагрузка» — главный редактор Indicator.Ru Николай Подорванюк и начальник отдела научно-информационного развития РАНХиГС Оксана Медведева — начали встречу с того, что предложили всем спикерам высказаться о наболевшем: как именно наукометрия используется сегодня для принятия решений в управлении российской наукой, как при этом проявляется стремление ученых обмануть показатели.
Социолог, заместитель руководителя лаборатории исследований блокчейна для образования и науки ГАУГН Артем Космарский пояснил, что критикой современной наукометрии заняты не только российские ученые-гуманитарии. Количественная наукометрическая оценка не заметит публикации филологов или историков по узким темам, но те, кого она замечает, тоже недовольны: чем важнее показатели, тем сильнее научная работа смещается в сторону их достижения (а не реальных исследований). В результате наукометрия воспринимается как внешняя сила, которую ученые могут переиграть. Есть и другие проблемы. «Из всего многообразия вещей, которые делает современный ученый — пишет, говорит, рецензирует, консультирует — учитывается только научная статья и цитирование. Научная коммуникация уходит в блоги, соцсети, в неформальные короткие высказывания, а статья остается холодным жанром ради звездочек и погон», — отметил Космарский, подчеркнув, что это характерно для научных сообществ во всем мире.
Как управленцам в науке, в том числе в научных фондах, удается использовать наукометрию при таком формальном к ней отношении ученых? Представители самых разных организаций, участвовавшие в дискуссии, сообщили, что давно не делают выводов только по количественным показателям и не абсолютизируют никакие отдельные метрики. Например, заместитель генерального директора eLibrary.ru Виктор Глухов рассказал, что при отборе журналов в базу Russian Science Citation Index (RSCI) наукометрическая оценка только дополняет экспертизу. На первом этапе журналы выбирают по библиометрическим показателям, а затем прошедшие первый барьер издания оценивают эксперты. Заместитель генерального директора, начальник управления программ и проектов РНФ Андрей Блинов также отметил, что наукометрические показатели используются только как барьеры: важно, чтобы они были при подаче заявки на грант фонда, но потом их перепроверят эксперты. Со временем, выразил надежду Блинов, и от этих входных требований удастся отказаться.
Вице-президент Elsevier S&T в России Марат Фатхуллин заметил, что, с одной стороны, в России много говорят о наукометрии: «В российских аудиториях часто обсуждают, как сложно выполнить показатели Минобра, а от Кембриджа чаще слышишь о проблеме ‟как победить рак"». С другой стороны, данные наукометрии можно использовать для выявления реальных проблем науки. Например, почему статьи российских авторов из вузов проекта 5 – 100 в высокорейтинговых журналах по химии и ряду других наук чаще обзорные, чем экспериментальные? Потому что существуют сложности с закупкой реактивов, и наукометрия, дополненная экспертным анализом, помогает их доказать.
Директор департамента стратегического развития, мониторинга и оценки Минобрнауки Тимур Броницкий рассказал, что министерство как раз развивает такую аналитику: «Для нас наукометрия — это не показатели, а выводы, которые мы способны делать на основе этих данных». При оценке научно-исследовательской работы организаций ведомство уходит от валового принципа подсчета только количества статей, засчитывания одной публикации нескольким соавторам в разных вузах (теперь организации присваивается доля в статье) и некритичного подхода к результатам международных исследований. Отныне, оценивая результаты коллабораций, министерство будет анализировать вклад участников и результат, к которому сотрудничество привело. «Численные показатели мы не рассматриваем в отрыве от экспертных», — подытожил Броницкий.
С ним резко не согласился присутствовавший в зале ученый из Института проблем управления РАН: годовое наукометрическое планирование ведется исключительно количественно — «на семь человек 19 публикаций», и тем самым министерство «ведет вредительскую деятельность». Броницкий возразил, что планы для отдельных подразделений устанавливаются администрацией научной организации, а Минобрнауки работает только с уровнем организации.
Есть ли альтернатива в цифре?
Говоря о текущей работе, эксперты описывали в основном совмещение экспертных и наукометрических подходов. А что же цифровые инструменты, способны ли они сделать наукометрию более точной, как заявлялось в анонсе дискусии? Артем Космарский предположил, что это возможно в режиме «тотализации» наукометрии, например, при создании гибкой системы, которая будет в реальном времени отслеживать деятельность ученого для постоянной оценки и вознаграждения. Академическое сообщество уже пользуется массой цифровых инструментов, возможно, на их основе появится постоянный «спутник ученого».
Современные цифровые системы еще мало похожи на этот оруэлловский образ, но приближаются к нему, постепенно охватывая разные стороны работы исследователей. Руководитель отдела образовательных программ Clarivate Analytics Валентин Богоров рассказал, что за последние два года компания внедрила несколько инструментов, среди которых не только поисковик Kopernio, который позволяет открывать полные тексты публикаций из журналов Web of Science, но и единственная в мире база цитирования массивов данных Data Citation Index, и база данных о рецензентах Publons. Таким образом, оценка становится более многомерной и отходит от классической наукометрии, где единственным результатом научного труда была опубликованная статья. Параллельно с этим меняется и классификация научных журналов: легитимизируются «ниши» для разного рода журналов, появляется больше региональных баз и так далее. Получается, цифровизация помогает наукометрическим стандартам приблизиться к реальности.
Представители российских институций — РНФ и eLibrary.ru — рассказали о более ограниченных цифровых инструментах. В фонде в прошлом году прошло сравнение ручного назначения экспертов для оценки грантовых заявок с автоматизированной системой. Она руководствуется цифровым портретом эксперта и делает в целом такие же назначения, как координаторы-люди. В eLibrary.ru анализ больших данных применяют для выявления этических нарушений, например, чрезмерного самоцитирования или фальшивых списков использованной литературы в публикациях. Но в будущем, рассказал Глухов, РИНЦ будет развиваться именно к охвату всех сторон работы ученого, например, через внедрение интегральных показателей, которые невозможно будет односторонне «подправить», — условный индекс академической репутации ученого и другие.
О том, насколько российские ученые заинтересованы в цифровизации управления наукой, рассказал руководитель исследовательских проектов Synopsis Group Владимир Картавцев. В течение семи месяцев он руководил исследованием «Цифровые механизмы управления и самоорганизации научного сообщества как необходимые условия научно-технологического прорыва» по гранту РФФИ, в ходе которого онлайн-опрос и фокус-группы показали: научное сообщество воспринимает тему с большим скепсисом. Около половины ученых — цифровые пессимисты, и, например, 19% из 6200 опрошенных не хотели бы никак оцифровывать процесс защиты диссертаций. Авторы исследования предположили, что ученые опасаются тотальной открытости, которая следует за цифровизацией, так как не хотят раскрывать внутренние метрики, по которым оценивают работу друг друга, и разрушать работающие подходы.
Цифровизация действительно предполагает не просто внедрение новых инструментов, а фундаментальное изменение практик деятельности, подчеркнул заведующий кафедрой истории экономики РАНХиГС Роман Кончаков. По его мнению, главная задача цифровой трансформации — формировать новые формы ответственности ученых перед экспертным сообществом, а не совершенствовать индексы. Улучшаться и становится более открытой будет именно экспертиза, которая уже сейчас неразрывно связана с наукометрическими оценками, как об этом говорили представители компаний и фондов. Очевидно, что фундаментальные изменения затронут и их. Корпорации уже меняются, признался Марат Фатхуллин: в частности, Elsevier S&T стал вторым в мире издателем журналов открытого доступа, а поисковик Kopernio, разработанный в Clarivate Analytics, фактически позволяет пользователям открывать полные тексты статей, как на SciHub (только из легальных источников).
Хайп или новая культура?
Но нужна ли вообще самим ученым наукометрия, или она становится управленческим инструментом в руках чиновников? Подробных ответов на вопрос эксперты дать не успели, но некоторые наметки прозвучали и раньше. Например, начальник управления координации и обеспечения деятельности организаций в сфере науки Минобрнауки Михаил Романовский отметил, что важнейшей задачей наукометрии при ее вхождении в круг наук с «железной» базой может стать предсказание процессов зарождения и смерти популярных научных тем. Например, в 1970-х годах, напомнил он, половина всех статей о лазерах были посвящены лазерам на красителях, но меньше чем за десятилетие тренд сошел на нет. С экономической точки зрения исключительно важно уметь анализировать такие процессы. Его поддержал Богоров: наукометрия не исчерпывается набором прикладных показателей, она должна развиваться и в направлении изучения науки как информационного потока. Кроме того, заметил он, наукометрическая культура должна распространяться за пределы узкого сообщества экспертов. Вопросы чистоты данных и значимости показателей, которые применяются для оценки ученых и организаций, важны для всего научного сообщества.
Таким образом, наукометрии предстоит стать самой по себе наукой, а также составной частью общей академической культуры. А что же цифровизация науки? Что она представляет собой сейчас, и чем ей нужно стать? В финальном блиц-опросе на эту тему оценки экспертов разошлись. Марат Фатхуллин высказал мнение, что пока цифровизация — хайп, потому что пока никто не понимает, как работать с оцифрованной информацией о науке. Другие позиции были более обнадеживающими: Валентин Богоров отметил, что благодаря цифровизации науки уже стали доступны ранее незаметные информационные потоки («новая прозрачность»), Тимур Бронницкий — что она предоставляет инструментарий ускорения научно-технологического цикла. О расширении возможностей всех участников научного процесса, удобстве и ускорении процессов говорили и Андрей Блинов, и Виктор Глухов. А Владимир Картавцев отметил, что не понимает, что такое цифровизация. Пока это набор специфических социальных эффектов, которые еще предстоит изучить. И последствия их появления наверняка будут глобальными, считает социолог. Внедрение всего нескольких наукометрических индексов кардинально изменило понимание того, кто считается ученым, по крайней мере, на управленческом уровне: это уже не просто человек, который проводит исследования в лаборатории, «поле», архиве или библиотеке, а автор публикаций в довольно узкой группе международных журналов. Может быть, уже через десять лет ученого будет определять заполненность профиля на Publons или количество токенов за конференции за год?
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии