Такие разные индексы

В науке, для налогоплательщиков и их представителей, которые и оплачивают деятельность ученых, кроме субъективного мнения профессиональных экспертов необходимы и объективные показатели. Наукометрические показатели в совокупности и являются такими инструментами оценки деятельности ученых.

Два основных недостатка, которые выделяют все специалисты по наукометрии:

1. Так как наукометрические показатели легко вычислить, то велик риск их неадекватного использования в качестве единственного критерия оценки многогранной научно-исследовательской деятельности ученого.

2. Использование наукометрических показателей в качестве критериев оценки научной деятельности провоцирует ученых к «накрутке» этих показателей различными способами.

Во всем мире оптимизация процесса экспертной оценки обеспечивается постоянным экспериментом, конкуренцией и многообразием различных методов учета наукометрических показателей. Далее мы рассмотрим две группы наукометрических показателей, которые оценивают количество цитируемых статей (quantity of the productivity core) и влияние цитируемых статей (impact of the productive core), а также кратко обсудим возможные применения таких показателей.

1. Определения основных индексов

Мы воспроизведем определения нескольких распространенных индексов, имеющих наиболее простые математические определения.

h-Index – индекс Хирша, который вычисляется на основе распределения цитирований работ данного исследователя: Учёный имеет индекс h, если h из его Np статей цитируются как минимум h раз каждая, в то время как оставшиеся (Np – h) статей цитируются не более чем h раз каждая. Индекс учитывает и количество публикаций, и их влияние на научное сообщество, выраженное через число цитирований публикации.  Достоинства и недостатки этого индекса широко известны.

Individual h-index (original) – результат деления стандартного h-индекса на среднее число авторов в статьях, которые входят в Хирш-ядро публикаций. Этот показатель призван уменьшить влияние на h-индекс числа соавторов публикаций, которое, по статистике, существенно отличается в различных областях знаний.

g-Index – индекс, учитывающий статьи ученого с наибольшим цитированием, который определяется следующим образом: Наибольшее целое число g публикаций, которые все вместе набрали g2 и более цитирований. Исправляет недостаток индекса Хирша, который можно сформулировать следующим образом: «если статья попадает в число наиболее цитируемых h статей, то цитирование этой конкретной статьи больше никак не учитывается».

a-Index – это просто среднее число ссылок на статьи, входящие в Хирш-ядро:

m-Index – это медиана числа цитирований h статей, входящих в Хирш-ядро публикаций автора. Является некоторым вариантом a-индекса и попыткой учесть распределение числа цитирований статей, входящих в Хирш-ядро.

m-Quotient – один из способов сравнения ученых с различной продолжительностью научной работы; заключается в делении h-индекса на число лет научно-исследовательской деятельности.

hg-Index и q2-index – так называемые накопительные индексы; призваны описывать влияние работ через их цитируемость, т.е. качественные характеристики публикационной деятельности ученого.

Кроме перечисленных выше наукометрических показателей существует также достаточно большое количество других показателей, учитывающих более сложные статистические законы, учитывающих самоцитирование, цитирование статьи другими авторами статьи, учитывающих области знаний, в которых проводятся исследования, учитывающих разницу между начинающими и уже маститыми исследователями и т.д.

2. Учет области знаний

В каждой области знаний существуют свои традиции написания статей, их цитирования, свой порядок авторов и т.д. К сожалению, какого-либо стандартного способа учесть все эти различия не существует. Поэтому мы рассмотрим только один из простейших способов учета этих особенностей.

При расчете баллов за публикации мы делим значения импакт-фактора журналов из различных областей знаний просто на среднее число цитирований C.

Заметим, что в Web of Science используется два типа разбиений на области знаний. Так называемые крупные области знаний и их средние показатели по цитируемости приведены в таблице 1.

Обычно научные фонды используют такое разделение по областям знания для различных статистических расчетов, а для вычисления показателей конкретных журналов и ученых используется более мелкое деление на более чем 200 дисциплин. Например, в раздел первого уровня «Математика» входят области знаний второго уровня «Логика» и «Математическая физика», средняя цитируемость статей в которых абсолютно разная.

Простейший пример

Предположим, что ученый А за пять лет написал 5 статей и каждую статью процитировали по 10 раз. Все статьи были написаны в первый год. За тот же период ученый Б написал 10 статей и каждую из них процитировали 5 раз. Статьи были написаны по две в каждом году.

В Хирш-ядро публикаций ученого А входят все его пять работ с общим количеством цитирований 50, а в Хирш-ядро ученого Б входят пять его последних по времени работ с общим цитированием 25.

. Если при этом ученый А занимается математикой, то его нормированный h-индекс будет равен 5 / 3,53 = 1,4, а если ученый Б биолог, то его нормированный h- индекс будет 5 / 16,5 = 0,3, что, очевидно, не всегда справедливо, так как в биологию входит и высоко цитируемая биоинформатика, и слабо цитируемая зоология.

Как и любая другая теория, теория наукометрических показателей должна быть подтверждена экспериментом. При этом экспериментально проверенные в какой-либо одной области знаний модели могут быть ошибочными в применении к другой области знаний.

Проведенные опыты указывают на то, что только использование совокупности показателей позволяет получить более-менее адекватную картину. Речь, конечно, всегда идет не о малых, а о достаточно больших выборках и результаты всегда справедливы в «среднем» по выборке. С оценкой двух конкретных ученых, А и Б, например из нашего примера, всегда можно разобраться и без применения наукометрических показателей.

Цыганов А. В., «Управление большими системами». Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой»

Опубликовано в сокращении. С полным текстом статьи вы можете ознакомиться в приложенном файле.