Платформа дебатов и общественных дискуссий
Выпускается при поддержке:

Как оценивать деятельность ученых: плюсы и минусы количественной наукометрии

unsplash.com

Коммуникация в научном сообществе – вопрос чрезвычайно важный и сложный. Историк и теоретик науки Питер Галисон шутил, что даже физики в соседних лабораториях интерпретируют один и тот же термин по-разному. Но, несмотря на пессимистичные представления о фундаментальной невозможности взаимопонимания, необходимость в общении остается. Когда дело касается науки, на повестке оказывается не столько проблема языка, сколько проблема перевода – то есть создания способов признания научных достижений, понятных за пределами академической сферы.

Наука на языке администрации

В настоящее время оценка деятельности отдельного ученого, коллектива авторов, образовательной организации или другого академического института проводится преимущественно инструментами наукометрии – иначе, количественным анализом научных публикаций. Самый распространенный метод оценки заключается в подсчете соотношения между количеством опубликованных текстов и числом их цитирований. От показателей научной эффективности часто зависит благополучие исследователя или целой организации, поскольку главной формой конкурсов на финансирование является участие в рейтинге, составляемом на основе подсчитываемых данных. 

По этой причине споры о пользе и вреде наукометрии всегда носили политический характер. Но наиболее ожесточенные дискуссии развернулись на фоне реформы государственных академий наук в России, инициированной бывшим министром образования и науки Дмитрием Ливановым в 2013 году (известна как «реформа РАН»). Завершение реформы было объявлено в 2018 году, что вызвало очередную волну обсуждения, а в 2020 году критике подверглась новая метрика – комплексный балл публикационной результативности (КБПР). Однако, несмотря на внесенные в проект поправки, ученые и политики так и не пришли к соглашению насчет критериев эффективности научной работы. В 2021 году совершенствование инструментов оценки научных достижений остается предметом конференций и круглых столов, в то время как исследования этой темы даже получают грантовую поддержку. Но если в 2013 году наукометрия еще была окружена романтическим ореолом в условиях жаркой полемики – методику либо истово ругали, либо превозносили как достижение века новых технологий – то сейчас всем оказывается очевидна необходимость ее чисто технической доработки.

Недобросовестное цитирование

            Один из наиболее оживленных споров касается влияния наукометрии на принятие кадровых и финансовых решений, касающихся деятельности академических работников. Отмечается, что обязанность научных сотрудников выполнять план публикации статей, как и использование университетами системы эффективных контрактов с преподавателями, существенно снижает качество исследований. Не последним фактором, влияющим на несоответствие реального уровня публикации ее статистической оценке, является широко практикуемое взаимоцитирование. В 2019 г. президент РАН Александр Сергеев назвал Россию лидером «мусорных публикаций», при этом сомнение в научной значимости статей, написанных главами университетов, возникает с печальной регулярностью. Это, кстати, могло быть одной из причин отстранения от должности в августе 2021 года ректора РГСУ Натальи Починок.

На заседании Национального совета по наукометрии и научной периодике отмечалось, что главной проблемой российской наукометрии является отнюдь не существование рынка индексируемых публикаций и не технические недостатки баз данных, которые, напротив, даже имеют ряд преимуществ перед западными, а абсолютная монополия Российского индекса научного цитирования (РИНЦ) на оценку научных достижений. Понятно, что в российском поле часто практикуется цитирование людей, облеченных административным влиянием. Отсюда и обращенность к международным индексам, как более независимым от фактора административного давления. Среди других проблем российского индексирования эксперты называли формальное несоответствие российских индексируемых журналов требованиям международных наукометрических баз и слабую вовлеченность представителей академического сообщества в разработку критериев РИНЦ.

Должна ли наука быть эффективной?

Больше всего корреляцией между показателями эффективности и репутацией исследователя обеспокоены ученые гуманитарных специальностей. Критика не ограничивается подозрениями в недобросовестности авторов статей или сомнениями в технической исправности электронных баз данных, но касается также фундаментальной проблемы определения науки, ее методов, целей, результатов – и, наконец, применимости к ним количественной оценки как таковой. В особенности это касается наук, исследовательской стратегией которых является интерпретация – например, отдельных направлений философии, филологии или искусствознания. Ученые утверждают, что сама система оценки эффективности пришла из чуждой науке бизнес‑этики, тогда как современная гуманитарная сфера нацелена на описание и распространение различных неконвенциональных форм знания, часто невыразимых в числовых показателях. Впрочем, необходимость разработки специфических критериев оценки для ряда специальностей, а также невозможность исключительно количественного анализа качества научных достижений признается всеми участниками дискуссии.

— Очевидно, что надо вводить экспертную оценку результатов научных исследований. Однако я не призываю отказаться от наукометрии. Мне кажется, что идеальным способом оценки качества фундаментальных научных исследований на сегодня является комбинация наукометрического подхода, то есть количества и качества научных публикаций, и экспертного мнения о данных исследованиях, – комментирует ситуацию ректор МГУ Виктор Садовничий.

РИНЦ и международные индексы цитирования

Главным преимуществом статистического анализа научных достижений считается содействие глобализации – налаживанию связей между региональными институтами и приведению российской науки в соответствие с западными академическими стандартами. Унифицированная система оценки позволяет местным журналам и вузам попадать в международные рейтинги и упрощает мониторинг вклада российских ученых в мировую науку. Однако эксперты видят опасность в гонке за международными показателями, вызванной финансовым поощрением публикаций в англоязычных изданиях. Преимущество, закрепленное за индексируемыми западными базами статей, не только снижает престиж российских журналов, но также вытесняет из академического поля целые направления дискуссий, проходящие на русском языке.

– Да, академические надбавки связаны главным образом с англоязычными публикациями, поскольку английский – это язык мировой науки, и, если мы хотим быть заметными на международной арене, нам надо с этим считаться. Но это не значит, что нет достойных работ среди русскоязычных научных публикаций. Есть области знаний, для которых именно русскоязычные публикации – основной ресурс развития, – отмечает Даниел Карабекян, директор Наукометрического центра ВШЭ.

Еще один недостаток приоритета международных индексов цитирования специфичен для социогуманитарных областей знания и связан с относительной маргинальностью Russian studies в западной науке. Главными адресатами текстов об отечественной культуре и истории остаются российские ученые и их немногочисленные, часто знакомые друг с другом, иностранные коллеги. Небольшая численность аудитории напрямую влияет на уровень показателей цитирования, который остается низким в сравнении с публикациями на более популярные в западной науке темы. В связи с этим РИНЦ считается гораздо более точным инструментом оценки значимости исследований, касающихся российской проблематики.

Наукометрия в новой реальности

            Решение многих из перечисленных проблем – например, связанных с проверкой достоверности цитирования – ожидают от новых технологий и исследований Big Data, которые действительно могут повлиять на судьбу наукометрии. Например, специалисты видят перспективу в появлении гибких метрик, учитывающих продолжительность академической карьеры при оценке качества статей и основанных на регулярно обновляющейся информации, собираемой при помощи специализированных социальных сетей. Если развитие новых способов сбора и анализа данных предвещает споры о безопасности персональной информации, то простые инструменты, помогающие отслеживать этические нарушения, – например, отсеивать статьи с подозрительным самоцитированием – используются в российской наукометрии уже сейчас.

Будущее справедливой оценки научной деятельности, тем не менее, преимущественно связывают с экспертизой – так, по мнению заведующего кафедрой экономики РАНХиГС Романа Кончакова, задача цифровизации заключается в обновлении практик отчета перед экспертным сообществом, которые станут более прозрачными, но никак не в автоматизации вычислений количественных показателей.

Дебаты
Алексей Мухин
Политолог
Алексей Мухин
Игорь Юшков
Эксперт по вопросам топливно-энергетического комплекса
Игорь Юшков
Константин Симонов
Эксперт по вопросам топливно-энергетического комплекса
Константин Симонов
Сергей Пикин
Эксперт по вопросам топливно-энергетического комплекса
Сергей Пикин