Темное «Зеркало»
Ситуация с новой методикой в некоторой степени выглядит повторением прошлогодней, когда точно так же в начале года Минобрнауки разослало по институтам «Методику расчета качественного показателя публикационной активности научных организаций, подведомственных Минобрнауки, в рамках госзадания». Этот документ обосновывал число публикаций в журналах, индексируемых в Web of Science и Scopus, которые сотрудники каждой организации должны были опубликовать в течение 2019 года. Запланированный рост числа публикаций в этой методике рассчитывался по формуле с одним и тем же коэффициентом, что вызвало волну претензий. Президиум РАН рассмотрел вопрос в апреле прошлого года и предложил Министерству, в частности, разделять при оценке публикационной активности работы, выполненные по госзаданию и по грантам, учитывать при планировании качество публикаций, а также создать совместную со всеми заинтересованными организациями рабочую группу для исправления методики.
Такая группа («по подготовке рекомендаций по установлению единых требований к порядку формирования и утверждения государственного задания на проведение за счет бюджетных ассигнований федерального бюджета фундаментальных, поисковых и прикладных научных исследований») действительно была создана. В ее состав входили представители РАН, научных и образовательных организаций, профсоюза РАН. В основу предложенной методики легла разработка Физического института им. П. Н. Лебедева РАН, основанная на внутренней наукометрической системе института «Зеркало». Остальные члены группы методику одобрили, а 30 декабря ее согласовала РАН. Правда, согласовала, как признался на заседании Президиума Академии 11 февраля ее президент Александр Сергеев, в спешке конца года и с расчетом, что в следующем году «мы посмотрим на эту формулу, покритикуем и скажем, что нам делать дальше — действительно мы ее принимаем или будем разрабатывать еще одну». Видимо, поэтому даже сопредседателю рабочей группы — вице-президенту Академии Алексею Хохлову — потребовалась встреча с авторами методики, чтобы выявить (sic – Indicator.Ru) ее положения, которые можно обсуждать. При этом предварительные версии методики и презентационные материалы рассылались участникам рабочей группы начиная с августа.
Документ и правда непростой — из-за многих формул и таблиц. Главное новшество по сравнению с версией 2019 года — фракционный счет, то есть разделение «веса» статьи в баллах между всеми указанными в журнале авторами. По прошлогодним правилам качественным показателем считалось, как ни странно, количество публикаций. Об отходе от этого «валового» принципа и двойного учета одних и тех же публикаций говорил на дискуссии «Наукометрия 2.0: цифровая перезагрузка» Гайдаровского форума директор Департамента стратегического развития, мониторинга и оценки Минобрнауки Тимур Броницкий. В новой методике сделана попытка учесть все сложности научного сотрудничества, значения разных видов финансирования, научной значимости публикаций и эффективности работы организации через несколько повышающих и понижающих коэффициентов.
«”Выгоднее” тихонько послать коллег лесом»
Некоторые ученые оценили новый подход как более разумный по сравнению с прошлогодней методикой: такую точку зрения высказал, к примеру, заведующий лабораторией Института микробиологии имени С. Н. Виноградского ФИЦ «Фундаментальные основы биотехнологии» РАН Андрей Летаров. Тем не менее даже те, кто признал некоторое движение к лучшему по сравнению с предыдущей версией, критиковали новую.
Согласно ей, баллы за все публикации отражаются в формуле, по которой высчитывается так называемый КБПР — комплексный балл публикационной результативности. Формула определяет его как сумму баллов за каждую из строк публикационного отчета организации перед Министерством. Строка публикационного отчета содержит информацию об одной публикации, а точнее, об уникальном сочетании «статья + автор». То есть одна статья нескольких авторов разбивается на несколько строк: «статья 1 + автор 1», «статья 1 + автор 2», «статья 1 + автор 3» и так далее (это описано в пояснительной записке к методике). Балл, который получит строка, — результат деления коэффициента качества журнала (о его значениях поговорим чуть ниже) на число авторов статьи и на количество аффилиаций автора, к которому строка относится. Очевидно, эта мера призвана стимулировать отказ от «липовых» аффилиаций, когда отдельные авторы и организации находят взаимную выгоду не в реальном сотрудничестве, а в приписывании нескольких формальных мест работы одному ученому.
В обсуждениях новой методики сразу же появились прогнозы, что фракционный учет отрицательно скажется на сотрудничестве научных организаций: в отчетах по госзаданию статьи авторов из разных институтов будут весить меньше, даже если они опубликованы в очень влиятельных журналах. «Если у вас 30 авторов в статье в Nature в составе большого проекта, да к тому же две аффилиации, то вам “выгоднее” тихонько послать коллег лесом и опубликоваться в Q3 в одиночку», — отметил в своем посте в Facebook Летаров. В тех случаях, когда авторы из одной организации, публикация все-таки получит достаточно высокий балл (ведь она образует несколько ненулевых строк в отчете). Правда, студентов и аспирантов указывать как соавторов будет невыгодно — баллы на автора-сотрудника из-за этого сократятся, а вслед за ними, вероятно, и его надбавка за публикационную активность.
Кроме того, методика исходит из предположения, что вклад всех авторов в статью равен. «В ведущих зарубежных журналах давно существует практика, по которой в статье обязательно содержится раздел, раскрывающий личный вклад всех авторов, — напомнил в комментарии для Indicator.Ru директор Института общей и неорганической химии имени Н. С. Курнакова РАН Владимир Иванов. — Но нигде не делаются попытки количественно оценить этот вклад в долях и процентах. В новой методике вклад всех соавторов в статью де факто считается равным, но так не бывает — как можно сравнить, например, вклад профессора, который предложил идею нового исследования, и человека, который провел единичное измерение на каком-нибудь приборе? Деление в лоб на число авторов и организаций некорректно, и уже поэтому оно не может привести к хорошим результатам». Особенно контрпродуктивен такой подход, по мнению Иванова, для междисциплинарных исследований, которые априори предполагают сотрудничество разных организаций. Отчасти он идет вразрез и с программой обновления приборного парка приборных институтов: институтам будет невыгодно пускать коллег из других организаций в свои центры коллективного пользования. Представители Минобрнауки в дискуссию о практиках, которые может стимулировать фракционный учет, не вступили, а указали, что у крупных международных коллабораций за год выходит гораздо больше статей, чем у небольших коллективов. Это соображение привел на организованном Министерством вебинаре о методике заместитель директора Департамента стратегического развития, мониторинга и оценки Илья Тихомиров. По его словам, учет всех авторов в КБПР позволяет выровнять эту количественную разницу и оценить и тех, кто выпускает за год 30 статей в огромной коллаборации, и тех, кто в одиночку пишет три-четыре статьи. Кроме того, методика стимулирует авторов лишний раз подумать, прежде чем включать кого-то в соавторы: этот вопрос регулируется самими учеными, и все они, если на бумаге не зафиксировано иное, обладают равными правами на итоговую публикацию.
Механическое разделение балла за статью между всеми авторами — не единственный подмеченный недостаток формулы КБПР. Следующее распространенное замечание касается коэффициента качества, который определяет первоначальную оценку публикации. В методике коэффициенты отличаются для журналов, отнесенных к разным квартилям по индексу цитирования в Web of Science, а также для изданий Scopus, RSCI, списка ВАК и монографий. И разброс значений тут весомый: для квартилей Web of Science от первого к четвертому коэффициент составляет соответственно 19,7; 7,3; 2,7 и 1, для журналов Scopus, которых нет в Web of Science, и монографий — тоже 1. Квартили журналов в Scopus не учитываются, хотя они могут существенно отличаться от таковых в Web of Science, и если, например, издание индексируется в обеих базах, но в Scopus относится к первому квартилю, а в Web of Science — к третьему, оно получит всего 2,7 балла. Разница между квартилями Web of Science также вызвала недоумение ученых. Например, палеоботаник Наталья Завьялова задала иронический вопрос: «если один и тот же автор написал статьи в российский журнал четвертого квартиля и в международный (первого), неужели вторая статья у него лучше в двадцать раз?» На вебинаре Минобрнауки Илья Тихомиров ответил на аналогичный вопрос так: конечно, качество статей не отличается ровно в 20 раз, но согласно общей картине по всем публикационным отчетам именно такие коэффициенты позволяют стабилизировать места организаций в списках по направлениям науки, так что они не «прыгают» сразу на несколько мест при незначительных изменениях.
При этом разброс коэффициентов все-таки делает, по словам Тихомирова, публикации в ведущих журналах более привлекательными. В будущем планируется ввести еще более высокий коэффициент для условного Q0 — самых влиятельных журналов с высочайшими импакт-факторами. На критику слишком низкого балла для монографий он ответил, что их учет — еще не до конца решенный в новой методике вопрос, и к следующей итерации в 2021 году эта часть будет обновлена. Пока методика учитывает только монографии, обязательный экземпляр которых передан в Российскую книжную палату, но уже идет работа над списком издательств, публикации в которых будут иметь более высокий коэффициент. Также Тихомиров отметил, что качественные монографии индексируются Web of Science и Scopus, причем по главам, и это позволяет авторам получать за них значительно более высокие баллы, чем за обычную монографию. Что касается российских журналов, за судьбу которых тоже стали переживать многие ученые, при обновлении методики разработчики планируют ввести для них повышающие коэффициенты (например, статьи в российских журналах четвертого квартиля будут оцениваться как в третьем). Забегая вперед, скажем, что на заседании Президиума РАН это предложение одобрили, осталось только определиться со списком российских журналов для учета в методике.
Для оставшихся двух категорий коэффициенты меньше единицы. У российских журналов, включенных в Russian Science Citation Index, но не входящих в квартили Web of Science и не индексируемых в Scopus, коэффициент 0,75. У журналов из списка ВАК, не входящих во все остальные категории, — 0,5. Между тем многие гуманитарные журналы в мире, отмечают участники обсуждений, не индексируются в Web of Science, только в Scopus. Это не означает, что при расчете КБПР они не учитываются совсем, но могут быть оценены только в один балл. Конечно, гуманитарные статьи редко пишутся большими коллективами, но тем не менее видимая недооценка авторами новой методики особенностей социогуманитарных наук вызвала большую тревогу ученых.
В начале февраля ученый совет Института философии РАН выразил ее в открытом письме президенту РФ Владимиру Путину, главам правительства и обеих палат парламента, а также министру высшего образования и науки Валерию Фалькову и президенту РАН Александру Сергееву. Как и участники многих дискуссий, авторы письма указали, что результаты исследований по многим гуманитарным наукам публикуются прежде всего на родном языке, но сделали из этого далеко идущий вывод: ориентация на зарубежные базы данных ведет к вытеснению русского языка из социогуманитарных наук, а это ставит под вопрос «культурно-цивилизационную идентичность» и безопасность страны. Стоит отметить, однако, что часть журналов социогуманитарного профиля, индексируемых в Web of Science или Scopus, издаются именно на русском языке; это справедливо для индекса RSCI и тем более для журналов списка ВАК. А именно в российских научных журналах сейчас публикуется половина всех проидексированных в международных базах российских статей (по нацпроекту «Наука» количество таких журналов должно еще быть увеличено). В решении ученого совета института указано также, что новая методика не позволяет адекватно оценивать публикационную результативность даже тех исследователей-гуманитариев, которые публикуются в индексируемых в Web of Science изданиях: «для коллекции “Arts and Humanities” в Web of Science не подсчитываются импакт-факторы журналов, а значит, публикации не могут дифференцироваться по квартилям журналов». Ученый совет института предложил ввести отдельную методику подсчета КБПР для гуманитариев, включив в нее наравне со статьями авторский лист книжной продукции объемом 40 тысяч знаков. Через пару дней с аналогичным заявлением выступил и ученый совет Института мировой литературы имени А. М. Горького. Подобный подход, отметил Илья Тихомиров, может привести как к более правильной оценке труда гуманитариев, так и к «включению принтера», когда будет издаваться все подряд, лишь бы достичь заветных 40 тысяч знаков.
Некоторые участники сетевых дискуссий даже расценили разброс коэффициентов в новой методике наряду с другими событиями как «вышибание» российских журналов в Scopus с рынка. Еще в июле прошлого года, задолго до появления новой методики расчета публикационной результативности от Минобрнауки, аналогичную методику получили медицинские вузы от Министерства здравоохранения, и в ней издания в Scopus не учитываются совсем. На вебинаре Илья Тихомиров заверил слушателей, что у Минобрнауки таких планов нет, и пока квартили Scopus не учитываются именно из-за их несовпадения с квартилями Web of Science: непонятно, в каких случаях позиция в одной из этих баз должна считаться приоритетной. В течение года разработчики методики рассчитывают проработать эту тему и учитывать цитируемость журнала и по Scopus. А вот получится ли учитывать журналы, индексируемые в РИНЦ и не входящие ни в список ВАК, ни в международные базы, пока неясно. По словам Тихомирова, сейчас нет никаких инструментов контроля качества этих изданий, в результате сплошное включение журналов РИНЦ приведет опять же к «включению принтера».
Планы — по новой методике, деньги — на прежних условиях
Если в прошлом году научные организации сначала получили новые плановые показатели по количеству статей, а потом объясняющую их методику, теперь методика пришла в институты одновременно с рассчитанным по ней плановым КБПР на 2020 год. При планировании методика предполагает учитывать, во-первых, долю финансирования по госзаданию во всех средствах, которые организация получает на научные исследования. Данные для расчета при этом берутся по результатам 2018 года, кроме госзадания учитываются средства грантов РНФ и РФФИ, полученные в том году (но не хоздоговора и другие источники средств). Согласно методике, в 2020 году организация должна достичь КБПР на 10% выше того, какого бы она достигла в 2018 году только за счет госзадания, без учета грантов. Для организаций-лидеров и отстающих в своих научных направлениях тут есть поправки: у лидеров рост КБПР может быть ниже, от 6,7% за два года, а отстающим велено расти быстрее, до 30% за два года. Согласно озвученной на вебинаре по новой методике позиции Минобрнауки, резервом для роста для организаций-лидеров могут быть мероприятия по нацпроекту «Наука», в частности обновление приборной базы: на новых экспериментальных установках и результаты должны получаться быстрее и качественнее. Если объем субсидии для института с 2018 года вырос больше, чем на размер инфляции, планируемый КБПР увеличивается еще и с поправкой на этот рост. Такой расчет на линейную зависимость качества статей от финансирования также вызвал упреки.
Станут ли публикационные показатели институтов хуже, если оценивать их по КБПР? Если за базовые значения, от которых рассчитаны планы, взяты данные 2018 года, рост требований должен быть не так уж значителен: ведь и в 2018 году представители естественных наук вели свои ключевые исследования в крупных коллаборациях, а гуманитарии не публиковались в Web of Science. Сравниваются организации только внутри направлений, оценивать физиков с историками в одном ряду никто не планировал. Так что провальных отчетов по госзаданию вряд ли станет больше. Но научные организации, как рассказал Indicator.Ru Владимир Иванов, не получили своих КБПР за 2018 год и не могут сравнить плановые показатели с реальными. На вебинаре по методике Тихомиров пояснил, что для того, чтобы организация самостоятельно пересчитала свои показатели, ей фактически нужно предоставить доступ ко всей базе публикационных отчетов, а там содержится и непубличная информация других институтов. Организации могут обращаться в Министерство, если сомневаются в верности расчетов (и таких обращений к вебинару было уже больше 70), а также уже получили доступ к «калькулятору КБПР»: он находится в информационной системе «Парус» и настроен под каждую организацию. По нему можно приблизительно рассчитать, какое количество статей в журналах разных уровней нужно опубликовать, чтобы достичь планового показателя. Это поможет и понять, высокий на деле задан показатель или нет. Можно предположить, как отметил в одном из обсуждений в группе Facebook «Наукометрия и Research Evaluation» директор Государственной публичной научно-технической библиотеки СО РАН Андрей Гуськов, что не повезло тем, у кого 2018 год был «урожайным». Разумнее, по его словам, план получился бы, если бы базой было среднее значение КБПР за два-три года; в ходе тематического вебинара Илья Тихомиров согласился с аналогичным предложением. На объем финансирования новый показатель, подчеркнул он, не будет влиять. По словам Тихомирова, цель методики — стимулировать рост количества публикаций российских ученых при сохранении их качества.
Источник: https://indicator.ru/humanitarian-science/muzhiki-to-pravilno-dumayut.htm
