Высшая школа менеджмента
В настоящей работе предпринята попытка классифицировать российские журналы по экономике и смежным дисциплинам по их научной значимости. Показано, что используемые ныне критерии, а именно вхождение журнала в список ВАК, а также импакт-фактор РИНЦ, малопригодны для оценки качества журналов. На основе детальных данных, включая списки цитируемой литературы за 2010-2011 гг., обнаружена существенная дифференциация российских журналов, в том числе находящихся в верхней части списка, упорядоченного по импакт-фактору РИНЦ. Выделены группы журналов, которые могут быть отнесены к категории наиболее значимых, условно названные журналами категории А и журналами категории В.
Автор выражает благодарность И.Н.Баранову, И.А.Болдыреву, О.А.Демидовой, Т.Г.Долгопятовой, Н.А.Зенкевичу, В.М. Полтеровичу, А.А.Яковлеву, а также участникам круглого стола «Развитие профессиональной среды экономических и управленческих исследований» на XIV международной научной конференции «Реформирование общественного сектора», состоявшейся в ВШМ СПбГУ 9-10 ноября 2012 г., за ценные замечания и комментарии.
Содержание
Введение
Инструменты оценки научной значимости журналов
Данные и выборка
Методология
Результаты анализа
Заключение
Список литературы
Executive summary
…в России большая часть статей – ужас.
Невнятное изложение материала, никакой содержательной части (статья напоминает одно большое введение), список литературы – два учебника, объем – 5-6 вымученных страничек...
Из обсуждения темы «Российские журналы в международных базах» на сайте www.aspirantura.spb.ru/.
Введение
Последние годы отмечены повышенным интересом к состоянию и перспективам отечественной науки, включая вопросы результативности научно-исследовательской деятельности на уровне отдельных ученых, коллективов исследователей, отдельных организаций и страны в целом. Объектом пристального внимания стали публикации в научных журналах, особенно международных. Это не случайно. В современном мире именно научные журналы играют важнейшую роль в распространении и накоплении научного знания. Применительно к экономике этот тезис четко сформулирован, например, в работе Михаила Локшина (Локшин 2008), отметившего, в частности, что
Во всем мире экономические журналы – основное средство обмена новыми идеями, именно к ним в первую очередь обращаются и исследователи, и политики. Для экономистов эти издания – средство распространения их работ в академическом сообществе. С их помощью ученые, работающие в определенной сфере, знакомятся с проведенными исследованиями и находятся в курсе новейших методологий и подходов. Профессионалам-практикам экономические журналы предоставляют доступ к последним исследованиям, а система рецензирования статей обеспечивает качество и актуальность научных работ.
Постановка, в том числе на самом высоком уровне, задачи повышения качества исследований и интеграции российской науки в науку мировую привели в последние несколько лет к заметному смещению акцента на публикации и цитирование работ российских авторов в международных журналах, по крайней мере, в ведущих российских ВУЗах. Эта тенденция дает очередной повод задуматься о нынешнем месте и роли отечественных научных журналов по экономике и смежным дисциплинам в науке, равно как и об их судьбе в ближайшем будущем.
По меньшей мере, три обстоятельства указывают на то, что российские научные журналы по экономике не следует сбрасывать со счетов. Во-первых, одна из крупнейших стран мира достойна иметь национальные научные журналы, в том числе для обсуждения прикладных вопросов, специфичных для ее экономики. Во-вторых, главным образом в силу институциональной инерции, публикации в отечественных периодических изданиях будут и в обозримом будущем иметь определяющее значение при решении вопросов о присуждении ученых степеней и карьерном росте российских исследователей. Наконец, интернационализация российской науки, важнейший тренд последних лет, не обязательно должна идти путем переключения российских исследователей на международные журналы, но может осуществляться путем интернационализации самих российских журналов (см., напр., Кириллова 2011, Теста 2009).
Имеющиеся на сегодня данные о российских журналах по экономике и смежным дисциплинам свидетельствуют об их невысоком уровне и незначительном вкладе в мировую экономическую науку (см. врезку 1). Вместе с тем можно предположить, что среди сотен российских журналов – а Научная электронная библиотека (НЭБ)1 в ноябре 2012 г. содержала ссылки на 631 издание – есть как свои лидеры, лучшие отечественные журналы, способные занять определенную нишу и в мировой науке, так и безнадежные аутсайдеры, обреченные на исчезновение. Иными словами, сегодня как никогда уместен и актуален вопрос о дифференциации российских журналов по степени их научной значимости.
Этот вопрос далеко не праздный и имеет важный практический аспект. Информация о качестве изданий, их научной ценности важна для решения целого ряда задач, связанных с эффективным функционированием науки (см., напр. Harwey et al. 2010). Это и принятие решений о найме и продвижении научных и педагогических работников по карьерной лестнице, а также об их вознаграждении, например, при решении вопроса о выплате надбавок по результатам научно-исследовательской работы. Это и вопросы внутреннего и внешнего аудита исследовательских организаций. С помощью такой информации исследователи (особенно молодые) получают представление о том, в каких журналах следует публиковаться, а в каких – нет. Наконец, такая информация полезна библиотекам при принятии решений о том, на какие журналы стоит оформлять подписку, а на какие – не стоит.
| 1. Научная значимость российских журналов и их вклад в мировую науку Среди фактов, свидетельствующих о невысоком качестве российских журналов – как лежащие на поверхности, так и обнаруживаемые при детальном анализе публикуемых журналами материалов. В частности, факт отсутствия российских журналов по экономике и смежным дисциплинам в международных базах данных, таких как WOS и SCOPUS, свидетельствует об ограниченности аудитории этих журналов и их низкой востребованности мировым сообществом ученых. Проблема едва ли в языке. Так, журнал «Problems of Economic Transition», публикующий переводы на английский язык статей, напечатанных в российских изданиях, имеет очень узкую международную аудиторию. В базе IDEAS-REPEC импакт-фактор этого журнала равен 0.045 (данные на декабрь 2012 г.), что соответствует 912 месту из 1076.* Попытки оценить потенциальный импакт-фактор «Вопросов экономики» в системе WOS скорее подтверждают этот неутешительный вывод. По оценкам Муравьева (2011) и Пислякова (2011), импакт-фактор ведущего отечественного журнала не превысит 0.4, что ставит его в конец второй сотни журналов WOS. В упомянутой работе Муравьева приведены данные о среднем числе страниц в опубликованных в России и за рубежом научных статьях. Оказывается, что опубликованные за рубежом (как правило, на английском языке) статьи заметно объемнее опубликованных в России (см. Рис. 1). И это несмотря на то, что текст на русском языке, как правило, длиннее английского варианта на 20–30%. Такая краткость изложения едва ли отражает известный чеховский принцип «краткость – сестра таланта» и, скорее всего, свидетельствует о поверхностности публикуемых в российских журналах работ. Известны также попытки оценить качество публикуемых в российских журналах материалов. В частности, уже упоминавшаяся работа Локшина (2008), фокусирующаяся на эмпирических исследованиях бедности (всего проанализировано 250 работ 188 авторов), приходит к выводу о том, что только в небольшой части публикуемых в России статей применяется научный метод эмпирического исследования, во многих работах не сформулирован главный вопрос исследования, списки цитируемой литературы очень коротки, данные плохо описаны, выводы зачастую не обоснованы, а многие работы не содержат четких рекомендаций в области экономической политики. * См. http://ideas.repec.org/top/top.journals.simple.html. Интересно отметить, что в базе WOS имеется журнал на английском, русском и украинском языках, издаваемый в Украине – «Actual Problems of Economics», изначально выходивший под эгидой ВАК Украины. См. http://eco-science.net/index.php. |
В настоящей работе предпринята попытка классифицировать российские журналы по экономике и смежным дисциплинам по их научной значимости. В ее основе – эмпирический анализ количественных данных, характеризующих публикационную активность российских журналов и доступных на сайте НЭБ. Статья состоит из шести разделов. Следующий, второй раздел посвящен инструментам оценки качества журналов, в том числе имеющимся на данный момент в России. Данные и выборка описаны в разделе 3. В разделе 4 представлена методология исследования. Раздел 5 описывает основные результаты работы. В разделе 6 представлены основные выводы и очерчен круг вопросов для дальнейшего обсуждения и исследования.
Инструменты оценки научной значимости журналов
Несмотря на актуальность проблемы оценки качества отечественных научных журналов (см., напр., Федорец 2009, Айвазян и Пересецкий 2011, а также другие материалы круглого стола «Миссия экономического журнала. К трехлетию ЖНЭА», опубликованного в 12 выпуске «Журнала Новой экономической ассоциации») инструментов такой оценки немного. К ним можно отнести присутствие журнала в списке ВАК2 и импакт-фактор Российского индекса научного цитирования (РИНЦ).3Закономерен вопрос о том, насколько хороши эти критерии оценки качества журналов?
Научная электронная библиотека дает ссылки на 631 российский журнал (по состоянию на ноябрь 2012 г.), публикующий статьи в области экономических наук. Около половины этих журналов (а именно 309) входят в список ВАК. Публикации в этих 309 журналах являются необходимым условием присуждения отечественных ученых степеней. Каковы же требования, ВАК для включения журналов в заветный список? Это – наличие института рецензирования, регулярное предоставление информации, обязательное указание состава редакционной коллегии, строгая периодичность, наличие пристатейных библиографических списков у всех статей в формате, установленном журналом из числа предусмотренных действующим ГОСТом, и т.п. – всего 13 требований. Нетрудно убедиться, что все эти требования – чисто формальные, легко выполнимы и слабо коррелированы с содержанием журнала. Иными словами, среди 309 журналов списка ВАК могут оказаться совершенно разные с точки зрения научной значимости издания.
Немногим лучше ситуация с импакт-фактором РИНЦ. Во-первых, среди 631 журнала, относимого НЭБ-РИНЦ к изданиям по экономике и смежным дисциплинам, высока доля мультидисциплинарных (в основном – по общественным наукам в целом) и отраслевых (по строительству, транспорту, промышленности и т.д.) периодических изданий, в которых экономическая тематика занимает второстепенные позиции. Тем не менее, эти издания участвуют в рейтинге экономических журналов по импакт-фактору РИНЦ и могут даже занимать в нем верхние строчки.4 Однако даже неспециалисту понятно, что эти журналы едва ли можно назвать флагманами экономической науки. Корень проблемы в том, что число цитирований журнальных статей сильно варьирует по отраслям науки. И сравнивать с помощью индексов цитирования журналы по экономике и физике некорректно (Arendt 2010).
Во-вторых, данные РИНЦ уязвимы перед потенциальным манипулированием импакт-фактором со стороны редколлегий журналов. Основной инструмент такого манипулирования – самоцитирование или же перекрестное цитирование группами журналов. Не случайно в последнее время РИНЦ стал выделять красным цветом импакт-факторы журналов с высоким (более 40%) коэффициентом самоцитирования (на ноябрь 2012 года в первой сотне журналов по импакт-фактору РИНЦ было 25 таких изданий).5,6 Например, один из самых высоких коэффициентов самоцитирования по данным РИНЦ – у журнала «Экономическое возрождение России», почти догнавшего по импакт-фактору журнал «Вопросы экономики», самый читаемый отечественный журнал. Двухлетние импакт-факторы этих журналов в 2010 г. равны, соответственно, 3,422 и 3,938. Однако без учета самоцитирования импакт-фактор журнала «Экономическое возрождение России» падает в разы, до уровня 0,639, в то время как импакт-фактор «Вопросов экономики» снижается незначительно, до уровня 3,690.7
Отметим, что манипулирование импакт-фактором не является проблемой только российских журналов. Его с завидной регулярностью обнаруживают и за рубежом. Причем в самых разных формах. Это может быть и скрытая от посторонних глаз политика редколлегии, в соответствии с которой авторам на стадии доработки статьи (revise and resubmit) рекомендуют добавить несколько ссылок на журнал. В такой неблаговидной деятельности был недавно замечен целый ряд известных журналов, включая «Journal of Banking and Finance», «Journal of Business Research», «Applied Economics», «Academy of Management Journal»и др. Сведения о такого рода манипулировании импакт-факторами были получены путем анонимного опроса авторов, публиковавшихся в соответствующих журналах (см. Wilhite and Fong 2012). Другим средством манипулирования импакт-фактором являются прямые рекомендации авторам на сайтах журналов, например, «Отсутствие ссылок на ЖУРНАЛ свидетельствует о том, что он не обязательно является наиболее естественным или подходящим местом опубликования результатов Вашего исследования». В частности, по данным Norvaisa (2011) такого рода информация содержалась на сайтах журналов «Business, Management and Education», «Journal of Civil Engineering and Management», «Journal of Business Economics and Management». Известны также случаи перекрестного цитирования группами журналов (см. врезку 2).
Недостатки импакт-фактора как мерила научной значимости журнала, равно как и пути их преодоления активно обсуждаются в литературе по библиометрике (Reedijk and Moed 2008, Baum 2011, Gibson, Anderson, Tressler 2012). Одним из решений проблемы стало создание классификаций и/или рейтингов журналов. Как правило, классификации учитывают импакт-фактор, другие количественные характеристики журналов и нередко опираются на оценки экспертов (см. обзор Schulze 2008, а также работу Балацкого 2011). Примерами служат: классификация геазеты Хандельсблатт (Германия)8, классификация института Тинбергена (Нидерланды)9, рейтинг Ассоциации бизнес-школ Великобритании.10 Как правило, классификации подразделяют журналы на несколько категорий, например, А, B,и C и все остальные издания. Ранжирование внутри группы обычно не проводится (среди исключений – рейтинг Ассоциации бизнес-школ Великобритании). Как правило, классификации имеют национальную специфику, а разработка многих из них финансируется правительством (напр., Abelson 2011).
| 2. “Литовский прорыв” в исследованиях экономики и менеджмента или почему не следует доверять импакт-факторам журналов Gibson, Anderson, Tressler (2011) описывают скандальный «литовский прорыв» в исследованиях экономики и менеджмента. Согласно Thompson Reuters (ISI) Journal Citation Reports за 2010 г., третье место среди журналов по экономике с импакт-фактором 5.6 неожиданно занял малоизвестный журнал «Technological and Economic Development of Economy» (TEDE), пропустив вперед только «Journal of Economic Literature»и «Quarterly Journal of Economics». Анализ показал, что TEDE выходит в издательстве Taylor and Francis от имени Вильнюсского технического университета имени Гедиминаса, а 60% ссылок на опубликованные в журнале статьи приходятся на пять журналов, издаваемых тем же самым университетом. Другие 23% ссылок приходятся на два журнала, издаваемых Вильнюсским классическим университетом, и один журнал, выпускаемый Каунасским университетом технологии. Сформированный «консорциум» литовских журналов за короткое время поднял импакт-факторы всех издаваемых в стране периодических изданий. Следующий по импакт-фактору журнал, издаваемый в Литве, «Journal of Business Economics and Management» (JBEM, до 1999 г. выходивший в Германии под названием «Almanach des praktischen Managements in Mittel-und Ost-Europa») по итогам 2010 г. занял почетное седьмое место среди журналов по экономике, оказавшись впереди уважаемого «Journal of Financial Economics». Согласно Norvaisa (2011), сайты некоторых из упомянутых журналов, включая JBEM, настоятельно рекомендовали потенциальным авторам внести в список литературы ссылки на ранее опубликованные в соответствующем издании работы. Скандал получил широкую огласку в научной среде, сопоставимую с резонансом, вызванным публикацией работы Wilhite and Fong (2012), уличившей (с помощью анонимного опроса авторов) в манипулировании импакт-фактором ряд известных журналов. В отечественных источниках скандал с литовскими журналам упоминается, в частности, в работе Айвазяна и Пересецкого (2011). |
Проблема оценки отечественных научных журналов с недавнего времени поднимается и в российском научном сообществе, в том числе и на страницах журналов (см., например, Федорец 2009).11 Однако заметных подвижек в ее решении до сих пор замечено не было.
1 Адрес в сети Интернет: http://www.elibrary.ru.
2 Перечень российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук, см. http://vak.ed.gov.ru/ru/help_desk/list/.
3 Список журналов, публикующих работы по экономической тематике с сортировкой по импакт-фактору РИНЦ, можно получить, перейдя с начальной страницы сайта www.elibrary.ru в раздел «Каталог журналов» (меню слева) и выбрав в появляющемся фильтре в центре страницы следующие опции: страна «Российская Федерация», тематика «Экономика и экономические науки», сортировка «По импакт-фактору РИНЦ», порядок «По убыванию».
4 Например, журналы «Открытое образование», «Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета», «Балтийский регион», «Международные процессы».
5 Высокий коэффициент самоцитирования не всегда свидетельствует о манипулировании импакт-фактором. Он также может быть следствием узкой специализации журнала, публикующего представителей обособленной научной школы.
6 Для сравнения: 82% международных журналов базы данных WOS имеют коэффициент самоцитирования менее 20% (McVeigh 2003).
7 Все данные – по состоянию на ноябрь 2012 г. – почерпнуты в рубрике НЭБРИНЦ «Анализ публикационной активности журнала» (отдельно для каждого журнала).
8 Handelsblatt-Ranking VWL. URL: http://tool.handelsblatt.com/tabelle/?id=33.
9 Tinbergen Institute journal list. URL: http://www.tinbergen.nl/researchinstitute/journal-list.php.
10 ABS Academic Journal Quality Guide. URL: http://www.associationofbusinessschools.org/node/1000257.
11 Статья Федорца спровоцировала интересную дискуссию об агрегировании экспертных оценок качества журналов, с материалами которой можно ознакомиться в том же выпуске журнала «Управление большими системами».