Занятия по Наукометрии 10.10.2019

Дата и время, аудитория	17.40 – 19.15	19.25 – 21.00
10.10.2019. Демидовский зал	Акоев М.А., зав. лабораторией наукометрии УрФУ  «Что наукометрия знает о каждом ученом и университете? Основные понятия наукометрии»	Акоев М.А., зав. лабораторией наукометрии УрФУ «Наукометрические показатели и построение карьеры ученого»

Мечты работодателей и очередные ожидания смерти университетов

Несколько тезисов по тексту «Босс против профессора: почему выпускники престижных вузов не могут найти работу» (раз мне лень писать на эту тему статью уже седьмой год, запишу тут).

Статья заканчивается ещё одним бездоказательным предсказанием смерти университетов. Автор чётко выводит генезис университетов из цеховой организации европейского средневековья, однако не отвечает на вопрос, что делает живучим университеты по сравнению с другими средневековыми институтами заменёнными на более современные. Есть несколько вариантов ответов на вопрос: от воспитания, совмещённого с обучением, до трансляции и перепаковки актуального знания (подробней писать опять лень). Однако, можно указать на условие смерти университета, это может случиться если найдут способ извлекать из мозга лучших практиков знания, навыки и опыт и непосредственно записывать их в мозг всех жаждущих без разрушения и повреждения оригинала.

Вынесу за скобки, смешивание автором российских реалий и топовых университетов (в РФ 1,75 вуза мирового уровня, для интересующихся это МГУ, СПбГУ, НГУ и условно МФТИ).

Образовательный дивиденд выпускников топовых в мировых рейтингах вузов и работников без образования, есть и пока не сокращается (NB для не топовых вузов предполагают тенденцию к сокращению). Образовательный дивиденд в нашей стране тоже наблюдается для топовых вузов. Можно поспорить о причине, однако, даже если топовые вузы только отбирают лучших и вообще ничему не учат их, то в этом случае компании экономят на рекрутинге лучших выпускников перекладывая затраты на университеты.


Про российские университеты.
Две важные функции в российских университетах по массово утрачены: транслировать только актуальные знания (для этого профессор должен актуализировать непрерывно свои знания) и формирование актуальных на момент выпуска навыков у студента в рамках выполнения исследований.

С учётом того, что руководители предприятий, которые «страдают» от завышенных ожиданий выпускников не бегут своими ресурсами исправлять ситуацию в университетах значит их все устраивает. Я не призываю предприятия вкладывать деньги в вузы, однако ничего кроме стенаний или идей приватизировать вузы я не слышал.

Идея о неприспособленности университетов к выпуску «менеджеров среднего звена или инженеров-токарей-ударников производства» (цитата из текста), имеет право на существование при условии, что у нас малоавтоматизированное производство. Станки с ЧПУ и аддитивные технологии предъявляют уже совершенно другие требования к работникам, которым могут удовлетворить только инженеры. Аналогично сложность внешней и внутренней среды требует дополнительно к школе учить и менеджеров среднего звена.

Думаю, правильный вопрос по итогам чтения статьи: можем ли мы в университетах дать образование которое адаптирует нашу страну к современному миру или будет артикулироваться консервация имеющихся форм производственных отношений?

Мой опыт упорядочения свалки книг и документов на диске

Для работы с сохраненными копиями статей, книг, презентаций и документов, пользуюсь Zotero (https://www.zotero.org/), десктопный клиент и плагины в браузеры и в MS Word.

Основные фичи для меня:

• Резервирование и синхронизация файлов книг и статей, между рабочими и домашним компьютером, через Яндекс.Диск (по протоколу WebDAV).
• Возможность расшаривать библиотеку под проект (сейчас не очень актуально, тк студентов нет).
• Захват у публикации описания, снапшота страницы и полного текста (не везде работает).
• Возможность делать комментарии к записи, как минимум записываю почему материал интересный. В теории должен работать импорт/экспорт комментариев из pdf, не пользовался еще, но похоже придется осваивать, тк копаться в заметках в печатных копиях уже лень.
• Возможность вставлять описание ссылки в MS Word оформленной по стилевому файлу и обновление библиографии в документе.

Недостаток, он у всех будет один, для того чтобы потом найти нужно создавать: 1) мета описания (хотя бы заголовок, авторы, источник и страницы, URL автоматом подставляется если со страницы сохраняешь) и 2) логика, к чему у тебя документы приплетены (у Zotero запись одна, а может в разных логических папках как ссылка находится). Я пришел к системе: скидываю новые документы по условным тематикам-папкам. Собираюсь начать использовать теги  к записи почему было интересно (типа как пред проектные изыскания) и по необходимости в одну папку под проект/статью собираю ссылки на записи которые мне понадобились или которые нашел в ходе работы, чтобы потом к ним вернутся если понадобится как к целому, а не вспоминать на, что я там еще хотел сослаться.

По началу работы, можно перетащить (drag &drop) партии файлов в папку или в корень Zotero и вызвать последовательно на каждом импортированном в Zotero файле правой кнопкой извлечь метаданные, вдруг повезет, если метаданных в документах нет то создать родительские документы через контекстное меню. Как альтернатива можно найти в сети страницу описания и сделать снапшот к нему pdf приложить или какой другой фай (я так файлы презентаций храню со slideshare).

На работе еще пользуюсь Mendeley (https://www.mendeley.com/) тк некоторые в университете с ним работают. Из минусов нельзя расшаривать полные тексты, можно только описания.

Плюсы минусы и альтернативы тут можно посмотреть.

https://en.wikipedia.org/wiki/Comparison_of_reference_management_software

Еще время от времени пользуюсь двумя продуктами: 

• https://calibre-ebook.com/ использую как конвертер.
• http://home-lib.net/ MyHomeLib для организации книг в FB2/EPUB. 

NB Если нет задач цитирования документов, заметок к прочитанному или хранения контекстов использования, типа собрал под проект и пр., то проще не заморачиваться и хранить все в одной папке, может с под папками по своему вкусу. Потенциальную проблему дубликатов игнорировать. Поиск осуществлять средствами типа:

• Everything (https://www.voidtools.com/) поиск оп именам и атрибутам файлов по всем дискам.
• Archivarius 3000 (http://www.likasoft.com/ru/document-search/) поиск по полным текста, требуется индексация. 

Или средствами, встроенными в Win/Mac. 

Размер пристатейной бибилиографии

Небольшой кейс наукометрического анализа.
Открываем InCites, аналитическую надстройку над данными Web of Science (требует наличия подписки). Смотрим в разделе Research Areas, для организации, в данном случае УрФУ за пять лет (2012–2016), список публикаций по категориям WoS которые дают больше всего публикаций. Почетное четвертое место занимает металлургия (~10% публикаций), которые цитируются в четыре раза хуже чем по миру, и только 40% из них были за этот период процитированы.


Может быть, это специфическая область, в которой работы цитируются медленней, чем в среднем по категории Metallurgy & Metallurgical Engineering? Загрузим в InCites референтные публикации, отобранные по тематике на основании цитирования, в рамках работы по разработке плана развития науки в УрФУ выполненного компанией Clarivate Analytics (ранее подразделение Thomson Reuters). Референтные публикации строились на основании публикаций УрФУ и УрО РАН по металлургии отобранных вручную учеными университета и институтов, за период 2003 по 2013, данные за последние четыре года не добавлялись.

За период 2003 по 2013, видим, что среднее число цитирований публикаций в области по миру в 2–3 раза выше, чем в УрФУ. Отдельно показаны публикации ИФМ УрО РАН, публикации РАН на графике сделаны только институтами УрО РАН по металлургии. Соотношение показателей лучше, чем по категории Metallurgy & Metallurgical Engineering, однако не кардинально лучше. 

Замечание по публикациям 2003 года, в референтные публикации за этот год попали только публикации УрФУ и институтов УрО РАН и те, которые в них цитировались за этот год.

Одна из гипотез почему такие низкие показатели по цитированию, была сформулирована на основании анализа данных по качеству пристатейной библиографии в 2011 году.
Один из факторов, определяющих низкие показатели цитирования, это низкое качество библиографии, те кому потенциально интересна опубликованная работа практически не имеют шансов найти ее в момент выхода на основании поиска по цитированию ключевых работ в области.
Может, мало цитируют, так как тематика публикаций малоинтересная? Вопрос интересный, и требует отдельного рассмотрения.
На пироге ниже, анализ библиографии статей (брался только тип article и 10% случайных статей от опубликованных), в журналах выполненных металлургами и химиками УрФУ за 2010 год, по сравнению со статьями, опубликованными в тех же журналах в тот же год, по данным Scopus. В среднем авторы приводили на ~20% ссылок меньше чем их коллеги по журналу. Треть ссылок базой не распознавалась и вела на русские публикации, часто на русскую версию публикации в переводном издании. И размер пристатейной библиографии у металлургов был от 4 до 12 со средним значением 6. Плюс половина ссылок была самоцитированием.

Посмотрим, что было в динамике и сравним с референтными публикациями.
Построенная в лоб картинка распределения числа публикаций по размеру библиографического списка ниже, учитывался только тип article. Анализ только по типу article исключает проблему длинных и коротких библиографических списков в обзорах и сообщениях.
Видим скошенное распределение, со смещенными средними и медианой, из-за длинного хвоста. Еще одной причиной отклонения распределения от нормального является раздувание размеров пристатейной библиографии (смотри следующую картину), на которую обратил мое внимание Иван Стерлигов. Большое спасибо за обсуждение и присланные ссылки.

Распределение среднего размера пристатейной библиографии по годам, приведено на графике ниже, для наглядности показаны значения УрФУ и институтов УрО РАН. Распределение по годам ближе к нормальным, и вычисления среднего осмысленно.

Посмотрим на достоверность различия размеров пристатейной библиографии за период, для красоты пририсуем «усики». Для наглядности сравнения взяты публикации из четырех дополнительных областей по материаловедению построенные за тот же период.

Предварительно можно рекомендовать ученым УрФУ и УрО РАН публикующимся в области металлургии обратить внимание на формирование пристатейной библиографии. 

Можно ли такой анализ сделать самостоятельно? Да можно, в выгрузках WoS размер пристатейной библиографии тоже доступен. Окрестность с референтными публикациями тоже можно построить либо оценить средние значения для нее.

Над чем можно поработать дальше? Можно сравнить процент распознавания источников и старость источников и проверить актуальность тематик. 

Об этом будут отдельные заметки. 

Чек-лист подготовки публикации

Чек-лист был подготовлен и опубликован в Методические рекомендации по подготовке и оформлению научных статей в журналах, индексируемых в международных наукометрических базах данных / Ассоциация научных редакторов и издателей; под общ. ред. О.В. Кирилловой. М, 2017. 144 c. (доступен полный текст рекомендаций по приведенной ссылке).

Как читать чеклист?

Чек-лист читается и проверяется по пунктам в процессе выполнения научных исследований для предотвращения ошибок при написании и опубликовании научной работы. К каждому пункту предполагается написание методических указаний, раскрывающих способ выполнения работы. Чек-лист не ставят целью показать, как выполнять научное исследование. Цель чек-листа – сформулировать в форме проверочных утверждений критерии выполнения практик, применяемых в научном исследовании.

Применимость

Пункты, отмеченные звездочкой *, должны быть уточнены в зависимости от сложившейся практики научной коммуникации в отдельных науках. 

 1. Сформулировано направление исследований.

2. Определено сообщество ученых и практиков, которым интересны результаты проводимых исследований.

3. Регулярно читаются и отслеживаются публикации из журналов и трудов конференций по теме исследований.

4. Определены работы, в которых описано возникновение темы исследований, и отслеживая цитирования которых, члены сообщества найдут вашу работу.

5. Определены обзоры и работы за последние 2–3 года с результатами по теме исследования.

6. Тема исследования четко сформулирована в форме research proposal. Написано введение для будущей публикации.

7. Выбраны признанные сообществом методы исследования.

8. Определены следующие шаги по развитию исследования.

9. Известны средства коммуникации, принятые в сообществе (конференции, научные журналы, семинары).

10. Намечены варианты изданий для публикации итогового варианта работы.

11. Определены требования к изложению результатов и полученные результаты соответствуют им.

12. Проведено обсуждение research proposal с научной группой внутри организации.

13. Определен объем раскрываемых сведений и принято решение по обнародованию презентации с неопубликованными результатами исследований (вопрос приоритетов и оригинальности).

14. Проведено обсуждение research proposal и первых результатов на научной конференции или семинаре, признанными сообществом.

15. Составлен список коллег, которым будет интересна итоговая публикация.

16. Предварительные результаты исследования опубликованы на странице автора (если решено опубликовать предварительный материал, презентацию или препринт).

17. Проведено обсуждение материалов публикации с будущими соавторами.

18. * Соавторы дали согласие на указание своего имени в качестве автора.

19. * Составлен итоговый список авторов публикации. Для каждого соавтора определена его роль в публикации (роли не публикуются, но предъявляются по первому требованию редактора).

20. * Определен порядок указания авторов в публикации.

21. * Для каждого автора указаны места работы, их порядок и каноническое написание организации (просим прислать соавторов и сверяем на сайте).

22. Изучены правила грантовых организаций по указанию грантов. Исключены конфликты по указанию нескольких источников финансирования.

23. Выбран тип публикации и написан черновой вариант текста публикации.

24. * Принято решение о публикации в открытом доступе и определены источники оплаты публикации открытого доступа (если это допускается правилами журнала).

25. * Наборы экспериментальных данных и лабораторный журнал подготовлен для предъявления в случае требования верифицировать результаты исследований.

26. Составлен и проверен полный перечень использованных источников в тексте и в ходе работы (использовано программное обеспечение для управления библиографией).

27. * Принято решение о публикации и дате публикации наборов экспериментальных данных и лабораторного журнала в data repository.

28. * Наборы экспериментальных данных и лабораторный журнал опубликованы в data repository.

29. Установлен и соблюдается порядок внесения правок в текст публикации.

30. Сформирована последовательность изданий, в которые будет подаваться публикация. Порядок изданий определяется на основании престижности журналов и значимости полученных результатов. Публикация в каждый момент времени подается только в один журнал.

31. Сформулировано итоговое название публикации, содержащее ключевые слова и отражающее полученный результат.

32. Изучены Руководства для Авторов (Guide for Authors) и получены шаблоны оформления публикаций для каждого журнала и текст публикации приведен в соответствие требованиям.

33. Составлен перечень требований к комплектности подаваемого материала.

34. Иллюстративный и сопроводительный материал публикации приведен в соответствии с требованием журнала.

35. Составлена аннотация, дающая точное и полное представление о содержании работы.

36. Составлен полный и точный список ключевых слов к публикации.

37. Пристатейная библиография отформатирована в соответствии со стилем, требуемым в журнале.

38. Сформирован раздел благодарностей (Acknowledgements).

39. Определен порядок подачи материала: способ подачи в редакцию и автор, ответственный за переписку с редактором. Автор, ответственный за переписку, указывается как автор по переписке (контактный автор, corresponding author), указывается одно место его работы.

40. Текст публикации вычитан на предмет отсутствия ошибок и приведен к требованиям, принятым в подаваемом журнале.

41. Публикация проверена на предмет соответствия требованиям к подаваемому в журнал материалу.

42. Проверено выполнение требований организации к публикации материалов: патентная проверка, экспортный контроль, уведомление о посылке публикации в печать.

43. Определены требования журнала по публикации авторской версии работы в репозиториях открытого доступа и отправки материалов коллегам.

44. Написано сопроводительное письмо (Cover Letter) редактору с пояснением, почему работа будет полезной и важной для журнала.

45. Публикация отправлена в журнал.

46. Отработаны замечания рецензентов и редактора, отметка об исправлении или выражение несогласия по каждому пункту доработки отправлены редактору.

47. В случае отказа публикация переоформлена по правилам следующего в очереди журнала и отправлена в него.

48. Авторская версия с внесенными исправлениями подготовлена для публикации в репозитории открытого доступа и рассылке коллегам.

49. Авторская версия опубликована в репозитории открытого доступа и отправлена коллегам в сроки и в соответствии с правилами издательства.

Чек-лист отказа от участия в разборе кейса

Важно, речь о  важных либо крупных  кейсах. Один выполненный пункт повод провести детальную диагностику, два и более выполненных пункта — кейс отправляется в прозекторскую и на кладбище.

NB помню, что есть полный и надежный набор чек-листов состояний альф. Цель краткого списка быстро похоронить дело в своем сознании, потратив минимум своих сил.

1. Заказчик систематически мыслит категориями мелких целей, не демонстрируя понимание места результата кейса в организации.
2. Результатом деятельности будет усложнение работы людей без пользы для них или эквивалентной компенсации, с исчезающим малым общим профитом.
3. Деньги на задачу не выделяются их нужно выманивать под крупные закупки.
4. Оплата исполнителям не предусмотрена даже в форме указания тратить свое рабочее время вместо должностных.
5. На проект назначают руководителя который не в теме либо со стороны.
6. Участие в проекте подразумевается, а не оговаривается.
7. Заказчик настолько занят, что не готов на регулярные встречи.
8. Заказчик не использует социальные практики, особенно в ситуации когда не обладает реальной властью над участниками работы.
9. Не работать с му*ками!

Прилив поднимает все лодки

При обсуждении роста числа публикаций вузов всегда интересно насколько быстр рост и не является ли он следствием общих факторов, например, индексацией новых российских журналов или расширением финансирования науки. В качестве базы для нормирования можно взять публикации: Российской  федерации, МГУ и вузов 5-100. Ниже три графика отражающих динамику доли публикаций 20 вузов по Scopus с 1996 по 2014 год. Графики ничего не говорят о качестве публикаций и причинах роста. Для анализа качества и причин нужно смотреть динамику и состав авторских долей, источник в котором работы были опубликованы, показатели цитирования.
Подобное «странное» нормирование я использовал в первой записке по наукометрии руководству тогда еще УГТУ-УПИ от 30.09.2009. В оригинале динамику публикаций не показывал, только сравнение долей за период до и после 1996 года относительно МГУ. Почему в качестве базы выбраны МГУ и вузы 5-100? МГУ выбран как ведущий университет страны, а сумма публикаций вузов проекта 5-100 с исключением дублирования как база по вузам которые получают целевое финансирование для своего развития, прежде всего как научных организаций.
В дополнение к 15 вузам проекта 5-100, в сравнении даны значения для двух национальных университетов (МГУ и СПбГУ) и трем вузам интересным мне (МГТУ им. Н. Э. Баумана и два первых федеральных университета: ЮФУ и СибФУ).
Картинки кликабельны, по ссылке можно перейти на интерактивный график.  Для справки динамику можно посмотреть и по 27 предметным областям, однако по большинству их них динамика не показательна в силу малости числа публикаций.

Динамика числа публикаций университетов от числа публикаций МГУ

Динамика числа публикаций университетов от числа публикаций РФ

Динамика числа публикаций университетов от числа публикаций всех вузов проекта 5-100

Маленькое замечание, почему МГУ. Смотрим на диаграмму ниже, где дано сравнение числа авторов статей и численности НПР с продуктивностью авторов. Вузы взяты по бенчмаркам ППК УрФУ. Добавлены отдельные вузы 5-100. Данные по числу уникальных авторов SciVal за 2012-2014 (источник Scopus). Данные по числу НПР в человеках по отчетам СЗНМЦ за 2013 год и InCites за 2012 год. По сравниваемым вузам может быть картинку обновлю позже.

Сравнение числа авторов статей и численности НПР с продуктивностью авторов

Список университетов по которым рассчитана динамика.

1. Moscow State University
2. St. Petersburg State University
3. Far Eastern Federal University
4. Higher School of Economics
5. Kazan Volga Region Federal University
6. Moscow Engineering Physics Institute
7. Moscow Institute of Physics and Technology
8. Moscow Institute of Steel and Alloys
9. Nizhni Novgorod State University
10. Novosibirsk State University
11. Saint Petersburg National Research University of Information Technologies, Mechanics and Optics (Uni
12. Samara State Aerospace University
13. St. Petersburg State Electrotechnical University
14. St. Petersburg State Polytechnical University
15. Tomsk Polytechnic University
16. Tomsk State University
17. Ural Federal University
18. Moscow State Technical University
19. Siberian Federal University
20. Southern Federal University

Однако период написания с 20150316 по 20150612 :(