понедельник, 19 августа 2013 г.

Рейтинг Webometrics июль 2013

2 августа 2013 года опубликовали рейтинг Webometrics Ranking (http://www.webometrics.info/) за июль 2013 года. Рейтинг создан в 2004 году для измерения объема и значимости информации, публикуемой на официальных сайтах вузов. Составляется дважды в год (в январе и июле) испанской группой Cybermetrics Lab Национального совета по научно-исследовательской работе в рамках программы развития науки в Испании.
Российские вузы Webometrics очень любят, тк среди 12 тыс. вузов мира всегда можно засветится. Для вузов РФ результат оказался не утешительным, в июльский топ-1000 входит 5 вузов, вместо 12 в январе 2013 года, и дальше по рейтингу тоже есть падения. Горя в этом нет, рейтинг отличается тем, что в нем "легко" подняться на тысячу позиций и также легко упасть. Интересны тенденции.

Несколько предварительных замечаний. Значения индикаторов рейтинга и самого рейтинга не публикуют, только места. Так, что узнать, чем отличается 101 место МГУ от 100 места University of Melbourne, только анализируя места по отдельным индикаторам. Скрытие значений производится по причине принципиальной не воспроизводимости результатов изменений, поисковые машины Cybermetrics Lab не контролирует. Плюс значения индикаторов нестабильны во времени и могут меняться в течение суток на порядки. Характер запросов результаты, которых дают значения индикаторов можно посмотреть на сайте проекта СФУ http://webometrics.sfu-kras.ru/

Нововведением июльского рейтинга были изменение методики расчета двух индикаторов рейтинга IMPACT (характеризует востребованность сайта по числу ссылок которые установлены на сайт) и OPENNESS (характеризует число научных документов размещенных на сайте вуза).

При расчете индикатора IMPACT по новой методике не учитываются ссылки из первых десяти по числу ссылок доменов, эта мера направлена на борьбу с накруткой рейтинга со стороны некоторых вузов, которые массово размещают ссылки на свой сайт на сайтах социальных сетей или форумах. Индикатор IMPACT дает 50% итогового рейтинга. Для российских вузов в топ 2000 январского рейтинга, снижение составило в среднем минус 54 позиции, против минус 49 позиции для всех вузов топ 2000. Можно сделать вывод, что изменение методики не существенно сказалось на результате российских вузов, но нужно помнить, что разница между, например 1000 и 1001 позициями по индикатору может дать разницу на сотни мест в итоговом рейтинге. Также необходимо отметить слабый рост числа ссылок на страницы сайта, для вузов которые поднялись в рейтинге. Ресурс роста числа ссылок внутри России исчерпан, а число страниц на иностранных языках, которые могли быть интересны для международной аудитории, мал.

При расчете индикатора OPENNESS отказались от использования поисковой системы Google Scholar (только для сайтов вузов, для архивов продолжают использовать), была проведена оценка числа документов в pdf, doc, docx, ppt, pptx, ps & eps размещенных на сайте вуза и опубликованных с 2008 по 2012 год (пять полных лет на момент расчета рейтинга). Метод оценки не раскрывается. По индикатору OPENNESS произошло наибольшее снижение позиций в рейтинге -1061, против увеличения среднего числа позиций для всех участников январского топ2000 +208 позиций. Падение обусловлено малым числом научных материалов, таких как презентации, с семинаров, полные тексты работ, отчеты о проведенной работе, размещаемых научными группами на сайтах российских вузов (про научные материалы говорю, тк административные и учебные материалы не могут давать существенный прирост). Малое число научных материалов обусловлено не только малым по сравнению с ведущими вузами мира объемом научных исследований, но также и организационными сложностями по созданию страниц научных групп (число топовых вузов из анализа регламентирующих документов которых можно понять как создать сайт под научный проект, можно пересчитать по пальцам). Также малым объемом научных исследований, что не позволяет конкурировать по индикатору EXCELLENCE определяемому как число высокоцитируемых статей входящих в топ 10% цитируемых работ вуза. По показателю EXCELLENCE снижение было на -127 мест для российских вузов, против -22 для всех входящих в топ2000 в январе 2013 года.
Другая важная причина падения российских вузов в июльском рейтинге это общее число страниц проиндексированных поисковой системой Google, индикатор PRESENCE. По российским вузам падение составило -457 мест, против -68 по остальным участникам топ2000 января 2013 года. Чем меньше новых страниц, тем меньше может быть установлено ссылок на страницы сайта (интересные стейкхолдерам университета). 

Может лживая статистика выше скрывает правду и низкие значения средних результат выплесков. Ответ на это вопрос занял у меня два дня раздумий и 5 часов экспериментов, по построению проверочной картинки. Насколько убедительна картинка узнаю из комментариев.

Интерактивная версия:

Статичный вариант картинки.


Кому не нравится ограниченный вариант графика может скачать Tableau Reader (потребуется бесплатная регистрация) и поиграть в  webometrics_2012_jul-2013_jul.twbx

Комментарий. По вертикали и горизонтали отложены группы мест по 500, 0 это места от 0 до 500, 500 от 500 до 1000 и тд до 11500. По вертикале места в рейтинге за июль 2013 года, по горизонтале  места в рейтинге за январь 2013 года. 
Прямоугольник на пересечении отражает изменение позиций вузов, по диагонале расположены вузы которые остались в том же диапазоне, под диагональю вузы которые потеряли свои позиции, над диагональю вузы которые выросли. Считаются изменения позиций более чем на 500 мест. Для сокращения шума показаны только ячейки в которых было 5 и более изменений в любую сторону, как следствие диагональные ячейки показаны пустыми.
Только вузы 16 стран демонстрируют значимое изменение позиций в рейтинге. Страны - лидеры роста, это США и Китай.Также необходимо отметить, что эти же страны и являются лидерами падений (прицельно динамику по странам внутри диапазонов можно посмотреть на закладке "динамика по странам внутри диапазонов по 500", переключаются вверху). 
Из лидеров падения необходимо отметить: Бразилию, Россию и Польшу.

Резюмирую, кроме Бразилии и России больше ничьи вузы существенно не упали. Бразильские вузы упало 72 из 366 (20%). Российские упало 109 из 577 (19%), правда 6 поднялись в топ 4500 слабое утешение. Счет велся только внутри групп по 500 мест и при наличии пяти и более изменений позиций в любую сторону, если изменений в группе было менее 5 то в учете взлетов и падений группа не участвовала. 

Теперь не обоснованный вывод. Если вузы хотят продвигаться в рейтинге Webometrics не за счет разовых мероприятий по насыщению своего сайта материалами, то необходимо пересматривать политику в области возможностей сотрудникам размещать материалы на сайте в момент когда материал появляется, а не постфактум, когда специалист обслуживающий сайт разместит материал. Например, материалы семинара должны размещаться организаторами сразу после семинара, на странице семинара которую создали до семинара и возможно уведомление об обновлении должны прийти всем кто на семинар зарегистрировались.

То есть вузы должны перейти к ведению своей деятельности через сайт, а не использовать его как информационную витрину, не думаю, что подобное счастье скоро наступит в РФ.

NB по поводу социальной активности на сайте, особенно на форумах. Если нет сил модерировать постфактум форумы, лучше их не открывать. Примеры можно поискать на сайтах российских вузов входящих в рейтинг.