Расследование РБК: как чиновники перехитрили «Яндекс»

Чиновники больше не требуют от «Яндекса» зарегистрироваться как СМИ – возможно, потому, что научились взаимодействовать с роботом поисковика. Как выяснил РБК, несколько сотен госучреждений и газет Москвы в середине года подключили свои сайты к «Яндекс. Новостям» и работают в унисон

В результате даже не самые резонансные новости – например, об открытии детского сада мэром Сергеем Собяниным, получают аудиторию примерно в 50 млн человек. Успешный опыт может быть применен в федеральном масштабе, опасаются в интернет-сообществе.

Начиная с лета, в новостях на главной странице «Яндекса» все чаще можно было увидеть сообщения, связанные с деятельностью правительства Москвы – причем многие из них было сложно отнести к резонансным событиям дня. Большинство из новостей генерили сайты районных газет, администраций префектур и управ, иногда они были подхвачены федеральными СМИ. Анализ «Базы данных СМИ и официальных источников» «Яндекса» (содержит перечень всех ресурсов, которые индексирует робот поисковика) показал, что с мая по август в этой базе появилось более 200 сайтов из Москвы.

Большая часть этих сайтов начала работу только в 2014 году: например, сайт районной газеты «Свиблово», по данным сервиса Whois (принадлежит компании RU-Center, занимающейся регистрацией доменов), создан 13 июня, а газеты «Теплый стан» – 29 апреля. Есть и более «старые» сайты: так, онлайн-версии газет «Орехово-Борисово Южное» и «Нагатино-Садовники» появились еще в 2013-м, но к «Яндексу» они подключились только этим летом. Сами газеты в бумажном виде существовали годами – например, «Орехово-Борисово Южное» получила лицензию СМИ, по данным Роскомназдора, еще в 2009 году, «Свиблово» – в 2003-м, «Теплый стан» – в 1994-м.

Представитель RU-Center утверждает, что не заметил особого притока желающих получить домен для районной газеты или госучреждения.

Практически одновременно десятки городских сайтов пишут об одном и том же событии – например, участии Собянина в форуме «Культура. Взгляд в будущее» 15 октября, с разными заголовками и добавочной "фактурой". Подобные новости образуют сюжеты – так «Яндекс» называет подборки новостей об одном событии. Например, в рамках сюжета «Сергей Собянин открыл международный форум «Культура. Взгляд в будущее» на главной странице поисковика оказалось сообщение сайта управы Басманного района.

Почти одновременное появление такого количества сайтов и их работа в унисон не случайны, рассказали РБК источник среди издателей районных газет и источник, близкий к «Яндексу». По их словам, чиновники из правительства Москвы тестируют новые технологии взимодействия с поисковиком.

«На создание сайтов для «Яндекса» была дана неделя», – рассказывает менеджер одной из компаний, издающих районные и окружные газеты Москвы. Он знает о создании 135 таких сайтов или новостных лент на уже существовавших ресурсах, служивших архивами для газет. Напрямую правительство Москвы не потратило ни копейки, утверждает он; впрочем, районные газеты часто финансируются из бюджета: «На одну газету выделяется в месяц в среднем 60 тыс. руб. – этих средств недостаточно, чтобы создать сайты и обслуживать их. На каждый сайт ушло 20 тыс. руб., не считая зарплат сотрудникам». Сам менеджер участвовал в запуске нескольких десятков таких сайтов в мае, новостные ленты на них ведут всего шесть человек, каждый из них получает примерно 35 тыс. руб. в месяц. «Все это в тягость», – заключает он.

Опрошенные РБК главные редактора и владельцы газет подтвердили, что в мае запускали сайты для районной прессы, а затем подключали их к «Яндексу». Совладелица и главный редактор объединенной редакции ООО «Творческий информационный-издательский центр» (издает газеты в Северо-западном административном округе Москвы) Тамара Шорина сообщила, что в мае ее компания создала 10 сайтов для своих газет, за новостной контент на них отвечают пять человек. Весной на 17 сайтах, существовавших как архивы районных газет в Северо-восточном округе, появились новостные ленты, подтвердила заместитель главреда в ООО «Объединенная редакция Звездный бульвар» Ирина Ильина. Еще 40 интернет-ресурсов открыло ООО «Телекомпания Сокол 21 век» (издатель газет почти во всех административных округах Москвы, как говорится на сайте компании), признал совладелец компании Евгений Косматых. Никто из них не подтвердил, что исполнял распоряжение московских властей.

«Мы думали, что после выборов [в Мосгордуму, состоялись 14 сентября] хотя бы снизятся темпы [работы], но они только растут», – говорит собеседник в одной из издательских компаний. Он предоставил РБК копию регламента, согласно которому на переписывание и публикацию присланной новости раньше отводилось 2,5 часа, а теперь – 40 минут. Новости, утверждает он, присылает ОАО «Московские информационные технологии» (МИТ): «В среднем с почты МИТ мы получаем 2-3 новости в день – в основном о деятельности мэра Собянина. Новости нужно переписать так, чтобы они попали в «Яндекс». И вот несколько человек сидят и переписывают одну и ту же новость для нескольких десятков сайтов».

На сайте МИТ говорится, что компания была создана 24 февраля 2004 года по постановлению правительства Москвы №97-ПП «в целях информационного сопровождения крупных городских проектов». Гендиректор МИТ Александр Шелухин на запрос РБК не ответил.

Департамент информационных технологий столицы 22 сентября сообщал, что Собянин и гендиректор «Яндекса» Аркадий Волож «утвердили перечень мероприятий, которые будут реализованы в 2014–2015 годах в рамках сотрудничества правительства Москвы с крупнейшей российской интернет-компанией». В этом же сообщении со ссылкой на Собянина отмечалось, что стороны «будут развивать сотрудничество в области информирования о важнейших событиях в городе»: «Для этого к поисковому агрегатору «Яндекс. Новости» будет подключено около 200 информационных лент московских органов власти».

В конце сентября группа «Анонимный интернационал» распространила в интернете содержание вскрытой ею переписки между предположительно сотрудниками МИТ и предположительно заммэра Москвы по вопросам региональной безопасности и информационной политике Александра Горбенко. Из переписки следует, что чиновнику еженедельно высылались результаты мониторинга СМИ, а также рекомендации и отчеты о выведении позитивных для городской власти сообщений в топ «Яндекс. Новостей». Например, в письме от 30 мая содержался пошаговый алгоритм включения сайтов в поисковую систему «Яндекс. Новости» и презентация предварительных результатов размещения информационных материалов на 33 федеральных и городских ресурсах, 348 сайтах правительства Москвы и 138 сайтах окружных и районных газет.

Подтвердить подлинность этой переписки у представителя городского руководства не удалось: Горбенко и руководитель пресс-службы мэра и правительства Москвы Гульнара Пенькова не ответили на телефонные звонки РБК.

Гендиректор МИТ Александр Шелухин отказался от комментариев по телефону, а на письменный запрос РБК не ответил.

Чиновники пытаются получить доступ к аудитории «Яндекса» уже несколько лет. Как рассказывали ранее собеседники РБК, люди из администрации президента России пришли в офис поисковика летом 2008 года, вскоре после войны в Южной Осетии. Тогда первого заместителя руководителя АП Владислава Суркова и заместителя начальника управления внутренней политики президента Константина Костина интересовал принцип работы новостного агрегатора «Яндекса». «Меня позвали рассказать, как устроены новости. Я вкратце объяснил, как новостные сообщения собираются в сюжеты, какие факторы влияют на ранжирование, по каким принципам выбираются сообщения для аннотации и для заголовка», – вспоминал бывший руководитель «Яндекс.Новостей» Лев Гершензон. Он показал скриншоты, связанные с войной в Грузии: «Важно было объяснить, почему пара ссылок на грузинские СМИ в сюжете про Грузию из 15 – это не страшно, а нормально». Сурков, по его словам, с ходу сказал: «Вот этого нам не нужно, это наши враги». Сам Сурков заявил РБК, что не помнит о таком эпизоде.

В апреле этого года президент Владимир Путин на медиафоруме Общероссийского народного фронта заявил, что «Яндекс» начинался как проект с западным влиянием, а интернет вообще – «спецпроект ЦРУ». В конце мая депутат Андрей Луговой попросил Генпрокуратуру проверить деятельность «Яндекса»: он требовал приравнять поисковик к СМИ. Если он агрегирует новости и аналитику ведущих российских и зарубежных СМИ, то должен соблюдать правила, которые распространяются на СМИ, заявил депутат.

Но как раз в июле прокуратура ответила, что «по результатам проверки нарушений действующего законодательства о средствах массовой информации в компании не установлено». Тема признания «Яндекса» СМИ и изменений в законодательство в части регулирования работы поисковиков больше не актуальна, рассказал РБК источник, близкий к администрации президента, и подтвердил собеседник, близкий к руководству Госдумы. Причины они не объясняли.

Возможно, поисковик оставили в покое, потому что нашли технический способ взаимодейстовать с ним, предположил источник в одной из интернет-компаний.

Главный редактор новостного издания Meduza Галина Тимченко не верит, что можно так легко обойти механизм «Яндекс. Новостей». «Если «Яндекс» займется этим вплотную, он сможет подчистить свой алгоритм, и все их усилия вылетят в трубу. Обмануть «Яндекс» можно, но очень недолго», – уверена она. «Если одну лазейку нашли, найдут и другую, когда это понадобится во всероссийском масштабе», – считает бывший руководитель сервиса «Рамблер.Новости», главный редактор Спорт@Mail.ru Максим Токарев. Он полагает, что от повторения подобной схемы в федеральном масштабе «Яндекс» не застрахован.

«Мы внимательно следим за качеством сервиса и обращаем внимание на попытки оптимизации. В случае, если страдает качество, всегда предпринимаются меры", - сказала РБК руководитель сервиса «Яндекс.Новости» Татьяна Исаева, комментируя историю с новостями о Собянине. Она не объясняет, каким образом «Яндекс.Новости» будет менять алгоритм для отслеживания таких новостей: «Детали противодействия накруткам мы не раскрываем». Пресс-секретарь «Яндекса» Ася Мелкумова добавила, что с попытками ввести поисковую систему в заблуждение компания сталкивалась неоднократно: магазины пытаются выбиться в топ "Яндекс.Маркета", водители пытаются оптимизировать «Яндекс.Такси» и т.д, но с «Яндекс» находит способы наладить «экосистему» .

«Яндекс. Новости» – автоматический новостной агрегатор, созданный компанией «Яндекс». В первой половине 2014 года агрегатору передавали материалы примерно 6 тыс. интернет-изданий, 4,6 тыс. из них – из России.

Попасть в топ новостей «Яндекса» – значит получить доступ к огромному количеству читателей. Аудитория «Яндекс. Новостей» больше, чем у любого СМИ в России: по данным TNS Russia, этот сайт в августе посетили почти 22 млн человек в возрасте 12–64 лет; для сравнения: аудитория сайта РБК в этом же месяце составила 13,8 млн, сайта «России сегодня» (бывшее РИА Новости) – 13,17 млн, Lenta.ru – 10,9 млн. Пять главных новостей «Яндекс» показывает и на своем основном сайте.

Чтобы подключиться к «Яндекс. Новостям», сайты подают заявки. Контент-менеджер «Яндекса» проверяет, соответствуют ли сайты требованиям агрегатора: действительно ли на них есть новости и аналитика, не нарушают ли они законы, доступны ли технически. С прошедшими модерацию сайтами подписывают соглашение об информационном сотрудничестве и подключают к базе партнеров. Денег с сайтов «Яндекс» не берет.

В агрегатор могут попасть не только СМИ, но и сайты государственных структур. Сообщения с этих сайтов наравне с текстами СМИ объединяются в сюжеты – подборки новостей об одном событии. Если многие партнеры «Яндекс. Новостей» опубликуют тексты на одну тему, сюжет разрастется и может появиться на главной странице «Яндекса».

Новости ранжируются автоматически: модераторов и редактора у сервиса нет, уверяют в «Яндексе». Алгоритм ориентируется на три основных показателя – количество сообщений о событии, вес СМИ, которые написали о нем, а также интенсивность потока сообщений (то, о чем пишут раз в минуту, важнее того, о чем пишут раз в два часа). Если о событии в течение небольшого промежутка времени приходит много сообщений от разных СМИ, среди которых есть издания федерального масштаба, оно с большой вероятностью попадет в топ-5 новостей «Яндекса».

В топ-5 оказываются только те новости, о которых написали «разные уважаемые источники», говорят в пресс-службе «Яндекса», их список компания не раскрывает. В официальной презентации «Яндекс. Новостей» перечислены только десять самых цитируемых источников в алфавитном порядке – «Газета.ру», Интерфакс, ТАСС, «Коммерсантъ», «Комсомольская правда», Прайм, РБК, РИА Новости («Россия сегодня»), «Российская газета», «Эхо Москвы».

У «Яндекс. Новостей» есть алгоритм, чтобы исключать «дубли» – одинаковые тексты: то есть если все источники перепечатают один и тот же текст без изменений, шансы на включение его в топ-5 новостей «Яндекса» будут невелики. Сколько процентов текста должно совпасть, чтобы алгоритм счел его «дублем», компания не раскрывает.

Попасть в топ новостей «Яндекса» мечтают почти все интернет-ресурсы – это позволяет им резко увеличить трафик. Для этого большинство сайтов нанимают специалистов по поисковой оптимизации (search engine optimization, SEO). SEO-менеджеры следят за тем, чтобы выпускаемые тексты «нравились» роботу «Яндекса», например, содержали большое количество ключевых слов в первом абзаце, не были бы слишком длинными и т.д.

Цель «Яндекса» – дать пользователям «адекватную новостную картину дня». «Случаи злоупотребления были и будут, но мы всегда ищем новые критерии для ранжирования, если прежние себя не оправдывают», – подчеркивает представитель «Яндекса».