Новости

Яндекс впервые за 8 лет меняет логику апдейтов

17.11.2020

Апдейт поисковой системыВ течение ноября SEO-специалисты отметили масштабные изменения в выдаче Яндекса – перестало существовать стандартное разделение схемы индексации сайтов (основная и новостная). Последний раз такие тектонические сдвиги в логике апдейтов были в 2012 году. В материале SEOnews Дмитрий Севальнев поделился информацией об этом. Попробуем разобраться в том, что происходит и с какой целью Яндекс начал эти перемены.

Как известно в Яндексе апдейты производятся в среднем каждые 3-4 дня. При этом новые, проиндексированные данные попадают в базу порциями. Параллельно этому процессу работает новостной бот, который обеспечивает индексацию новых результатов за 80 часов. Такая схема сложилась с 2012 года.

Вот так выглядел раньше обычный путь нового адреса, который прошел индексацию новостным ботом:

  1. Новостная база: новый URL попадает в специальную базу, которая содержит только «свежие URL».
  2. Время жизни: 80 часов, после чего документ становится снова как бы неизвестен роботу.
  3. Попадание в основной индекс: URL повторно попадает в индекс через 4-10 дней.

Стандартный апдейт Яндекса, с сегментацией документов по дате индексирования:

Стандартный апдейт Яндекса

На скриншоте желтым отмечены документы, относящиеся к базе новостей, потом идет «период неизвестности» от 1 до 3 дней. В этот период Яндекс «не видит» документы, прошедшие индексацию. Потом, с 28 декабря, мы видим, как в основном индексе поисковика появляются новые данные. Тут также нужно обратить внимание на объёмы баз: основная включает в себя десятки миллионов адресов в день, а размеры новостной исчисляются лишь сотнями тысяч.

В чём заключаются перемены?

Сейчас стандартное разделение схемы индексации (основной и новостной индекс), похоже, перестало существовать. Теперь уже нет единого периода с несколькими датами и отсутствием информации о документах, прошедших индексацию. Тот объём адресов, по которым в течение 3-5 дней производится поиск, сопоставим с другими датами – он также исчисляется десятками миллионов.

Новый алгоритм апдейта Яндекса

Зачем это было нужно?

До глобальных изменений Яндекс отставал от Google в плане логичности архитектуры базы данных. У американского конкурента уже давно не нужно было ждать апдейта – достаточно сделать запрос на включение адреса в индекс.

Это так называемый «непрерывный индекс» Google: та особенность структуры баз данных, которая была конкурентным преимуществом компании. Новые данные добавлялись в базу без необходимости дожидаться апдейт.

В ходе конференций со специалистами Яндекса, они неоднократно упоминали – хотя внедрение «непрерывного поиска» является непростой задачей, для компании она в приоритете. По всей видимости, им всё же удалось это сделать.

Если это так, что теперь с «белым пятном» индексации будет покончено – характеристики поиска улучшатся благодаря быстрой индексации новых данных.

Кого перемены коснутся в первую очередь?

Если скорость индексации вашего сайта раньше не доставляла вам никаких проблем, то «революция 2020 года» вас не затронет. Масштабные изменения в архитектуре баз данных Яндекса в первую очередь важны для тех, кто занимается устранением проблем с индексацией масштабных проектов. Также это актуально для специалистов, которые ведут новостные проекты и обеспечивают привлечение посетителей по событийным запросам.

Что предшествовало ноябрьскому «шторму»?

До ноябрьского шторма в выдаче Яндекса серьёзные сдвиги были отмечены в апреле и в июле. По всей видимости, тогда шла подготовка к масштабному изменению всей схемы индексации. Весной такие колебания касались коммерческих и информационных запросов. Изменения в июле представители компании объяснили обновлениями алгоритма, связанными с определением релевантности.