Яндекс впервые за 8 лет меняет логику апдейтов
В течение ноября SEO-специалисты отметили масштабные изменения в выдаче Яндекса – перестало существовать стандартное разделение схемы индексации сайтов (основная и новостная). Последний раз такие тектонические сдвиги в логике апдейтов были в 2012 году. В материале SEOnews Дмитрий Севальнев поделился информацией об этом. Попробуем разобраться в том, что происходит и с какой целью Яндекс начал эти перемены.
Как известно в Яндексе апдейты производятся в среднем каждые 3-4 дня. При этом новые, проиндексированные данные попадают в базу порциями. Параллельно этому процессу работает новостной бот, который обеспечивает индексацию новых результатов за 80 часов. Такая схема сложилась с 2012 года.
Вот так выглядел раньше обычный путь нового адреса, который прошел индексацию новостным ботом:
- Новостная база: новый URL попадает в специальную базу, которая содержит только «свежие URL».
- Время жизни: 80 часов, после чего документ становится снова как бы неизвестен роботу.
- Попадание в основной индекс: URL повторно попадает в индекс через 4-10 дней.
Стандартный апдейт Яндекса, с сегментацией документов по дате индексирования:
На скриншоте желтым отмечены документы, относящиеся к базе новостей, потом идет «период неизвестности» от 1 до 3 дней. В этот период Яндекс «не видит» документы, прошедшие индексацию. Потом, с 28 декабря, мы видим, как в основном индексе поисковика появляются новые данные. Тут также нужно обратить внимание на объёмы баз: основная включает в себя десятки миллионов адресов в день, а размеры новостной исчисляются лишь сотнями тысяч.
В чём заключаются перемены?
Сейчас стандартное разделение схемы индексации (основной и новостной индекс), похоже, перестало существовать. Теперь уже нет единого периода с несколькими датами и отсутствием информации о документах, прошедших индексацию. Тот объём адресов, по которым в течение 3-5 дней производится поиск, сопоставим с другими датами – он также исчисляется десятками миллионов.
Зачем это было нужно?
До глобальных изменений Яндекс отставал от Google в плане логичности архитектуры базы данных. У американского конкурента уже давно не нужно было ждать апдейта – достаточно сделать запрос на включение адреса в индекс.
Это так называемый «непрерывный индекс» Google: та особенность структуры баз данных, которая была конкурентным преимуществом компании. Новые данные добавлялись в базу без необходимости дожидаться апдейт.
В ходе конференций со специалистами Яндекса, они неоднократно упоминали – хотя внедрение «непрерывного поиска» является непростой задачей, для компании она в приоритете. По всей видимости, им всё же удалось это сделать.
Если это так, что теперь с «белым пятном» индексации будет покончено – характеристики поиска улучшатся благодаря быстрой индексации новых данных.
Кого перемены коснутся в первую очередь?
Если скорость индексации вашего сайта раньше не доставляла вам никаких проблем, то «революция 2020 года» вас не затронет. Масштабные изменения в архитектуре баз данных Яндекса в первую очередь важны для тех, кто занимается устранением проблем с индексацией масштабных проектов. Также это актуально для специалистов, которые ведут новостные проекты и обеспечивают привлечение посетителей по событийным запросам.
Что предшествовало ноябрьскому «шторму»?
До ноябрьского шторма в выдаче Яндекса серьёзные сдвиги были отмечены в апреле и в июле. По всей видимости, тогда шла подготовка к масштабному изменению всей схемы индексации. Весной такие колебания касались коммерческих и информационных запросов. Изменения в июле представители компании объяснили обновлениями алгоритма, связанными с определением релевантности.
