«Палех умный». Яндекс рассказал о новом алгоритме ранжирования

В конце прошлого года в Москве прошла конференция Optimization 2016 – знаковое событие для всех, кто интересуется продвижением сайтов и принципами работы поисковых систем. От компании Яндекс выступал Александр Садовский, который подробно описал особенности нового механизма ранжирования web-страниц под названием «Палех».

По его словам, этот алгоритм позволяет Яндексу лучше отвечать на запросы из «длинного хвоста», которые являются низкочастотными по определению, но все же составляют огромную часть поискового потока. К ним можно отнести фразы типа «штука на двух колесах на которой стоишь и едешь, «фильм про дяденьку который родился старым» и прочие.

В основе «Палеха» лежат искусственные нейронные сети, «обучение» которых проходит на положительных и отрицательных примерах. Примеры подбираются с помощью статистики, которую накопил Яндекс, и представляют собой пару «поисковый запрос – заголовок страницы».

Неверно считать, что положительным примером могут быть только «кликнутые» документы – зачастую смысл запроса не совпадает с содержанием страницы, хотя они семантически близки. Это означает, что документ, на который был выполнен переход, не всегда является релевантным запросу. Верно и обратное: отсутствие клика не говорит о том, что страница нерелевантна.

Благодаря «Палеху», Яндекс решил эту проблему. Нейронные сети помогают глубже понять смыслы слов и фраз, выявить положительные примеры и выдать пользователю нужные результаты.

По словам А. Садовского, алгоритм «Палех» показал свою эффективность не только в «длинных хвостах», но и в запросах другого типа, а также применим ко всем регионам, языкам и тематикам. Исключение составляет только поиск цитат.

Представитель Яндекса добавил, что цель команды разработчиков – не обогнать алгоритм BM25, который ранжирует документы по заголовкам, а дополнить его, добиться улучшения моделей работы ПС в целом.