Two-stage retrieval

Двухэтапный поиск — подход, при котором система сначала быстро отбирает множество потенциально релевантных документов, а затем тщательно их ранжирует. Аналогия: библиотекарь сначала приносит с полок десяток книг, которые могут подойти, а за столом уже внимательно читает оглавления и выбирает лучшие три. Так работают современные поисковики и ИИ-ассистенты.

Зачем это нужно? Текстов в мире миллиарды, и глубоко анализировать каждый — непозволительная роскошь. Быстрая модель на первом этапе делает грубый отсев, точная — на втором. Без этого пришлось бы либо ждать ответ вечность, либо довольствоваться посредственными результатами. Поэтому принцип лежит в основе поиска, рекомендательных систем и нейросетей с доступом к базам знаний.

Интуитивно это работает так. Этап «retriever» использует простые сигналы — совпадение ключевых слов, векторные приближения — чтобы из миллиона статей оставить сотню. Скорость важнее точности: можно пропустить что-то второстепенное. Этап «ranker» — мощная нейросеть, которая читает каждую кандидатскую статью целиком, учитывает контекст запроса и выдаёт финальную пятёрку. Именно здесь отсеиваются нерелевантные тексты, где слово просто встречалось рядом.

Классический пример — голосовой помощник, отвечающий на вопрос «Как испечь пирог?». Сначала он берёт из интернета тысячу кулинарных страниц по словам «пирог» и «рецепт». Затем ранжирует их по качеству текста, наличию пошаговых инструкций и авторитетности сайта, оставляя один лучший рецепт. Если бы он пытался проанализировать все миллиарды страниц, вы бы состарились у экрана.

Итог: двухэтапный поиск — это компромисс между скоростью и умом. Грубая сила сочетается с тонким пониманием, позволяя ИИ быть одновременно быстрым и точным, а нам — получать нужное за секунды.