MIRACL

MIRACL (Multilingual Information Retrieval Across a Continuum of Languages) — это набор данных и тестов для оценки поисковых систем на 18 языках: от немецкого до суахили и тамильского. Бенчмарк проверяет, понимает ли ИИ смысл запроса, а не просто находит совпадения.

Современные поисковые системы обучаются в основном на английском, поэтому работают с ним хорошо, а с другими языками — заметно хуже. Это усиливает цифровой разрыв: люди, не говорящие по-английски, получают менее качественный доступ к информации. MIRACL помогает разработчикам увидеть слабые места своих моделей в международном масштабе и исправить их.

Как это работает? Для каждого языка собраны десятки тысяч реальных запросов и соответствующие им документы. Алгоритм получает запрос, ищет в общем корпусе и должен выдать лучший результат. Его ответы сравнивают с эталоном и ставят балл — так получается честная метрика.

Пример: сервис микрокредитования тестирует поиск на суахили и замечает, что запрос о «процентах по займу» приводит к статьям о земледелии. Причина в том, что слово «риба» означает и финансовый термин, и растение. После исправления модели на основе данных MIRACL система различает контекст, и клиенты быстро находят нужную информацию.

MIRACL — это мост между глобальным ИИ и реальными языками планеты. Он заставляет относиться к языковому и культурному разнообразию как к норме, а не исключению, и помогает сохранить равный доступ к знаниям для всех.