HotpotQA

HotpotQA — набор данных для тестирования ИИ: ответы требуют многошаговых рассуждений. Название отсылает к «hot pot» (горячий горшок): здесь нужно «сварить» несколько фактов из разных статей Википедии. Старые тесты проверяли поиск информации: найти фразу с ответом. HotpotQA требует связать два факта, а это ближе к мышлению.

Как это работает интуитивно? Представьте детектива. Вы читаете вопрос: «Кто написал музыку к фильму режиссёра, родившегося в Буэнос-Айресе?» Просто найти «Буэнос-Айрес» недостаточно. Нужно сначала узнать, какой режиссёр родился там, затем найти его фильм, а затем узнать композитора. Каждый шаг открывает следующую зацепку. В наборе данных такие вопросы специально собраны так, чтобы любой одиночный факт из Википедии был бесполезен — системе приходится строить цепочку.

Прикладной пример: модель ИИ используется в медицинском справочнике. Пользователь спрашивает: «Какие побочные эффекты у препарата, который назначают при том же заболевании, что и аспирин?» Чтобы ответить, нужно установить, что аспирин применяют при головной боли, найти другой препарат от головной боли, а затем проверить его побочные эффекты. HotpotQA тренирует модели делать такие переходы, что впоследствии помогает давать точные ответы на сложные вопросы вместо простого совпадения ключевых слов.

Вывод: HotpotQA — это не просто экзамен, а индикатор того, умеет ли ИИ соединять разрозненные знания. Пока модель справляется с этим набором лишь частично, но именно такие задачи подталкивают разработку систем с настоящим логическим мышлением, а не с поверхностным запоминанием.