HellaSwag

Зачем это важно? Современные нейросети отлично цитируют энциклопедии, но часто дают абсурдные ответы на простые ситуации. HellaSwag вскрывает этот недостаток. Если модель не понимает, что чайник ставят на плиту, а не в холодильник, её опасно использовать в реальном мире. Ведь роботы и ассистенты работают там, где причинные связи важнее грамматики.

Работает это так. Модель получает начало: «Человек берёт стакан и подходит к крану». К нему даны четыре варианта продолжения. Один правильный: «открывает воду и наполняет стакан». Остальные — ловушки: «кладет стакан в карман», «танцует со стаканом», «ставит стакан в микроволновку». Все они грамотны и стилистически похожи, так что выбрать верный ответ можно только понимая физику быта. Модель оценивает вероятность каждого варианта, опираясь на свои знания из текстов. Правильный выбор кажется ей естественным, потому что похожие действия описаны в миллионах реальных историй.

Прикладной пример: голосовой помощник на кухне. Если он прошёл HellaSwag, то на просьбу «вскипяти воду» не посоветует поставить чайник в холодильник. Это вопрос безопасности и доверия.

Короткий итог: HellaSwag — маленький, но очень неудобный тест для ИИ. Он напоминает, что настоящий интеллект — это не только слова, но и понимание простых вещей, очевидных человеку.