глоссарий

SIQA

SIQA

SIQA — бенчмарк для проверки социального понимания ИИ. Расшифровка: Social Interaction Question Answering. Вместо фактов и логики он оценивает, улавливает ли модель намерения, эмоции и негласные правила общения.

Зачем нужно? ИИ отлично обрабатывает текст, но часто понимает его буквально. Перевести язык или посчитать интеграл — легко, а понять, почему человек обиделся или как ответить на шутку, — сложно. SIQA приближает машины к реальному миру: чат-боты и помощники должны адекватно общаться, а не выглядеть бестактными.

Как работает? Пример: «Пётр пригласил Анну в кино, но она отказалась, потому что устала. Пётр решил, что Анна злится на него». Вопрос: почему он так подумал? Чтобы ответить, ИИ должен выйти за рамки текста и применить житейскую мудрость: отказ из-за усталости часто воспринимается как отговорка. В SIQA каждый сценарий содержит вопрос и три варианта ответа, один из которых соответствует здравому смыслу. Модель обучается на тысячах таких примеров, впитывая паттерны социального поведения.

Пример из практики: голосовой ассистент на фразу «Я увольняюсь» отвечал «Это ошибка в трудовой книжке?». После дообучения на SIQA он стал распознавать, что человек расстроен, и предлагать поддержку.

Вывод: SIQA — мостик между сухим машинным интеллектом и человеческим общением. Он помогает создавать ИИ, которые не только умны, но и социально адекватны — это критично в мире, где технологии всё глубже в повседневной жизни.