Hallucination rate

Важен он потому, что галлюцинации — главный враг доверия к ИИ. Чем ниже показатель, тем надёжнее система. Для банков, врачей, юристов критично знать: можно ли полагаться на каждое слово модели или она иногда фантазирует.

Интуитивно понять просто: представьте, что вы спрашиваете у очень начитанного, но слегка рассеянного эксперта. Он блестяще помнит тысячи тем, но когда не знает ответа, не говорит «не знаю», а красиво сочиняет. Hallucination rate — это процент таких «сочинительств» в общем потоке высказываний. Нейросеть не врёт намеренно — просто в её вероятностной природе иногда нет разницы между знанием и правдоподобной догадкой.

Пример: медицинский чат-бот советует пациентам лекарства. Если его hallucination rate равен трём процентам, то из ста рекомендаций три могут оказаться выдуманными или опасными. Поэтому прежде чем запустить такого бота, разработчики гоняют тысячи тестовых вопросов и вычисляют этот показатель. Допустимый порог для медицины — как правило, доли процента, иначе продукт не получит разрешение.

В итоге hallucination rate — это простой и честный измеритель честности искусственного интеллекта. Он не говорит, хорошая ли модель в целом, но сразу показывает самый рискованный её изъян. А для пользователя это сигнал: чем ниже цифра, тем меньше вероятность, что машина подкинет красивую, но ложную мысль.