LLM не научились врать. Они научились говорить

Язык не обязан быть правдивым. Он лишь связывает слова в последовательности, которые выглядят осмысленно. Модель, обученная на гигантских объёмах текстов, воспроизводит эти связи, не имея доступа к реальному миру. Ей неизвестно, что истинно, а что ложно, — она знает только, какие высказывания обычно следуют за другими. Поэтому, когда она сообщает о событиях, которых не было, она не лжёт в человеческом смысле: у неё нет намерения обмануть. Она просто продолжает разговор по правилам языка.

Инженеры пытаются снизить количество таких выдумок, добавляя фильтры и обучая модели распознавать недостоверную информацию. Однако полностью устранить галлюцинации невозможно — для этого пришлось бы запретить модели говорить обо всём, что не подтверждено фактами. Но тогда она потеряет способность фантазировать, выдвигать гипотезы и даже шутить. Исследователи всё чаще приходят к выводу: галлюцинации — не враг, а цена, которую мы платим за свободу речи. Машина показала, что язык самодостаточен, и это открытие может изменить наше понимание и искусственного, и человеческого интеллекта.