Exposure bias

Термин exposure bias не имеет устоявшегося русского перевода; его называют «ошибкой экспозиции» или «смещением из-за несоответствия распределений». Это системная проблема генеративных нейросетей: при обучении модель предсказывает следующий элемент, опираясь на идеально правильную последовательность из данных, а на практике она вынуждена опираться на собственные, уже слегка ошибочные выходы. В языковых моделях каждый новый токен зависит от предыдущих, поэтому даже небольшая неточность накапливается лавинообразно: длинный текст уходит от темы, повторяется или теряет смысл. Это не баг алгоритма, а следствие несовпадения условий обучения и реальной работы.

Интуитивно понять можно на примере водителя, которого учили только на идеальной дороге с чёткой разметкой, а на экзамене дали мокрую трассу с ямами. Он не умеет реагировать на последствия своих неточностей. Так же и модель: в обучении она всегда видит правильную последовательность, а в жизни должна сама исправлять собственные промахи.

Показательный случай — машинный перевод или генерация длинного абзаца. Нейросеть учится предсказывать слово по предыдущим правильным словам. При работе она выдала второе слово с ошибкой — третье выбирает уже из неверного контекста. Короткая фраза ещё осмысленна, а абзац рассыпается. Это и есть причина «забывания» начала беседы и галлюцинаций.

Полностью проблему не убрать, но её смягчают: во время обучения в модель подмешивают её собственные неидеальные выходы, чтобы она привыкала к шуму. Понимание exposure bias помогает разработчикам осознанно строить обучение под реальные условия. А пользователям — помнить, что странный ответ — не всегда ошибка сервера: модель училась на идеальных примерах, а работает в мире своих неточностей.