Label drift

Label drift — это постепенное изменение смысла разметки, на которой обучалась модель, при том что сами входные данные внешне остаются прежними. Проще говоря: модель продолжает называть объект «кошкой», но то, что люди теперь подразумевают под этим словом, незаметно смещается. Важность термина в том, что дрейф разметки — одна из самых коварных причин деградации ИИ: точность формально может держаться, а польза на деле падает, потому что модель отвечает на старый вопрос, который уже никто не задаёт.

Интуитивно это похоже на словарь, который не обновляли. Язык живёт, значения слов меняются, а ваш справочник застыл. Например, слово «свежий» в новостях сто лет назад означало «недавний», но в контексте продуктов питания стало означать «не испорченный». Модель, обученная на старых примерах, будет выдавать верные по форме ответы, которые по сути уже устарели. Label drift возникает не из-за изменения входных данных — в этом отличие от обычного дрейфа признаков. Меняется не мир, а наша договорённость о том, как его описывать. Классический пример — модерация контента. Модель учили отличать «приемлемое» от «оскорбительного» на данных пятилетней давности. Тогда слово «ботан» было нейтральным, а теперь оно часто звучит как унизительное. Разметка под это новое понимание меняется, но модель продолжает использовать старую. В итоге она пропускает реальные оскорбления или, наоборот, банит невинные шутки. Инженеры видят, что метрики на валидации не падают, но пользователи жалуются на странную работу системы. Ключевой вывод: label drift требует регулярной сверки с актуальной разметкой, а не только с формальной точностью. Следить за дрейфом — значит вовремя переопределять правила и переразмечать выборку, иначе модель станет вежливым анахронизмом, который говорит на языке прошлого.