Label smoothing

Label smoothing — это приём регуляризации в машинном обучении, при котором вместо жёстких целевых меток (0 или 1) модель обучается на смягчённых значениях, например 0,9 и 0,1. Зачем это нужно? Нейросети склонны быть чрезмерно самоуверенными: они выдают вероятность 99,9% даже тогда, когда объект похож на несколько классов сразу. Это приводит к переобучению — модель запоминает шум и плохо обобщает новые данные. Сглаживание меток немного «притупляет» крайнюю уверенность, заставляя сеть искать более общие признаки. Интуитивно это похоже на обучение с допущением, что в данных может быть ошибка разметки. Если вместо точного ответа давать модели чуть размазанные цели, она не станет зацикливаться на несущественных деталях. Например, в задаче распознавания изображений кота и собаки вместо метки «кот = 1, собака = 0» используют «кот = 0,95, собака = 0,05». Такая крошечная уступка делает границу между классами менее резкой, и на реальных фотографиях сеть реже ошибается. Причём метод не требует ни новых данных, ни изменения архитектуры — достаточно заменить единицу на 0,9, а ноль на 0,1. Метод особенно полезен при обучении на зашумлённых данных. Простота обманчива: label smoothing широко применяется в современных нейросетях, включая трансформеры, и значительно повышает точность классификации. Вывод: это лёгкий, но эффективный способ сделать модель надёжнее, добавив долю здорового скептицизма.