Consistency regularization

Consistency regularization — приём обучения нейросетей, при котором модель старается давать одинаковые ответы на слегка изменённые версии одного объекта. Если фото кота немного повернуть или добавить шум, модель всё равно должна сказать «кот». Вместо сравнения с правильной меткой сравниваются предсказания между собой, поэтому метод хорош для работы с неразмеченными данными.

Зачем это важно? Разметка стоит дорого, а сырых данных вокруг много. Consistency regularization позволяет использовать их: истинная суть объекта не меняется от мелких искажений. Модель, устойчивая к помехам, меньше переобучается и лучше переносит новые условия.

Как это работает? Представьте ученика, отвечающего на два перефразированных вопроса. Если ответы совпадают — он понял смысл; если нет — хватается за слова. Нейросеть аналогично: берут объект, делают две «копии» с шумом или обрезкой, прогоняют через модель и штрафуют за разницу выходов. Так модель учится опираться на главное, игнорируя случайности.

Пример: рентгеновские снимки. Врачей-разметчиков мало, а изображений много. Модель обучают на небольшом числе диагнозов, одновременно используя тысячи снимков без меток. Слегка повёрнутый или затемнённый снимок должен давать тот же диагноз — это позволяет находить патологии точнее.

Итог: consistency regularization — принцип «не меняй мнение из-за мелочей». Он помогает учиться на неразмеченных данных, бороться с переобучением и лежит в основе многих современных полусамообучающихся моделей.