Temporal ensembling

Temporal ensembling — техника полуконтролируемого обучения: модель использует немаркированные данные, извлекая пользу из собственной истории предсказаний. Вместо разметки каждого примера алгоритм накапливает «средний результат» своих ответов за прошлые эпохи, что снижает потребность в дорогой экспертной разметке и позволяет обучаться на сырых изображениях, текстах или звуках.

Интуитивно это похоже на студента, который решает тест: сегодня он отвечает на один вопрос, завтра на другой, но среднее его ответов становится всё стабильнее. На каждом шаге сеть согласовывает новое предсказание с этим историческим средним. Если сегодня она говорит «кошка», а вчера «собака», она получает штраф — так система подавляет случайные колебания и усиливает уверенные паттерны.

Пример: имея 500 размеченных снимков сетчатки и 500 тысяч неразмеченных, модель сначала обучается на разметке, затем «размечает» остальные, сверяясь с накопленной историей. Это позволяет находить тонкие признаки диабетической ретинопатии без участия врачей для каждого изображения.

Вывод: temporal ensembling превращает временную согласованность предсказаний в учителя, делая обучение возможным при дефиците данных. Это простой и мощный инструмент, лежащий в основе многих современных полуконтролируемых подходов.