Mean Teacher

Mean Teacher — метод полуконтролируемого обучения, позволяющий модели учиться одновременно на размеченных и неразмеченных данных. Аналогия: ученик решает задачи, а учитель не даёт прямых ответов, но мягко корректирует его, усредняя свои веса на основе успехов ученика. В результате получается устойчивая модель, работающая даже при минимуме разметки.

Это важно, потому что размеченные данные дороги и редки. Mean Teacher использует доступные массивы неразмеченных данных, добиваясь высокой точности. Особенно ценно в медицине, где размеченных снимков мало, и в робототехнике с потоком новых ситуаций.

Интуитивно: учитель и ученик видят одно изображение с лёгким шумом. Ученик даёт предсказание, сравнивает с ответом, если он есть. Учитель оценивает уверенность и стабильность ответов на неразмеченных данных: противоречия штрафуются и корректируются. Ключевой фокус — веса учителя не обучаются напрямую, а усредняются из весов ученика. Так учитель становится надёжнее и постепенно передаёт ученику обобщённое знание.

Пример: в диагностике рака по гистологии есть тысячи размеченных изображений и миллионы неразмеченных. Mean Teacher заставляет ученика давать согласованные ответы для вариантов снимка, а учитель накапливает обобщённое знание. Итог — модель находит редкие патологии даже на новых данных.

Краткий вывод: Mean Teacher — простой и мощный способ выжать максимум из неразмеченных данных. Он напоминает: в обучении важны последовательность и стабильность, а хороший учитель — это усреднённый опыт многих попыток.