MoCo

MoCo (Momentum Contrast) — это метод обучения нейросетей понимать изображения без учителя. Он относится к контрастному самообучению: модель учится делать похожие картинки близкими, а непохожие — далёкими. Важность в том, что он снимает потребность в разметке. Вместо миллиона подписанных фото можно взять необработанный поток данных, и модель сама вытащит смысл. Это удешевляет разработку систем зрения.

Как работает? Представьте, что ИИ ведёт записную книжку. Текущее изображение становится вектором-запросом, а в книжке лежат тысячи векторов-ключей от прошлых снимков. Сеть сравнивает запрос с ключами: похожие притягивает, непохожие отталкивает. Если сравнивать с самой обучаемой моделью, её веса меняются слишком быстро, и ключи несогласованны. Поэтому MoCo использует плавно обновляемую копию — momentum encoder. Она следует за основной сетью с инерцией, сохраняя очередь ключей стабильной. Так у модели всегда есть контекст для обучения.

Пример: интернет-магазин хочет рекомендовать визуально похожие товары. MoCo обучается на миллионах фото без разметки. Модель складывает красные кроссовки и синие ботинки в разные группы. Новое фото мгновенно находит ближайших соседей — и покупатель видит аналоги.

Итак, MoCo — это стратегия памяти для самообучения. Она даёт ИИ стабильно учиться на неразмеченных данных, открывая дорогу приложениям, где раньше требовалась ручная работа.