InfoNCE

InfoNCE — это функция потерь, используемая в контрастивном обучении. Её цель — научить модель отличать похожие пары объектов от случайных шумовых. Термин расшифровывается как Information Noise-Contrastive Estimation, то есть оценка с шумовым контрастом. Зачем это нужно? Современные модели учатся на огромных массивах данных, где разметка стоит дорого. Контрастивный подход позволяет учиться без неё: достаточно формировать правильные и неправильные пары. Именно поэтому InfoNCE стала ключевым компонентом таких моделей, как CLIP, SimCLR, а также многих подходов в обработке текста и изображений.

Как это работает интуитивно? Представьте игру «найди пару». Модель получает запрос, один положительный пример и много отрицательных. Нужно дать максимальный балл правильному варианту, а всем остальным — минимальный. Математически для этого вычисляется вероятность того, что положительный пример действительно является правильным среди всех предложенных. Минимизируя такую функцию, модель учится встраивать объекты в пространство, где похожее находится близко, а случайное — далеко.

Практический пример: поиск картинок по текстовому запросу. Модель CLIP обучена с InfoNCE связывать изображение и его описание. Когда вы вводите «рыжий кот на диване», алгоритм сопоставляет запрос с эмбеддингами миллионов картинок и выбирает ту, где вероятность связи максимальна. Это стало возможным потому, что InfoNCE заставила модель игнорировать случайные совпадения и выделять смысловую близость.

В итоге InfoNCE — это простой и мощный способ обучить представления без дорогой разметки. Она лежит в основе многих современных систем ИИ и продолжает оставаться важным инструментом исследователей.