NT-Xent

NT-Xent (Normalized Temperature-Scaled Cross-Entropy) — функция потерь для самообучающихся нейросетей. Она учит модель отличать похожие объекты от непохожих без готовых подписей к данным. Это основа современного контрастивного обучения: ИИ понимает структуру мира, просто наблюдая примеры. Благодаря NT-Xent модели вроде SimCLR и CLIP достигают качества, сравнимого с обучением на размеченных данных, без ручной разметки.

Интуиция: есть фото кота и его слегка изменённая копия (повёрнутая, обрезанная, с фильтром). Модель должна «сблизить» их в пространстве признаков, а фотографии собак и машин из того же пакета — «раздвинуть» как можно дальше. NT-Xent превращает это в формулу: измеряет расстояния между представлениями, притягивает похожие пары и отталкивает непохожие. Функция нормирует векторы и добавляет температуру — параметр строгости к «тяжёлым» отрицательным примерам. Чем ниже температура, тем сильнее наказание за путаницу между классами.

Практический пример: поиск «пляж» в фотогалерее смартфона. Система не знает заранее, как выглядит пляж в каждом ракурсе, но после обучения на NT-Xent она группирует тысячи фото по визуальному сходству и находит нужные, даже если на снимке лишь маленький кусочек моря.

Итог: NT-Xent — элегантный способ сказать нейросети «понимай смысл данных сам». Она превращает хаос признаков в осмысленную карту знаний.