Focal loss

Focal loss — это функция потерь для обучения нейросетей, которая заставляет модель сосредотачиваться на трудных примерах, а не на лёгких и многочисленных. Обычные функции потерь, вроде кросс-энтропии, одинаково учитывают каждый объект. Но в реальных задачах часто встречается дисбаланс классов: например, на одной картинке автомобиля тысячи пикселей приходится на дорогу и лишь несколько десятков — на пешехода. Если обучать модель на таких данных, она быстро выучит, что выгоднее всегда отвечать «дорога», и будет игнорировать редкие объекты.

Здесь и приходит на помощь focal loss. Её ключевая идея — «платить» за ошибку тем больше, чем увереннее модель ошиблась. Если сеть уже легко распознаёт большинство фоновых пикселей, вклад каждого такого пикселя в обучение резко уменьшается. А вот если модель сомневается или ошибается на редком пешеходе, ошибка остаётся в полном весе. Это достигается простым множителем: (1 — p) в степени γ, где p — вероятность, с которой модель отнесла объект к правильному классу. При γ > 1 лёгкие примеры, где p близко к единице, почти обнуляются, а трудные сохраняют значимый вес.

Прикладной пример — автономное вождение. На каждом кадре камеры модель должна находить пешеходов, велосипедистов и другие машины среди огромного количества асфальта, деревьев и зданий. Без focal loss модель часто имеет хорошую общую точность, но пропускает именно те редкие объекты, которые критичны для безопасности. С focal loss она продолжает учиться на самых сложных случаях, даже когда базовые навыки уже отработаны.

Итог: focal loss — простой и эффективный приём, который помогает моделям видеть редкое и важное вместо частого и очевидного. Он стал стандартом в компьютерном зрении и задачах с сильным дисбалансом классов.