Выпуклая функция

Выпуклая функция — это функция, график которой похож на чашу: если соединить любые две точки графика отрезком, он окажется не ниже самой кривой. Проще говоря, линия не проваливается внутрь «чаши». Такое определение лежит в основе многих задач в науке и технологиях.

В машинном обучении всё сводится к минимизации функции потерь — показателя ошибки модели. Если эта функция выпуклая, у неё ровно один глобальный минимум. Любой алгоритм, движущийся вниз по склону, рано или поздно достигнет лучшей точки. Для невыпуклых функций это не гарантировано: можно застрять в ложном минимуме, который хорош локально, но плох в целом.

Интуиция: выпуклая функция — миска. Шарик из любой точки скатится на единственное дно. Невыпуклая — горный хребет с несколькими ямами; шарик может застрять в мелкой впадине. Поэтому при проектировании моделей стараются выбирать выпуклые или близкие к ним функции потерь — это делает поведение алгоритма предсказуемым.

Классический пример — логистическая регрессия (основа детекторов спама). Её функция потерь выпуклая, поэтому градиентный спуск легко находит оптимальные веса. При невыпуклой функции обучение зависело бы от случайного старта и могло бы дать плохой фильтр спама.

Итог: выпуклость — гарантия того, что простой спуск с горы ведёт к лучшему решению. Понимание этого свойства помогает инженерам осознанно выбирать модели и понимать, почему обучение сходится или нет. Выпуклая функция — не просто термин, а рабочий инструмент, делающий искусственный интеллект надёжным.