Глобальный минимум

Глобальный минимум — это наименьшее значение функции на всей области определения. В отличие от локального минимума, который минимален лишь в ограниченной окрестности, глобальный минимум — абсолютный «донный» результат среди всех возможных значений. В машинном обучении это критически важно, потому что обучение модели сводится к поиску параметров, при которых функция потерь (ошибка предсказаний) минимальна. Глобальный минимум соответствует идеально настроенной модели.

Чтобы почувствовать идею, представьте горный ландшафт в тумане. Локальный минимум — уютная впадина между холмами, куда ведёт спуск, но за перевалом может оказаться гораздо более глубокая долина. Алгоритмы вроде градиентного спуска всегда идут вниз по склону, поэтому легко застревают в локальном минимуме: для выхода нужно подняться, а они к этому не стремятся. Без общего обзора невозможно понять, не остались ли вы в мелкой яме, тогда как рядом есть настоящая глубина.

Прикладной пример — модель прогноза цен на жильё. Функция потерь вычисляет разницу между предсказанной и реальной стоимостью тысяч квартир. Алгоритм перебирает коэффициенты, пытаясь уменьшить среднюю ошибку. Если он попадает в локальный минимум, модель может систематически завышать или занижать цены на 20%, и это лучший результат в той области параметров, где алгоритм «завис». Глобальный минимум дал бы более точные предсказания для всего массива данных.

Вывод прост: понятие глобального минимума напоминает, что обучение моделей — это не гарантированное достижение идеала, а поиск компромисса. Осознавая разницу между локальной и глобальной оптимизацией, специалисты применяют приёмы — меняют скорость обучения, используют случайные перезапуски. Это не абстрактная математика, а ключ к пониманию, почему одни модели работают блестяще, а другие никак не могут «дожать» качество.