Градиент

Градиент — это математическая величина, которая в каждой точке пространства указывает направление самого быстрого роста некоторой функции. Если функция описывает нашу цель, то градиент показывает, куда идти, чтобы цель росла быстрее всего. Длина градиента говорит о том, насколько круто она растёт в этом направлении.

В искусственном интеллекте градиент — сердце обучения. Нейросети настраивают миллионы параметров, и именно градиент ошибки подсказывает, в какую сторону их менять. Без градиента не было бы ни распознавания речи, ни автопилотируемых автомобилей.

Представьте, что вы стоите на склоне холма в тумане и хотите спуститься вниз. Вы не видите всей местности, но чувствуете ногами, где земля уходит под уклон сильнее. Шаг в эту сторону — это шаг против градиента. В машинном обучении происходит то же самое: модель «ощущает» ошибку и движется в направлении её уменьшения.

Допустим, нейросеть учится отличать кошек от собак. На старте она ошибается: ошибка большая. Для каждого параметра сети вычисляется градиент ошибки — вклад этого параметра в общую промашку. Обновив параметры в сторону, противоположную градиенту, сеть на следующем шаге ошибётся чуть меньше. Повторяя процесс тысячи раз, модель находит параметры, при которых ошибка становится крошечной.

Так что градиент — это компас алгоритма. Он превращает бесцельное перебирание вариантов в осмысленное движение к решению, а потому лежит в основе почти всей современной магии ИИ.