Cross-entropy math

Важность термина трудно переоценить: это главный «двигатель» обучения большинства современных нейросетей. Когда модель учится на примерах, именно перекрёстная энтропия превращает ошибку в понятное число, которое алгоритм затем минимизирует шаг за шагом. Без неё не было бы ни распознавания лиц, ни голосовых ассистентов.

Как это работает интуитивно? Представьте, что вы угадываете погоду. Истина — «солнечно», а модель с вероятностью 70% заявляет «дождь». Перекрёстная энтропия наказывает вас сильнее, когда уверенность в ошибке высокая. Угадали с вероятностью 90% — штраф больше, чем при 60%. Логарифм в формуле делает именно это: сильно штрафует за уверенный промах и почти не наказывает за робкую попытку. Идеальный результат — ноль, полное совпадение с истиной.

Прикладной пример: распознавание рукописных цифр. Алгоритм получает картинку и выдаёт вероятности для цифр от 0 до 9. Перекрёстная энтропия сравнивает этот вектор с правильным ответом. Если цифра — «пять», а модель дала ей 0,1, ошибка велика. После тысячи примеров модель подстраивает внутренние параметры так, чтобы средняя перекрёстная энтропия упала до минимума — и тогда точность достигает 98%.

Вывод: перекрёстная энтропия — это компас обучения ИИ. Она показывает, где именно и насколько модель заблуждается, превращая качество предсказаний в измеримую величину, которую можно оптимизировать.