Mini-batch

Этот термин важен, потому что такой подход ищет баланс между крайностями. Если подать все данные сразу, шаг будет дорогим: не хватит памяти, а вычисления займут много времени. Если обучать на одном примере, модель становится «нервной»: ошибка на отдельной картинке уводит её в сторону, процесс шумный и нестабильный. Мини-батч решает обе задачи: порция достаточно велика, чтобы сгладить случайные колебания, и достаточно мала, чтобы уложиться в ресурсы.

Интуитивная аналогия: учите студента решать задачи. Вывалить тысячу — утонет. Давать по одной — начнёт суетиться и терять концентрацию. Тетрадка из тридцати примеров позволяет спокойно разбирать материал, а вы мягко направляете после каждой порции. Так и веса нейросети постепенно сдвигаются в нужную сторону.

Прикладной пример: учим сеть отличать котиков от песиков на миллионе фото. Берём случайные 64 снимка, показываем, видим десять ошибок и чуть меняем веса. Затем новая партия — и так тысячи раз. Шаг занимает доли секунды, а результат получается точным и устойчивым.

Вывод: мини-батч — стандартный инструмент, позволяющий обучать современные модели на огромных данных, сохраняя баланс скорости и качества. Это ключевая идея, благодаря которой глубокое обучение стало возможным на обычном оборудовании.