Batch size

Размер пакета (batch size) — это число примеров из обучающей выборки, которые нейросеть обрабатывает за один шаг обновления параметров. От него зависят скорость обучения, качество модели и объём памяти. Слишком маленький пакет делает обучение шумным, слишком большой — дорогим и чреватым застреванием.

Аналогия: учить язык по карточкам. По одной — быстро, но хаотично. Весь словарь разом — перегрузка. Оптимально — стопка из 32 карточек: посмотрел, сверился, подстроился. Так и модель: видит несколько десятков или сотен примеров, считает среднюю ошибку и делает один аккуратный шаг.

Пример: база из 100 000 фото котиков. При batch size = 256 модель за шаг обрабатывает 256 снимков, оценивает промахи и корректирует настройки. Затем берёт следующую партию. За эпоху — около 390 шагов. Обучение стабильно, видеокарта используется эффективно, без переполнения памяти.

Итак, batch size — это «размер жевательного куска» для нейросети. Нужно найти баланс между скоростью, точностью и ресурсами. Обычно выбирают значения от 16 до 512, подбирая по снижению ошибки на проверочных данных. Правильный пакет — половина успеха в обучении ИИ.