Throughput

Throughput — это объём данных, которые система обрабатывает за единицу времени: сколько заявок сервер принимает в секунду, сколько деталей сходит с конвейера за час. В машинном обучении показатель определяет, насколько быстро модель справляется с потоком запросов. Даже самая точная модель бесполезна, если ответ занимает полчаса и создаёт очередь. Высокий throughput позволяет масштабировать систему, низкий — превращает её в узкое место бизнеса.

Интуитивно это похоже на заводской пресс: важна не скорость одного удара, а число готовых изделий за смену. Можно быстро выдать предсказание, но тратить время на загрузку и очистку данных — общая пропускная способность упадёт. Поэтому оптимизируют весь конвейер: пакетную обработку, параллельные вычисления, кэширование, очереди. Ключевое — считать не время одного запроса, а суммарное число успешно обработанных заявок за длительный период.

Пример — рекомендательная система магазина. Миллион пользователей в день, каждому нужно мгновенно показать товары. Если throughput — 10 тысяч рекомендаций в секунду, система выдержит пик в сто тысяч активных пользователей. При падении до тысячи сайт начнёт тормозить, и люди уйдут к конкурентам. Инженеры тогда не просто ускоряют код, а добавляют серверы, распределяют нагрузку и группируют запросы, поднимая пропускную способность всей системы.

Итог: throughput — это эффективность всего потока, а не скорость отдельной операции. Следить за ним нужно при реальной эксплуатации ИИ: пользователи судят о системе не по изяществу алгоритма, а по быстроте и бесперебойности ответов.