Nvidia нашла способ обойти дефицит памяти без наращивания HBM

Nvidia предложила нестандартный способ снять нарастающее давление на память ускорителей: компания делает ставку не на увеличение объема HBM, а на сквозную архитектурную оптимизацию всей вычислительной системы. Как сообщается в опубликованном 5 ноября техническом разборе, с ростом числа параметров моделей, длины контекста и распространением агентных приложений видеопамять GPU испытывает беспрецедентную нагрузку, а поставки HBM остаются ограниченными и дорожают — и в обозримом будущем эта ситуация сохранится.

Суть подхода Nvidia — так называемое «полностековое совместное проектирование»: GPU, центральный процессор, сеть, подсистема хранения и программное обеспечение рассматриваются как единое целое. Задача — сделать так, чтобы каждый байт памяти приносил больше пользы на всех уровнях «фабрики ИИ». В компании отмечают, что при инференсе дорогая HBM вынуждена одновременно хранить веса модели и KV-кэш, где фиксируется контекст, необходимый модели для понимания текущего запроса. Агентные рабочие процессы постоянно тащат за собой историю между множеством вызовов модели и инструментов — в некоторых сценариях приходится обрабатывать до трех миллионов токенов. Свою лепту вносит и генерация с дополнением из поиска (RAG): корпоративные материалы подмешиваются в промпт, что дополнительно раздувает занимаемую память.

Nvidia сравнивает HBM со складом, а пропускную способность памяти — с погрузочно-разгрузочными воротами: склад может быть сколь угодно большим, но если данные не успевают входить и выходить, возникает «стена памяти», и дополнительная емкость не превращается в реальную производительность сервиса. Поэтому предлагается сжимать данные, раскладывать их по подходящим уровням и заранее возвращать в GPU до того, как они понадобятся.

На практике это выглядит так. Низкоточный формат NVFP4 позволяет сжимать веса моделей и KV-кэш. В системе NVL72 веса модели можно распределить между 72 ускорителями. Процессор Vera с большой памятью LPDDR дает буфер для приостановленных контекстов неподалеку от GPU. Программное обеспечение для инференса Dynamo переносит неактивные контексты в хранилище контекстов CMX и забирает их обратно перед повторным использованием. Индексы RAG тоже можно держать на стороне CPU и в хранилище, чтобы они не занимали HBM постоянно.

Ссылаясь на бенчмарк SemiAnalysis AgentX, в Nvidia утверждают: при условии 125 токенов в секунду на пользователя система Vera Rubin NVL72 обеспечивает до 30-кратный рост пропускной способности агентов на доллар по сравнению с GB300 NVL72 — при том что объем HBM на каждый GPU вырос всего примерно на 3 процента. Платформа GB300 NVL72, в свою очередь, при 100 токенах в секунду на пользователя дает до десятикратного преимущества по пропускной способности на доллар относительно H200. Вывод очевиден: ключевой вопрос конкуренции в области ИИ-вычислений смещается от того, сколько у тебя видеопамяти, к тому, сколько полезных токенов удается выжать из каждого байта и каждого ватта.