3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать

В марте 2026 года Google опубликовал технический пост, посвященный новому алгоритму сжатия памяти для больших языковых моделей. Казалось бы, узкоспециализированная тема, однако эффект оказался впечатляющим: всего за неделю акции Micron, SanDisk, Samsung, SK Hynix и других производителей памяти суммарно потеряли около 90 миллиардов долларов капитализации. Инвесторы обеспокоены: если модели начнут требовать в разы меньше памяти, спрос на комплектующие резко упадет.

Виновником переполоха стал алгоритм TurboQuant, о котором и пойдет речь. Сразу оговорюсь: называть его революцией или переворотом в индустрии было бы преувеличением. Тем не менее технология действительно любопытная, и у нее уже есть рабочие реализации. Если вы занимаетесь деплоем LLM в продакшн или просто запускаете модели локально, эта информация может оказаться полезной.

Суть TurboQuant в том, чтобы сократить разрядность весов модели с 16 бит до 3 бит без существенной потери точности. На бумаге это означает четырехкратное сжатие памяти, а значит, модели можно запускать на более скромном оборудовании. Именно это напугало рынок памяти, хотя эксперты напоминают, что квантование — не новая идея и многие технологии уже использовали 8-битные веса. TurboQuant выделяется тем, что доводит сжатие до экстремальных значений и, по заверениям авторов, сохраняет качество генерации на приемлемом уровне.

Важно понимать, что заявления Google — это не маркетинговый ход, а результат исследований. Уже существуют открытые наработки, которые можно протестировать. Однако на практике применение алгоритма зависит от конкретных задач и архитектуры модели. Для легковесных задач трех бит может быть достаточно, тогда как для сложных сценариев, требующих высокой точности, возможно, стоит оставить традиционные 16 бит. Разработчикам стоит пробовать и смотреть, насколько критично падение качества в их сценарии.

Главный вывод: TurboQuant — не панацея, но он меняет экономику запуска языковых моделей. Производителям памяти рано паниковать, а вот инженерам, работающим с LLM, стоит присмотреться к этому инструменту. Доступные реализации позволяют быстро проверить его на своих задачах уже сейчас.