INT4

INT4 — это способ записи чисел, при котором каждое значение занимает всего четыре бита. В контексте искусственного интеллекта так называют формат сжатия весов нейросетей — параметров, определяющих силу связей между нейронами. Обычно веса хранятся в 32-битном формате, а INT4 ужимает их в восемь раз.

Зачем это нужно? Современные большие языковые модели содержат десятки и сотни миллиардов параметров. Чем больше параметров, тем больше памяти требуется для их хранения. INT4 позволяет втиснуть модель в память обычного смартфона или ноутбука, а также ускоряет расчёты за счёт меньшего объёма пересылаемых данных.

Представьте, что вы фотографируете пейзаж и сохраняете его в JPEG с сильным сжатием. Файл становится намного легче, но мелкие детали теряются. Аналогично INT4 отбрасывает часть точности весов, оставляя лишь грубую шкалу значений. Нейросеть работает почти так же хорошо, потому что для многих задач достаточно приблизительных весов.

Показательный пример — модель Llama 2 70B. В исходном 16-битном формате она занимает около 140 гигабайт. После перевода в INT4 размер снижается до примерно 35 гигабайт — модель помещается в память игровой видеокарты, и её можно запускать на домашнем компьютере.

Таким образом, INT4 — это компромисс между качеством и эффективностью. Небольшая потеря точности оправдана многократным выигрышем в скорости и доступности ИИ. Поэтому сжатие в INT4 стало стандартом для развёртывания больших моделей на устройствах с ограниченными ресурсами.