Как запустить LLM с 2,8 трлн параметров на ноутбуке: опыт Kimi K3

Первый и главный барьер — память. Веса модели размером в триллионы параметров занимают тысячи гигабайт. В оперативной памяти ноутбука их не разместить, а выгрузка части весов на диск — так называемый оффлоад — обычно сильно замедляет работу. При этом красивые бенчмарки, которые публикуют разработчики, часто не отражают реальный пользовательский сценарий. Они показывают лишь пиковую производительность на идеальных условиях, но в повседневных задачах картина совсем иная.

Однако команда, которая решила запустить Kimi K3 на ноутбуке, обнаружила, что можно добиться вполне приемлемой скорости. Ключевую роль сыграла архитектура модели. MoE — смесь экспертов — активирует не все параметры, а только небольшую их часть для каждого конкретного запроса. Это снижает вычислительную нагрузку. Дополнительно помогло квантование: веса были уменьшены до формата 4-бит, что сжало их в несколько раз. И наконец, стриминг и иерархия памяти. Данные не загружаются целиком — они подгружаются частями, причем система умно распределяет их между быстрой и медленной памятью, минимизируя простои.

Результат оказался обнадеживающим. Разумеется, такая конфигурация не сравнится с серверным запуском по скорости, но для экспериментов, исследования моделей и даже ряда практических задач этого достаточно. Важно, что задержки не растут линейно, как можно было бы ожидать. Инженерам удалось использовать буферизацию и предзагрузку, чтобы скрыть значительную часть оффлоада.

Конечно, есть и компромиссы. Чем больше контекст, чем больше активных экспертов задействовано, тем заметнее падение производительности. Частое обращение к диску тоже дает о себе знать. Однако сам факт, что модель с 2,8 триллиона параметров способна работать на ноутбуке, меняет представления о границах возможного. Возможно, скоро подобные эксперименты станут обыденностью, а запуск огромных нейросетей дома — стандартной практикой. А пока это впечатляющий повод для дискуссий о том, как инженерные ухищрения разрушают стереотипы о требуемых ресурсах.