Huawei обеспечила поддержку Kimi K3.1 Pro на Ascend в день релиза
Смысл происходящего выходит за рамки технической формальности. Модель с 2,8 триллиона параметров — это колоссальная нагрузка на инфраструктуру, и способность железа принять её в день выхода означает, что заказчики и разработчики могут сразу приступать к проверке и применению, не дожидаясь месяцев доработок. Huawei подчёркивает: оптимизация велась вокруг новых особенностей модели — разреженного внимания, контекста в миллион токенов и требований к инференс-сервису, — причём операторы и фреймворки дорабатывались совместно.
Kimi K3.1 Pro — первая ласточка серии K3.1. Помимо 2,8 триллиона параметров, модель изначально умеет понимать изображения и располагает окном контекста на миллион токенов. По сравнению с предшественницей K3 заметно расширен этап посттренировки, что дало прирост в разработке кода, трёхмерном творчестве, финансовых исследованиях, фактической точности и в длительных задачах для интеллектуальных агентов. Миллионный контекст позволяет модели комплексно перерабатывать длинные документы, код и информацию из многораундовых диалогов, а вместе с визуальным пониманием и вызовом инструментов — выполнять многошаговые задачи. Это открывает дорогу к сложным сценариям вроде разработки программного обеспечения и корпоративной обработки знаний.
Архитектурно K3.1 Pro построена на гибридном линейном внимании: слои линейного внимания KDA сочетаются со слоями разреженного внимания DSA. Чтобы выжать из этой схемы максимум, требуется согласованная оптимизация выполнения операторов, управления кэшем и межкарточных коммуникаций. Инженеры Ascend, опираясь на опыт адаптации K3, заранее проанализировали модель и параллельно вели её подключение, разработку операторов и проверку сервиса. На уже имевшейся базе поддержки KDA и MoE они закрыли новые ветки разреженного внимания и мультимодального инференса, сохранив при этом существующие сервисные возможности фреймворка.
Основной объём работ пришёлся на оптимизацию ключевых операторов и поддержку особенностей инференса: отбор исторической информации, вычисления разреженного внимания, предобработку и вычисление остатков. Всё это сложено с распределённым кэшированием и возможностями фреймворка, чтобы обеспечить длинноконтекстный инференс и развёртывание сервиса. Для практиков Huawei приложила руководства по развёртыванию через vLLM Ascend и SGLang — типичный сигнал, что речь идёт не о лабораторном эксперименте, а о готовом к использованию стеке.
Источник: www.ithome.com
Поделиться