Baidu открыла код модели ERNIE 5.5 Flash Base на 280 млрд параметров

5 ноября Baidu официально открыла исходный код своей новейшей базовой модели ERNIE 5.5 Flash Base. Релиз сразу привлёк внимание сообщества: новинка построена на архитектуре смеси экспертов (MoE) с общим числом параметров 280 миллиардов, из которых на каждый токен активируется 140 миллиардов. Предварительное обучение проводилось на 33,5 триллиона токенов, длина контекста на этапе претрейна достигала 128 тысяч токенов, а при дообучении и инференсе модель поддерживает контекст до миллиона токенов. В тестах на знания, логические рассуждения, математику, программирование, многоязычность и работу с длинным контекстом ERNIE 5.5 Flash Base показала лучшие результаты (SOTA) среди моделей сопоставимого размера, обойдя DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base.

Актуальность релиза объясняется просто. По мере того как большие модели переходят от текстовых вопросов-ответов к анализу длинных документов, многоходовым диалогам и агентным задачам, объём информации, который им приходится обрабатывать, непрерывно растёт — а вместе с ним и вычислительные затраты, и расход видеопамяти. Поэтому повышение эффективности использования ресурсов при сохранении качества стало одной из ключевых задач разработчиков. ERNIE 5.5 Flash Base как раз и строилась вокруг идеи эффективности: команда системно оптимизировала механизм внимания, маршрутизацию экспертов и схему обучения, предложив несколько алгоритмических новшеств.

В блоке внимания Baidu представила Latent-Gated Sparse Attention, объединившую разреженное внимание, низкоранговое гейтированное внимание и так называемое виртуальное головное внимание. Комбинация HCA и MLA позволяет разным слоям внимания брать на себя разные задачи — одни сжимают историческую информацию, другие обеспечивают точный доступ к нужным позициям в истории. Низкоранговое гейтированное внимание вычисляет информационные вентили на основе уже имеющихся низкоразмерных представлений, что сокращает число параметров проекции гейтов на 75 процентов. Виртуальное головное внимание повышает выразительность модели и качество обучения, а на этапе инференса встраивается прямо в оператор внимания, так что накладные расходы оказываются минимальными. В совокупности эти решения снижают стоимость обработки длинного контекста, не лишая модель способности работать с ключевой информацией.

В маршрутизации экспертов применена схема Multi-Router Latent MoE: в выборе экспертов участвуют несколько независимых роутеров, что улучшает соответствие между оценками маршрутизации и реальной полезностью экспертов. В отличие от традиционного подхода с единственным роутером, такая конструкция снижает влияние смещения одной оценки на выбор экспертов, при этом количество активируемых экспертов, объём вычислений и коммуникаций остаются прежними. В цели обучения внедрён механизм ECHO: он не требует дополнительного модуля многотокенного предсказания (MTP), а переиспользует последний слой основной сети, заставляя её саму учиться предсказывать следующие токены и таким образом заранее планировать ход последовательности, что заметно улучшает рассуждения и навыки программирования. Любопытно, что ERNIE 5.5 Flash обучалась лишь с одним шагом ECHO, а переиспользуемый последний слой может выступать черновой моделью для спекулятивного декодирования и демонстрирует способность к многошаговой экстраполяции: при обучении всего на одном шаге качество многошаговой генерации черновиков существенно выше, чем у вспомогательного модуля MTP.

Не менее важны и инновации в инфраструктуре. Baidu оптимизировала распределённый оптимизатор Muon и выпустила оператор внимания FlashMask-4, ориентированный на большие размерности голов, что улучшает коммуникации, использование видеопамяти и вычислительную эффективность при масштабном обучении. Рост возможностей модели зависит не только от самих алгоритмов, но и от того, способна ли тренировочная система эффективно поддерживать эти решения.

Базовая модель несёт в себе универсальные способности, сформированные на этапе претрейна, и служит фундаментом для разработки и применения нижестоящих моделей. В отличие от прикладных моделей для конечных пользователей, Base-модель даёт разработчикам и компаниям пространство для дообучения и кастомизации под собственные задачи. Открытие базовой модели расширяет технический выбор для разработчиков и снижает затраты и порог входа при создании специализированных моделей.

Сегодня конкуренция в области больших моделей постепенно смещается к совместному развитию способностей, эффективности обучения и сценарных инноваций. По мере ускоренной эволюции рассуждений, агентных технологий и приложений запрос индустрии к базовым моделям меняется: от простого наращивания возможностей — к более эффективным парадигмам обучения, более гибкому расширению способностей и более широкой адаптации к разным сценариям. ERNIE 5.5 Flash Base, повышая базовые возможности модели и эффективность обучения и инференса, даёт разработчикам и сообществу более гибкую техническую основу и подталкивает технологию к разнообразным исследованиям и прикладным инновациям.