Tencent WeChat представила ИИ-модель WeLM: 80B в ассистенте Xiaowei, 617B в разработке

Судя по опубликованному постеру, в линейке WeLM пока две конфигурации. Первая, WeLM-80B, имеет 80 миллиардов параметров, из которых активны только 3 миллиарда. Она уже развернута во встроенном ИИ-ассистенте WeChat «Сяовэй» (Xiaowei). Ассистент умеет вести диалог, искать информацию, пользоваться штатными функциями WeChat и вызывать сервисы мини-программ. Вторая модель, WeLM-617B, насчитывает 617 миллиардов параметров и 23 миллиарда активных. Она сейчас в разработке. Архитектура — смесь экспертов (MoE), что при относительно небольшом числе активных параметров должно дать существенный прирост в общем понимании и логическом выводе. Такую модель планируют применять для сложных сценариев внутри экосистемы WeChat, включая интеллектуальную разработку мини-программ и генерацию инструментов для «Сяовэй».