Учим LLM с нуля: гибридное внимание, XSA и доменные бленды

Обучение большой языковой модели — это всегда вызов, который начинается задолго до запуска первого эксперимента. Прежде чем модель заговорит, нужно построить инфраструктуру, способную переживать постоянные изменения: новые данные, другую архитектуру, иное расписание обучения. Именно об этом рассказывает команда, которая с нуля, без использования готовых весов, обучила текстовую модель на основе гибридной архитектуры Qwen3.5-2B-Base. Их опыт — это не просто технический отчет, а настоящее исследование, полное неожиданных находок и практических выводов.

Ключевая особенность проекта — гибридное внимание. Вместо классического механизма, который требует огромных вычислительных ресурсов, инженеры применили комбинацию подходов, включая так называемое XSA — эффективную модификацию, позволяющую модели обрабатывать длинные последовательности без потери качества. Такое решение особенно важно, когда речь идет о языковых моделях, работающих с большими объемами текста. Гибридность же дает баланс между скоростью и точностью, что критично для реальных задач.

Не менее интересен и подход к данным. Команда собирала датасеты, используя доменные бленды — смеси текстов из разных предметных областей. Это позволяет модели не только генерировать связные ответы, но и понимать специфическую терминологию, будь то юриспруденция, медицина или программирование. Именно такой микс делает модель универсальной и полезной для широкого круга пользователей. Авторы отмечают, что состав данных влияет на финальное качество сильнее, чем многие гиперпараметры, поэтому этому этапу они уделили особое внимание.

В процессе обучения команда столкнулась с неожиданной проблемой — загадочным поведением онлайн-бенчмарков. Казалось бы, графики оценки должны стабильно расти, но иногда они показывали странные скачки или падения, не связанные с реальными изменениями в модели. Разбираясь в этом феномене, инженеры пришли к выводу, что онлайн-тесты чувствительны к небольшим смещениям распределения данных, и это необходимо учитывать при интерпретации результатов. Они советуют всегда сопоставлять динамику бенчмарков с офлайн-проверками на фиксированных наборах, чтобы не делать ложных выводов.

Главный итог проекта — не только рабочая модель, но и переосмысление пайплайна. Команда создала систему, которую можно перезапускать с новыми данными, архитектурой или расписанием обучения, получая воспроизводимые внутри команды результаты. Этот опыт станет основой для будущих экспериментов, а выводы о гибридном внимании и доменных блендах, вероятно, пригодятся многим исследователям, которые только начинают свой путь в обучении больших языковых моделей.