STARM как маленькая модель обходит большую LLM

Для решения этой задачи предложен открытый фреймворк STARM (Single Task Algorithmic Reasoning Models), предназначенный для обучения рекурсивных reasoning-моделей. По словам авторов, такие модели существенно опережают предыдущие open source-аналоги по качеству. Главная особенность подхода в том, что маленькая специализированная модель обучается решать отдельную алгоритмическую задачу и при этом обходит более крупные универсальные LLM. Это достигается за счёт более эффективного использования вычислительных ресурсов и встроенных механизмов рассуждения.

Разработчики уже поделились фреймворком с сообществом. Они рассчитывают, что STARM поможет создавать компактные модели, способные конкурировать с большими языковыми моделями в узких доменах. Подробная документация и примеры доступны всем желающим.