Как управлять reasoning effort в LLM

Современные большие языковые модели всё чаще предлагают пользователям тонкую настройку «глубины размышлений» — так называемого reasoning effort. От того, сколько вычислительных ресурсов модель готова потратить на задачу, напрямую зависят и скорость ответа, и его качество. Разработчики применяют сразу несколько подходов, чтобы дать возможность управлять этим параметром, и в новых поколениях моделей эти механизмы становятся всё более гибкими.

Один из самых простых и распространённых способов — системные промпты. Модель инструктируют отвечать кратко и по существу или, наоборот, подробно и многошагово. Однако такой метод работает лишь в ограниченных пределах. Более надёжный путь — обучение с учителем (SFT), когда модель настраивают на примерах с разной степенью детализации рассуждений. Дополнительно применяют обучение с подкреплением на основе правил (RLVR), которое позволяет поощрять модель за достижение нужной длины рассуждений или за решение задач с определённой глубиной анализа. Штрафы за излишнюю длину помогают сократить «пустые» размышления, а так называемые reasoning budgets задают жёсткий лимит на число токенов, которое модель может потратить на внутренний монолог.

Отдельного внимания заслуживает on-policy-дистилляция. Это техника, при которой более мощная модель генерирует рассуждения нужного уровня сложности, а затем на этих данных обучается компактная модель. Такой подход позволяет перенести способность контролировать reasoning effort на модели меньшего размера, что важно для практического применения.

Новые модели активно используют комбинации этих методов. Например, семейство DeepSeek V4 предлагает настройку глубины размышлений на уровне системного промпта, тогда как Nemotron 3 Ultra от NVIDIA задействует штрафы за длину в сочетании с RLVR. Kimi K2.5 и K3 от Moonshot делают ставку на адаптивные reasoning budgets, позволяя модели самой решать, сколько «думать» в зависимости от сложности задачи. GLM-5 и Qwen3 также внедряют гибридные схемы, а в модели Inkling часть механизмов вынесена на уровень API, что даёт разработчикам прямой контроль над вычислительными затратами.

По сути, управление reasoning effort становится такой же стандартной опцией, как выбор температуры или максимального числа токенов. Для бизнеса это означает экономию на инфраструктуре: простые запросы обрабатываются быстро и дёшево, а сложные — с полной глубиной анализа. Для исследователей — возможность изучать поведение моделей в разных режимах. Индустрия движется к тому, чтобы каждый мог сам настраивать баланс между скоростью и качеством ответа, и перечисленные техники лягут в основу следующего поколения LLM.