Маршрутизация моделей проста только до продакшна

Маршрутизация языковых моделей на первый взгляд кажется тривиальной задачей. Простые запросы отправляются дешёвым моделям, сложные — дорогим, а специализированные решают отдельные классы задач: программирование, обработку изображений, анализ документов. Однако исследователи IBM Research обнаружили, что в агентных системах такая схема быстро перестаёт работать. Агентная система разбивает задачу на несколько шагов, и на каждом требуется вызов модели. Выбор на одном шаге влияет на последующие, а накопленный контекст усложняет оценку запроса.

Проблема превращается из простого выбора в оптимизацию всей инфраструктуры. Маршрутизатор должен учитывать качество, стоимость, задержку, состояние ресурсов и ограничения, включая бюджет и требования к конфиденциальности. Фиксированные правила вроде «модель X для кода, модель Y для изображений» в таких условиях устаревают. Например, агент, сначала анализирующий документ, а затем генерирующий код, может обращаться к разным моделям на разных шагах в зависимости от промежуточных результатов.

Исследователи подчёркивают: переход от прототипа к продакшену требует пересмотра подходов к маршрутизации. То, что работает в тесте, не обязательно эффективно при реальной нагрузке. Нужно постоянно мониторить производительность и адаптировать маршрутизатор. По сути, маршрутизация становится частью общесистемной оптимизации, где каждая модель — ресурс, а выбор между ними — балансировка нагрузки.

Вывод IBM Research важен для всех, кто проектирует агентные системы на основе больших языковых моделей. Нельзя полагаться на интуитивно простое решение. Нужно закладывать гибкость и учитывать взаимодействие компонентов, иначе возможны рост расходов, падение качества или непредсказуемое поведение в реальной эксплуатации. Маршрутизация — это не разовая настройка, а постоянная работа.