Модель Zeva с замороженными весами повысила успех с 26% до 73%
Секрет — в контекстном каузальном обучении (In-Context Causal Learning, ICCL). Обычно адаптация требует сбора данных, дообучения и градиентных обновлений. Zeva вместо этого извлекает из своих действий причинно-следственные связи «действие — изменение состояния», превращает их в компактные сигналы и сохраняет в двухуровневой памяти. Кратковременный след удерживает текущую попытку, долговременный накапливает опыт для следующих подходов. При решении модель строит особый промпт из нужных интеракций и подаёт его в замороженную модель действий. Никакого обновления весов.
Именно поэтому Zeva становится сильнее в процессе работы. В симуляторе RoboCasa365 успешность выросла с 26 до 73 процентов. В реальной лаборатории точность операций тоже повысилась: взятие пробирки — с 65 до 100 процентов, установка стакана — с 25 до 70, переливание воды — с 30 до 80. Одна демонстрация человека добавляла до 20 процентных пунктов. Разработчики видят в этом новую траекторию масштабирования воплощённого ИИ: не через рост параметров, а через рост причинно-следственного контекста. Каждая попытка, даже неудачная, становится полезным знанием о физическом мире.
Источник: www.qbitai.com
Поделиться