Kimi K3.1 Pro: рывок в агентных задачах и первое место в Terminal-Bench
Самый впечатляющий прогресс — в агентных сценариях. В сводном индексе независимой лаборатории Artificial Analysis Kimi K3.1 Pro поднялась с 44 до 55 баллов и заняла четвёртое место, а в тесте Terminal-Bench 4.0, где модель должна довести задачу до конца в командной строке и пройти все проверки, результат вырос с 12,6 до 67,2 процента — первое место среди опубликованных на тот момент результатов. Для людей без технического бэкграунда показательнее офисные тесты: в GDPval-AA, оценивающем качество документов, таблиц и презентаций, модель заняла третье место, а в AutomationBench-AA, где нужно провести работу через почту, таблицы и CRM, целевая доля выполненных задач выросла с 58,3 до 73,3 процента. В собственных замерах Kimi Pro обошла Opus 5.5 в двух дисциплинах — длительном программировании SWE-Marathon v1.1 (51,7 против 46,3 процента) и финансовых вопросах OfficeQA Pro v2 (64,4 против 62,2), хотя часть результатов конкурента взята из внешних рейтингов.
Прогресс неравномерен: в сложном тесте HLE с инструментами модель набирает 70 процентов и опережает конкурента, а без инструментов — лишь 51,1 против 59,8. В тесте на длинный контекст от Artificial Analysis результат даже слегка просел — с 88,7 до 86,3 процента. Зато демонстрация с виртуальным человеком, который учится ходить, выглядит почти символической: сначала аватар постоянно падает, но модель сама пишет симулятор, планирует тренировки, оценивает результаты и правит методику. Когда руки персонажа так и не начали двигаться правильно, она полезла в код симулятора, нашла 36 ошибок в расчёте плечевых рычагов мышц и переобучила контроллер. Именно этот момент — не финальная походка, а способность заметить и исправить ошибку в собственной среде — и кажется самым интересным.
Цена вопроса тоже изменилась: обычный Pro подешевел до 68 юаней за миллион выходных токенов против ста у K3, тогда как Highspeed обойдётся в 136. Правда, с расходом токенов у пользователей уже началась путаница: в одном отчёте модель выдала 111 токенов в секунду и Highspeed не понадобился, а в тесте с интерактивным 3D-джойстиком на пятисотюаневом тарифе правки съели почти весь лимит. По правилам Kimi все функции делят месячную квоту, а на Code действует отдельное ограничение на скользящее использование, так что итог зависит от всего пути — от генерации до последней правки.
Практические опыты подтверждают: модель уверенно справляется с физикой и анализом звука, но спотыкается о пространственную логику. В сцене «пеликан едет на велосипеде» птица с велосипедом поменялись местами, однако транспорт повис в воздухе, не опираясь на спину. Симуляция шаров в крутящемся семиугольнике прошла чисто, без провалов сквозь стены, аудиоанализ корректно отражал частоту и громкость, простой видеоредактор сохранял проекты после перезагрузки, а вот в 3D-сцене по мотивам «Цинмин шанхэ ту» персонажи поначалу проваливались в реку и проходили сквозь лавки — и всё это модель исправляла сама, без дополнительных подсказок, попутно точно рассчитав тени. Финальная версия всё же оставила мелкие огрехи: прохожие задевают стены, а вода местами перекрыта землёй, из-за чего лодка будто скользит по суше.
И всё же главный вопрос — куда всё это ведёт. На фоне слухов о том, что Moonshot набирает специалистов по embodied AI и обзванивает сотрудников робототехнических компаний, демонстрация с обучающимся ходить аватаром выглядит не случайной. Наиболее правдоподобная схема будущего: сильная модель проектирует и улучшает тренировку, политика управления учится в симуляции, а при реальном запуске быстрая мультимодальная модель наблюдает за средой и планирует, передавая команды нижнему уровню управления. Именно поэтому все ждут дешёвой и быстрой Flash — она пригодилась бы для наблюдения и планирования, тогда как Pro достанутся сложные рассуждения. Пока же Kimi выпустила только Pro, а обещанные Flash и Ultra остаются заделом на будущее, и следующей важной вехой рынок считает открытые веса Qwen4.
Источник: www.tmtpost.com
Поделиться