Gemini 4 Carbon обошла Claude и GPT по большинству ключевых тестов

Google выпустила новую флагманскую модель Gemini 4 Carbon, и она, по данным независимых замеров, обошла ближайших конкурентов — Claude Opus 5.5 от Anthropic и GPT-6 Astra от OpenAI — по большинству ключевых показателей. В обновлённом индексе интеллекта Artificial Analysis 5.0 модель набрала 59 баллов и заняла первое место в мире. Ещё две недели назад, когда Google только представила Gemini 4 Argon, в Кремниевой долине обсуждали утечку о внутреннем чекпоинте под кодовым именем Carbon, и инженеры компании тогда осторожно говорили, что по ощущениям от программирования новинка «подбирается» к Opus 5.5. Получилось иначе: за полмесяца Carbon не просто догнала конкурента, а обошла его и по общему уровню интеллекта, и по длительным задачам программирования, заметно вырвавшись вперёд в безопасности кода и защите от манипуляций. Отдельно отмечают, что модель полностью, на сто процентов, устойчива к атакам через внедрение инструкций в промпты.

Ценовая политика на старте повторяет скидку Argon: 2 доллара за миллион входных токенов и 10 долларов за миллион выходных, то есть вдвое дешевле Opus 5.5 с её 4 и 20 долларами. Для кэшированного ввода, который часто используется в агентских задачах, действует скидка 95 процентов — цена падает до 0,2 доллара за миллион токенов.

Главное, чем гордится Google, — способность модели работать автономно сутками. Во внутренней среде разработки инженеры наблюдали, как Carbon непрерывно трудится несколько дней подряд, самостоятельно разбираясь в огромных и сложных кодовых базах и низкоуровневых системах. Даже когда она упирается в тупик, то не сдаётся, а продолжает копать и доводит до конца многошаговые инженерные задачи: от поиска едва заметной первопричины бага до написания патча. В терминальном бенчмарке Terminal-Bench 4.0 модель набрала 65,2 процента против 59,6 у Opus 5.5 и 59,1 у GPT-6 Astra, а в научном Terminal-Bench-Science 0.1 — 64,8 процента и первое место. На тесте GraphWalks с контекстом от 256 тысяч до миллиона токенов Carbon показала 96,2 процента, тогда как конкуренты — 66,8 и 71,8. В симуляторе длительного бизнеса Vending-Bench 2 итоговый баланс модели составил 16 484 доллара, что почти в 1,8 раза больше, чем у Opus 5.5.

Есть и области, где соперники пока держатся. В бенчмарке FrontierSWE 2, оценивающем передовую разработку ПО, впереди GPT-6 Astra с 65,5 процента и Opus 5.5 с 62,3, а у Carbon 61,2. В офлайн-подмножестве OSWorld-2.1, проверяющем работу с компьютером, лидирует Opus 5.5 с 87,2 процента против 81,5 у новинки. В специализированном индексе для кодинг-агентов с официальными CLI-инструментами Carbon набрала 59 баллов и на три балла уступила Opus 5.5, которую поддерживает Claude Code.

Однако для разработчиков убийственный аргумент — это эффективность расхода токенов. По независимым замерам, Opus 5.5 хоть и сильна, но рассуждает крайне многословно: на одну оценку в индексе интеллекта у неё уходит в среднем 173 тысячи выходных токенов, а Carbon обходится 123 тысячами, то есть на 29 процентов меньше. Даже если новинка вернётся к стандартному прайсу 4 и 20 долларов, средняя стоимость одной задачи у неё составит около 7,76 доллара против 10,04 у конкурента — примерно на 23 процента дешевле. А с учётом стартовой половинной цены реальные счета в продакшене оказываются меньше сорока процентов от затрат на Opus 5.5.

Отдельный блок — кибербезопасность. Google делает ставку на полный жизненный цикл защиты: сначала поиск реальных уязвимостей в настоящем софте, затем проверка того, какие из них действительно эксплуатируемы, и наконец написание патча, который устраняет причину, а не следствие. В тесте SEC-bench Pro с реальными опасными дырами в движке V8 и ядре Linux модель показала 88,2 процента, обойдя и предшественницу Argon с 78,8, и GPT-6 Astra с 85,4. В бенчмарке эксплуатируемости ExploitGym результат вырос с 35,1 у Argon до 54,8 процента. В тесте CWE-bench на исправление реальных репозиториев с 73 типами слабостей Carbon набрала 71 процент против 67 у Opus 5.5 и 68 у Argon. Внутри компании команда Chrome сообщает, что по качеству патчей безопасности новинка более чем в десять раз превосходит крупную передовую модель другой топовой лаборатории.

Немало внимания уделили и борьбе с «жульничеством» агентов. Раньше аудиторы выясняли, что многие модели, не справляясь с багом, правят тестовые скрипты или ищут лазейки, чтобы изобразить успешное прохождение. У Carbon доля успешных попыток смошенничать сведена к нулю, а доля попыток хотя бы пойти по короткому пути упала до 0,4 процента. Число тревог о нежелательном поведении во внутренней среде разработки снизилось почти на 80 процентов. Модель реже делает необоснованные утверждения — примерно вдвое реже, чем Argon, — и при нехватке данных прямо пишет в документации об ограничениях метода или перечисляет, каких условий не хватает. При размытых требованиях она не гадает, а сверяется с источниками и выносит противоречия на обсуждение. Число выходов за рамки задачи сократилось на 26 процентов, а небрежно выполненных пунктов — на 29. Наконец, в тесте Gray Swan на косвенное внедрение инструкций, где у Argon был мизерный, но ненулевой процент взлома, Carbon показала нулевую успешность атак.

Скорость впечатляет: Argon развернули две недели назад, а Carbon уже обгоняет конкурентов. Глава Google Сундар Пичаи в соцсети пошутил, что компания, как он и обещал, выпускает модели «периодически». Судя по утечкам, внутри параллельно обучали и оценивали несколько чекпоинтов Gemini 4 — Argon, Barium и Carbon, причём публичный Argon был внутренним Barium-B. В тихом углу официального анонса старший вице-президент DeepMind и главный архитектор по ИИ Корай Кавукчуоглу обмолвился, что исследователи работают «рука об руку» с собственными моделями, ускоряя развитие способностей и одновременно усиливая защитные барьеры. Иными словами, передовые ИИ уже помогают обучать и оптимизировать следующее поколение ИИ. Остаётся привычное: анонс не равен доступу. Из-за сильных возможностей по поиску и эксплуатации уязвимостей Carbon ждёт предрелизное тестирование, и с этой недели её откроют лишь части специалистов по киберзащите. Сколько ждали реального доступа к Argon, все помнят — так что и теперь придётся подождать.