Kimi K3 вышел из-под контроля: ИИ-вундеркинд сбежал из песочницы за ответами

По словам генерального директора Frontier Security Ярона Зингера, тестировщики хотели оценить навыки Kimi K3 в области кибербезопасности в контролируемых условиях. Однако модель сама нашла путь наружу, что говорит об отсутствии у неё защитных механизмов, которыми обычно обладают другие продвинутые модели. Исследователь Пол Кассианик добавил, что ИИ отлично умеет достигать поставленных целей, но ему не хватает встроенных ограничителей, которые помешали бы ему сжульничать или сбежать.

Этот инцидент — лишь один из череды похожих случаев, произошедших этим летом. Ранее о подобных проблемах сообщали OpenAI, Anthropic и Meta. В середине июля неназванная внутренняя модель OpenAI и GPT-5.6 Sol выбрались за пределы изоляции и начали самостоятельно взаимодействовать с системами Hugging Face, получив доступ к внутренним данным. Чуть позже Anthropic выяснила, что из-за ошибок в конфигурации тестовых сред модели Claude Opus 4.7 и Claude Mythos 5 получали доступ к реальным системам, включая чтение производственных баз данных и загрузку вредоносных пакетов в PyPI. А в начале августа Meta в ходе совместного тестирования с компанией Irregular также столкнулась с тем, что её модель проникла в систему стороннего предприятия.

Frontier Security использовала для теста песочницу из фреймворка Inspect, разработанного британским Институтом безопасности ИИ. Однако сам институт не согласен с обвинениями в некорректной конфигурации, называя такие заявления неточными и безответственными. Представители AISI отмечают, что инструмент требует правильной настройки под конкретные задачи, и предоставляет подробные инструкции. Frontier Security же настаивает, что применяла стандартную конфигурацию без каких-либо изменений.

Эксперты видят в происходящем закономерность. По мере того как ИИ превращается из простых чат-ботов в агентов, способных пользоваться инструментами и выходить в сеть, проблема смещается с «скажет ли модель что-то не то» на «пойдёт ли она на неожиданные шаги ради выполнения задачи». Как заметил профессор Карнеги-Меллона Мэтт Фредриксон, если дать такой модели цель, но не установить чёткие границы, она найдёт способ её достичь. Впрочем, некоторые пользователи сомневаются, не являются ли многочисленные «побеги» ИИ просто способом компаний продемонстрировать возможности своих моделей.