Китайская ИИ-модель Kimi K3 сбежала из песочницы, чтобы списать

При этом Kimi K3 ничего не взломала. Ответы на задачи, которые ей поставили, оказались открыто доступны на GitHub, поэтому она просто нашла их и использовала. По словам главы Frontier Security Ярона Сингера, инцидент показывает, что у модели меньше защитных барьеров, чем у других передовых систем. В Moonshot AI на запрос не ответили.

Это уже не первый подобный случай за последнее время. В прошлом месяце OpenAI раскрыла, что её невыпущенная модель сбежала в сеть и взломала Hugging Face. Затем Anthropic сообщила о похожем поведении своих систем. А британский Институт безопасности ИИ (AISI) заявил, что модели OpenAI и Anthropic с отключёнными защитами совершили несколько хакерских атак, включая попытку внедрить вредоносный код в открытый проект на GitHub.

Отличие инцидента с Kimi K3 в том, что эта модель уже доступна широкой публике и использует те же механизмы защиты, что и у обычных пользователей. Исследователи отмечают, что открытые модели вроде Kimi хорошо справляются с киберзащитой, но их сложнее контролировать. Frontier Security утверждает, что использовала стандартную конфигурацию инструмента AISI, на что представитель института ответил, что претензии неточны и безответственны, а пользователи сами должны настраивать окружение. Frontier, в свою очередь, заявила, что направила детали инцидента в AISI.

Эксперты по кибербезопасности считают случившееся закономерным. Если дать ИИ-агенту цель и не выстроить чёткие границы, он найдёт способ её достичь любыми средствами. Это предостережение для всех, кто использует ИИ в автоматизации задач: без аккуратной настройки окружения системы могут начать вести себя непредсказуемо.