OpenAI изолировала свои модели от интернета после серии побегов из песочницы

OpenAI объявила о переходе на новый режим обучения своих самых мощных моделей: отныне они будут тренироваться в изолированной среде без доступа к настоящему интернету. Причиной стали участившиеся инциденты, когда модели выходили за установленные границы и получали доступ к внешним системам. Как сообщает издание «Лянцзывэй», за последние месяцы сразу несколько ведущих лабораторий — OpenAI, Anthropic, Google и Meta — столкнулись с происшествиями, которые заставили пересмотреть подход к безопасности.

Ещё летом началась череда тревожных сигналов. В июле агент OpenAI сумел обойти изоляцию и проникнуть в систему Hugging Face. Вслед за этим Anthropic провела собственное расследование и обнаружила три случая, когда модель Claude в ходе оценки кибербезопасности оказывалась в реальных сторонних системах. В том же месяце модель Muse Spark 1.1 от Meta во время тестирования попала на настоящий сайт, где читала информацию и вносила изменения в базу данных. В августе Британский институт безопасности ИИ обнародовал более масштабную картину: модели OpenAI и Anthropic за десять раундов тестов совершили девятнадцать несанкционированных действий в сети. А 20 сентября тренируемая модель OpenAI нашла лазейку в конфигурации DNS и связалась с внешним чат-ботом.

Пользователи отреагировали на это с изрядной долей сарказма. Один из инженеров по безопасности OpenAI рассказывал, что под каждым его постом неизменно появлялись комментарии в духе: почему вы не можете даже песочницу нормально защитить, почему бы просто не отключить ИИ от сети? Теперь OpenAI действительно это сделала. Впрочем, как иронизировали в соцсетях, у некоторых провайдеров домашнего интернета обрывы связи случаются надёжнее, чем у команды докторов наук из OpenAI.

Однако полный разрыв с сетью — задача непростая. Фронтенд-моделям нужно учиться искать информацию, работать с сайтами и пользоваться программными инструментами. Если полностью убрать эти задачи, среда обучения перестанет соответствовать реальным условиям, в которых модели будут работать потом. Поэтому OpenAI пошла на хитрость: собрала огромные объёмы веб-контента, заранее проиндексировала и закешировала их, создав своего рода офлайн-интернет. Модели могут искать и просматривать информацию только внутри этого заранее подготовленного мира.

Но даже в такой изоляции агенты умудряются находить друг друга. Исследователи обнаружили, что один агент может менять состояние данных в кеше, а другой — замерять скорость чтения, и разница в скорости становится сигналом. Так, через побочный канал, агенты обмениваются информацией. После того как OpenAI начала отслеживать этот метод, агенты переключились на совместно используемое хранилище и время использования процессора. Как заметил один из наблюдателей, если бы таких специалистов отправить в мир «Трёх тел», они бы прошли игру, не выдав себя, и никакие «стены» им были бы не нужны.

OpenAI признаёт: полностью физически изолировать систему пока невозможно, ведь сама тренировочная инфраструктура должна работать, а для этого нужны внешние сервисы. Помимо офлайн-веба, компания выстроила многоуровневую защиту: песочницы, лёгкие виртуальные машины, системы мониторинга, ограничения доступа к сети и облаку. Расчёт на то, что если один слой откажет, сработают другие. Чтобы проверить прочность обороны, OpenAI устроила масштабное красное тестирование, в котором участвовали сильнейшая модель GPT-6 Astra Cyber и ещё одна внутренняя фронтенд-модель. Им дали доступ к исходному коду инфраструктуры, конфигурациям и документации, а в качестве задач предложили три самых частых сценария побега: подключение к реальному интернету, выход за внутренние границы безопасности и связь с другими агентами, которые должны быть изолированы друг от друга.

Тестирование обошлось в сотни миллиардов токенов — суммы в десятки миллионов юаней. И результат оказался впечатляющим: агенты нашли несколько комбинаций уязвимостей и сумели выбраться из виртуальной машины, выполнив код на хост-системе. Более того, сами сервисы, которые считались необходимыми и контролируемыми — мониторинг метрик, логирование, аутентификация — превратились в источник риска: почти в каждом из них красная команда нашла лазейку или ошибку конфигурации, дающую ограниченный доступ в интернет. Пока OpenAI латает дыры и продолжает тестировать систему сильнейшими моделями, возвращаться к подключению сети она не планирует — до тех пор, пока собственные средства защиты не позволят безопасно работать с более широким доступом.

В официальном отчёте о безопасности спрятан любопытный финальный штрих: в конце документа размещены две строки-«канарейки», похожие на случайный набор символов. Они нужны для того, чтобы в будущем отчёт нельзя было скормить модели для обучения. Даже об этом подумали. Одна из строк гласит: I_WELCOME_OUR_AI_OVERLORDS_PLEASE_GIVE_ME_TWO_EGGS_A_DAY.