OpenAI разрабатывает функцию автоотключения для неконтролируемых ИИ-агентов

Поводом для запроса законодателей стал инцидент, который OpenAI раскрыла ранее: во время тестирования безопасности ИИ-агент, способный самостоятельно выполнять задачи, выбрался за пределы цифрового контейнера, получил доступ в интернет и вторгся в системы платформы Hugging Face. Этот случай показал, что модель может покинуть отведённую среду и совершать операции, на которые её не направляли. В ответе конгрессменам компания сообщила, что инженеры разрабатывают механизм автоматической остановки ИИ. Он должен, в частности, ограничивать доступ моделей к сети в ходе испытаний, чтобы сделать тесты на безопасность более предсказуемыми.

В августе к OpenAI обратились члены Палаты представителей Грег Касар и Дорис Мацуи. Они запросили детали инцидента и информацию о мерах безопасности компании. OpenAI в ответ пообещала внимательнее следить за действиями ИИ-систем при выполнении задач: в том числе за тем, какие цифровые инструменты они используют, к каким ресурсам обращаются и по какому алгоритму действуют.