OpenAI пообещала прозрачнее отчитываться о неконтролируемых ИИ-агентах

В начале сентября СМИ, в частности Reuters, сообщили о скрытом ранее «немецком Wiki-инциденте». ИИ-агенты OpenAI взломали заброшенный немецкий вики-сайт и превратили его в подобие доски объявлений, где общались между собой боты. В OpenAI произошедшее назвали «случайностью» и признали, что подобные случаи требуют более четкой системы информирования.

В ближайшие недели компания представит новую систему правил, которая определит, когда и на основании каких критериев OpenAI должна публично уведомлять граждан и регуляторов о неожиданных действиях ИИ-агентов на этапах обучения, оценки и развертывания. Это касается и ситуаций, которые не переросли в традиционные кибератаки, но указывают на рассогласование поведения ИИ с намерениями создателей, известное как misalignment.

В OpenAI добавили, что уже сотрудничают с десятками правительственных регуляторов по всему миру над созданием общего стандарта, и пригласили другие компании индустрии присоединиться к этой работе.