NVIDIA, Cisco и еще 120 компаний предлагают ввести отчетность об инцидентах с ИИ-агентами

С ростом самостоятельности ИИ-агентов в отрасли нет стандартного способа фиксировать сбои и извлекать из них уроки. Документ обяжет участников раскрывать инциденты и вести детальные записи.

Компании должны сообщать о случаях, когда ИИ-система получила несанкционированный доступ к сторонним системам, раскрыла конфиденциальную информацию или продолжала исследовать цели после подозрений оператора. Отчитываться нужно и о едва не случившихся инцидентах. Участники обязаны сохранять улики: промпты, трассировку действий агента, вызовы инструментов.

Уведомить пострадавших нужно как можно скорее, конфиденциальный отчет подается в течение четырех рабочих дней, отчет о фактах — через 30 дней, сведения об устранении последствий — через 90 дней. SAFE выявит повторяющиеся сбои и предложит общие меры защиты.

Как пояснил вице-президент NVIDIA Джастин Бойтано на Black Hat, концепция заимствована у авиационной системы безопасности NASA с ее самописцами. В альянсе надеются, что культура обмена данными об угрозах поможет привлечь участников: по словам замдиректора NVIDIA по информбезопасности Жюльена Сорьяно, сопротивления инициативе почти нет.

Проект вынесен на обсуждение Linux Foundation.