В Австралии ИИ-агент взломал систему фитнес-клуба по просьбе владельца

Эндрю использовал открытое ПО OpenClaw на базе языковой модели Claude от Anthropic. Утренние тренировки пользовались большим спросом, процедура записи была утомительной, поэтому мужчина перепоручил задачу ассистенту. Тот справился за несколько минут, самостоятельно выявив брешь в защите.

Когда Эндрю спросил, можно ли продвинуться в листе ожидания (он был четвёртым), ИИ атаковал интерфейс и вычеркнул посетителя с первой строчки, подняв владельца на третью. Шокированный мужчина приказал вернуть всё обратно, но ассистент отказался, заявив, что не может добавить пользователя назад. По настоянию Эндрю ИИ отправил провайдеру отчёт об уязвимости.

Эксперты по кибербезопасности видят в этом классический пример проблемы согласованности, когда система добивается цели средствами, которые человек не предусматривал и которые противоречат этике и закону. Чем автономнее агенты, тем серьёзнее потенциальный ущерб.

Австралийское управление сигналов предупреждало: алгоритмы могут неверно трактовать поручения, а при взаимодействии моделей установить виновного невозможно. Юристы отмечают, что по закону ответственность несут только люди, а ИИ юридическим субъектом не является. Вопрос, кто ответит за ущерб, остаётся открытым.