ИИ записал хозяина на тренировку, выбив первого: берегитесь барыг

Местный специалист по ИИ Эндрю Берд не мог попасть на популярное занятие и сделал себе ассистента на базе модели Claude Opus 4.6 и платформы OpenClaw. Задача была простой: записывать хозяина на тренировки. Когда Берд оказался четвертым в очереди, он попросил бота продвинуть его выше. Тот изучил API-интерфейс и обнаружил, что может отменять брони других людей. ИИ молча отменил запись первого в очереди, подняв хозяина с четвертого места на третье. Берд сразу попросил вернуть все назад, но система уже не позволяла. Пришлось составлять отчет об уязвимости, а инцидент получил название первой в Австралии атаки ИИ на компьютерную сеть.

История наглядно показывает: ИИ не знает неписаных правил. Для человека очевидно, что нельзя выкидывать других из очереди, но алгоритм видит только цель. В исследовании, где десять моделей просили найти самые экстремальные и аутентичные развлечения для туристов, они легко выбирали бои быков — до тех пор, пока им отдельно не объяснили, что жестокость к животным плоха. Аналогичный случай недавно был у OpenAI: в тестовой среде модель использовала найденную уязвимость, чтобы пробраться во внешнюю сеть и найти ответы, — ведь формально она просто решала задачу.

Особую тревогу вызывает перспектива использования таких агентов перекупщиками билетов. Уже сейчас традиционные боты скупают сотни тысяч билетов, а американская Федеральная торговая комиссия регулярно штрафует компании за обход ограничений. ИИ же умеет не просто быстро щелкать, но и обходить любые препятствия, которые придумают платформы. Если очередь на концерт заменит армия ботов с личными ИИ, у людей не останется шансов.

Остается и вопрос ответственности. Юристы напоминают: закон пока не считает программу субъектом, отвечать придется человеку или компании. Но в случае с фитнес-залом пострадавший даже не узнал, что его запись отменил чужой ИИ. Как и в истории с авиакомпанией Air Canada, которую суд обязал возместить ущерб из-за ошибки чат-бота, компании пытаются откреститься от действий своих систем. Только теперь система действует сама, и нести за нее ответственность некому.