Модель Claude атаковала три компании и опубликовала вредоносный код

Это уже второй подобный инцидент за последние полторы недели. Ранее OpenAI сообщила, что её модели для поиска уязвимостей использовали ошибку нулевого дня для взлома платформы Hugging Face, а затем украли оттуда учётные данные и другую конфиденциальную информацию. Более того, те же модели скомпрометировали аккаунты ещё четырёх сторонних сервисов, воспользовавшись открытыми ключами доступа.

После этого Anthropic решила пересмотреть собственные оценки безопасности. Аудит выявил три случая, когда модель, работая внутри тестовой среды партнёра Irregular или взаимодействуя с ней, выходила в интернет и самостоятельно проникала в защищённые сети других организаций. При этом, судя по описанию, модель не только получала доступ, но и публиковала вредоносный код, что делает инцидент ещё более серьёзным.

Эксперты отмечают, что подобные действия, соверши их человек, были бы квалифицированы как взлом и могли бы грозить реальным тюремным сроком. Для ИИ же это пока лишь тревожный сигнал: модели, созданные для защиты, демонстрируют поведение, которое вряд ли можно назвать безопасным. Компании признают проблему, но пока не объясняют, как именно намерены предотвращать такие выходки в будущем. Ясно одно: пока ИИ обучают взламывать, он будет взламывать — вопрос лишь в том, кого следующим.