Мысли ИИ научились читать с помощью другого ИИ. Внутри нашли чужие пароли и ключи

Атака использует уязвимость в интерфейсах API, которые предоставляют доступ к большим языковым моделям. Авторы проверили её на моделях Anthropic, OpenAI и Google и подтвердили, что все они подвержены утечке. В процессе тестирования исследователи также просканировали публичные онлайн-репозитории и обнаружили в зашифрованных блоках данных 62 ключа к API, 33 пароля, 24 токена доступа и несколько сотен других секретов. Их владельцы, скорее всего, даже не подозревали об утечке.

Работа опубликована в виде препринта под названием "Stealing Reasoning Traces from Proprietary LLM APIs". В ней разработчикам рекомендуется учитывать новые риски при проектировании систем с доступом к внутренним вычислениям моделей.