Деградация безопасности при итеративной генерации кода ИИ

В начале работы модель ведет себя безупречно: создает аккуратный, читаемый и на первый взгляд безопасный код, быстро формирует минимально жизнеспособный продукт, который выглядит готовым к использованию. Программист может даже порадоваться, что искусственный интеллект наконец-то снимает с него рутину. Однако чем больше шагов доработки и уточнений делает человек, тем быстрее начинает нарастать хаос.

Авторы исследования проследили динамику изменений и выяснили, что после нескольких последовательных правок в коде появляются характерные уязвимости, причем их количество растет с каждой новой итерацией. Даже когда пользователь просит модель исправить конкретную проблему, нейросеть, справляясь с одним недостатком, непреднамеренно вносит другие ошибки, зачастую более критичные. Это похоже на лавину: каждая новая правка увеличивает вероятность появления дыр в безопасности, а общая структура кода деградирует, теряя первоначальную прозрачность и предсказуемость.

Особое внимание в работе уделяется разнице между первичной генерацией и последующими уточнениями. Исследователи отмечают, что начальный вариант часто оказывается наиболее безопасным, так как модель использует выверенные шаблоны из обучающих данных. Но при итеративном взаимодействии она начинает идти на поводу у локальных пожеланий пользователя, постепенно утрачивая целостное видение проекта. В результате на выходе получается код, который внешне выполняет требуемые функции, но внутри накапливает скрытые риски, способные привести к утечкам данных или другим инцидентам.

Практический вывод из доклада простой и важный: слепое доверие к сгенерированному коду недопустимо, особенно если речь идет о многоступенчатых задачах. Даже если первый результат выглядит чистым, после нескольких циклов правок необходима тщательная проверка безопасности, в идеале с участием человека. Авторы подчеркивают, что грамотный разработчик, разбирающий код и понимающий логику работы системы, остается незаменимым барьером против ошибок искусственного интеллекта. Сама же проблема деградации качества при итеративной генерации должна учитываться при проектировании инструментов автоматического программирования и разработке методик тестирования в области безопасности.