У нас есть для вас пакет! Как LLM выдумывают несуществующие зависимости

Большие языковые модели всё чаще подсказывают программистам, какие библиотеки и пакеты использовать. Но что, если модель порекомендует проект, которого на самом деле не существует? Разработчик, доверившись авторитету ИИ, может включить в код несуществующую зависимость, а злоумышленник — воспользоваться этой ошибкой и опубликовать под придуманным именем вредоносный пакет. Так безобидная галлюцинация алгоритма превращается в реальную угрозу для цепочки поставок программного обеспечения.

Исследователи изучили это явление в работе We Have a Package for You! Авторы проверили 16 популярных моделей, которые генерируют код, и собрали 576 тысяч образцов на Python и JavaScript. Оказалось, что модели регулярно выдумывают названия несуществующих пакетов, причём в значительной доле случаев такие рекомендации выглядят совершенно правдоподобно. Учёные проанализировали, как часто возникают галлюцинации, и предложили способы их выявления.

За исследование авторы получили награду Distinguished Paper Award на конференции USENIX Security 2025. Это признание серьёзности проблемы: разработчики и компании, которые полагаются на ИИ-ассистентов, должны помнить, что не всё, что пишет модель, существует в реальности. Перед установкой пакета стоит проверять его в официальном реестре — иначе ошибка алгоритма может стать точкой входа для атаки.