AI幻觉催生新型网络威胁:Slopsquatting攻击
生成式AI模型推荐不存在的依赖包引发"幻觉"现象,导致新型软件供应链攻击"Slopsquatting"。研究发现16个代码生成模型中约20%推荐的软件包为虚假存在。攻击者利用AI错误推荐劫持依赖包名称。研究显示幻觉具有持久性和重复性特征。专家建议开发者使用依赖项扫描工具筛查恶意软件包,并改进AI模型测试以减少风险暴露面。 2025-4-14 03:29:25 Author: www.freebuf.com(查看原文) 阅读量:0 收藏

freeBuf

主站

分类

云安全 AI安全 开发安全 终端安全 数据安全 Web安全 基础安全 企业安全 关基安全 移动安全 系统安全 其他安全

特色

热点 工具 漏洞 人物志 活动 安全招聘 攻防演练 政策法规

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

AI幻觉

图片来源:Shutterstock/agsandrew

网络安全研究人员警告称,由生成式AI(Generative AI)模型推荐不存在依赖项引发的幻觉现象,正导致一种新型软件供应链攻击——Slopsquatting(暂译"AI依赖项劫持")。来自德克萨斯大学圣安东尼奥分校、弗吉尼亚理工大学和俄克拉荷马大学的研究团队发现,大型语言模型(LLM,Large Language Model)生成的代码普遍存在"包幻觉"现象,这正被威胁分子所利用。

AI推荐虚假依赖包成隐患

研究团队在论文中指出:"Python和JavaScript等流行编程语言对集中式软件包仓库和开源软件的依赖,加上代码生成LLM的出现,为软件供应链带来了新型威胁——包幻觉。"通过分析包括GPT-4、GPT-3.5、CodeLlama、DeepSeek和Mistral在内的16个代码生成模型,研究人员发现约五分之一的推荐软件包为虚假存在。

Socket安全公司分析报告显示:"如果某个AI工具广泛推荐一个幻觉软件包,而攻击者已注册该名称,就可能造成大规模入侵。考虑到许多开发者未经严格验证就信任AI输出,这种威胁的潜在影响范围极大。"

攻击者利用命名规律实施劫持

这种攻击方式被命名为Slopsquatting,由Python软件基金会(PSF)安全开发者Seth Larson首次提出,因其与传统的"typosquatting"(域名抢注)技术相似。不同之处在于,威胁分子不再依赖用户输入错误,而是利用AI模型的推荐错误。

测试样本显示,19.7%(20.5万个)的推荐软件包为虚假包。开源模型(如DeepSeek和WizardCoder)的幻觉率平均达21.7%,远高于GPT-4等商业模型(5.2%)。其中CodeLlama表现最差(超三分之一输出存在幻觉),GPT-4 Turbo表现最佳(仅3.59%幻觉率)。

持久性幻觉威胁加剧

研究发现这些包幻觉具有持久性、重复性和可信性三大危险特征。在重复500次先前产生幻觉的提示词时,43%的幻觉包在连续10次运行中每次都出现,58%的幻觉包出现超过一次。研究表明:"多数幻觉并非随机噪声,而是模型对特定提示的可重复反应模式。"

此外,38%的幻觉包名与真实包存在中度字符串相似性,仅13%属于简单拼写错误。Socket指出,这些"语义可信"的命名结构大大增加了识别难度。

防护建议

尽管目前尚未发现实际攻击案例,研究团队建议开发者在生产环境和运行时前安装依赖项扫描工具,以筛查恶意软件包。OpenAI近期因大幅削减模型测试时间和资源而受到批评,这也被认为是导致AI模型易产生幻觉的原因之一。安全专家强调,仓促的安全测试会显著增加AI系统的风险暴露面。

参考来源:

AI hallucinations lead to a new cyber threat: Slopsquatting

本文为 独立观点,未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件,请联系 FreeBuf 客服小蜜蜂(微信:freebee1024)


文章来源: https://www.freebuf.com/articles/ai-security/427490.html
如有侵权请联系:admin#unsafe.sh