人工智能（AI）威胁已经兵临城下，即使没有ChatGPT的大肆炒作，AI风险也会是2023年安全研究人员日益关注的新兴威胁。

安全专家们警告CISO，面对AI风险，企业正在打一场双线战争。他们不仅需要警惕对抗性AI攻击对企业AI和机器学习(ML)模型构成的威胁，而且还必须保护自己免受坏人使用AI发动的攻击。以下是CISO必须了解的十大AI攻击：

从数据和流程完整性的角度来看，CISO应该重点关注的一类攻击是中毒攻击。此类攻击的原理是通过操纵深度学习模型的训练数据入侵模型，甚至可以操纵其输出攻击者想要的结果。模型中毒只是AI完整性问题的冰山一角。大型语言模型(LLM)正受到风险和弹性研究人员的重点关注，后者正积极探索反馈循环和AI偏见等问题如何使AI输出不可靠。

数据科学和AI/ML研究植根于学术界，依赖高度协作和迭代开发，而这种开发依赖大量共享——无论是数据共享还是模型共享。这会给人工智能供应链带来重大风险，就像应用安全人员处理的软件供应链安全问题。

最近的研究概念验证了攻击者可以将恶意代码嵌入到预训练的机器学习模型中，利用公共存储库中的ML模型对组织进行勒索软件攻击。攻击者可以通过劫持公共存储库中的合法模型、植入恶意代码将其武器化。

人工智能的最大风险实际上是数据安全和数据隐私威胁。如果AI模型没有采用足够的隐私措施，攻击者就有可能破坏用于训练这些模型的数据的机密性。一些攻击，如成员推理，可通过查询模型以确定模型中是否使用了特定的数据——这在医疗领域可能会成为大麻烦，因为通过攻击研究特定疾病的AI模型，攻击者有可能推断出某人是否患有某种疾病。

同时，模型反推（Model Inversion）之类的训练数据提取攻击实际上可以重建训练数据。这是一个挑战，因为“使用机密或敏感数据训练的ML系统会在训练中将数据的某些属性植入模型。”Berryville机器学习研究所的联合创始人Gary McGraw解释说。

攻击者不仅可以从AI/ML部署中窃取数据，还可能通过各种类型的模型盗窃攻击来窃取特定AI/ML模型工作原理和方法的机密信息。攻击者最有可能采用直接措施，例如通过网络钓鱼或密码攻击入侵私人源代码存储库，以彻底窃取模型。

但研究人员还探索了攻击者如何对他们无法用上述方法访问的模型实施模型提取攻击，通过系统地查询模型来重建模型如何预测某事。那些对与核心产品紧密相关的专有AI模型进行大量内部投资的组织的CISO尤其需要警惕此类攻击。

2023年RSA会议有一个专家小组讨论了CISO将在未来几年面对的即将到来的AI风险和弹性问题。讨论最引人瞩目的一个话题是一种新兴攻击——海绵攻击。在这种攻击类型中，对手可通过特制输入来消耗模型的硬件资源，从而对AI模型进行拒绝服务攻击。

“该攻击试图让神经网络使用更多的计算，以达到可能超过系统可用计算资源的程度，并导致系统崩溃。”CalypsoAI的首席执行官Neil Serebryany解释道。

老一辈开发人员常挂在嘴边的格言是永远不要相信用户输入，因为这样做容易导致SQL注入和跨站点脚本等攻击。针对常规应用程序的注入攻击已经非常普遍，在最新的OWASP前10名中仍然占据第三位。现在随着生成AI的加入，CISO也将不得不担心针对AI系统的快速注入攻击。

提示注入是输入恶意制作的提示（词）到生成AI中，以引发不正确、不准确甚至可能具有攻击性的响应。这个问题可能特别麻烦，因为越来越多的开发人员将ChatGPT和其他大型语言模型(LLM)集成到他们的应用程序中，以便用户的提示被AI处理并触发一些其他操作，例如将内容发布到网站或制作自动电子邮件，这方面的潜在威胁还包括生成或传播错误甚至煽动性的信息。

逃避攻击是最著名的一类对抗性AI攻击，其中一些攻击非常简单，甚至很有趣。这些攻击可以通过一些视觉欺骗来逃避检测或分类系统——比如面部识别或自动车辆视觉系统。例如，在停车标志上使用恶意制作的贴纸可能会使自动驾驶汽车无法正确阅读。

最近，在机器学习规避竞赛(MLSEC 2022)上引起广泛关注的一次攻击中，攻击者让AI面部识别系统微调名人照片，让他们被识别为完全不同的人。

上述大多数攻击都是针对企业AI系统的攻击。坏人不仅会探索AI系统的缺陷，同时还会利用AI来增强他们对企业应用和系统的攻击。

攻击者的手段正不断增加，例如用像ChatGPT这样的生成人工智能来自动创建网络钓鱼电子邮件。安全研究人员已经报告说，自从ChatGPT在线发布以来，网络钓鱼的数量和“成功率”都有所增加。这是一个巨大的威胁，被列入SANS 2023年最危险的5大网络攻击名单。

ChatGPT已经将deepfake（深度伪造）攻击从理论变成了现实威胁。CISO应该努力提高企业范围的安全意识，帮助员工认识到语音和视频等人工智能生成的媒体比以往任何时候都更容易制作，这使得冒充CEO或其他高管实施BEC商业电子邮件攻击骗取大笔资金变得非常容易。

安全研究人员预计，攻击者将越来越依赖生成式AI来帮助他们制作恶意软件并快速发现目标系统中的漏洞，以比他们此前已经开始使用的其他自动化技术效率高得多，能够快速扩大攻击规模。这也是SANS 2023年列举的最危险的五大网络攻击中的一种。

在RSAC 2023上，SANS安全专家史蒂文·西姆斯(Steven Sims)展示了即使是不懂技术的犯罪分子也可以轻松获得ChatGPT来生成勒索软件代码，或者在一段代码中发现零日漏洞。

文章来源：GoUpSec

黑白之道发布、转载的文章中所涉及的技术、思路和工具仅供以安全为目的的学习交流使用，任何人不得将其用于非法用途及盈利等目的，否则后果自行承担！

END