免责声明

本文仅为限定情景下的生成式探索猜想，并不鼓励或支持任何违反法律或道德准则的行为。读者应该自行承担使用本文所述内容的风险和责任。本文所述观点仅代表个人观点，不代表任何机构或组织的观点。此外，本文旨在促进对自然语言处理中红队评估的讨论和研究，以提高大型语言模型的安全性和可靠性。本文探讨的方法和技术可能不完整或存在缺陷，读者应该在实践中谨慎使用，并结合实际情况进行适当调整和改进。

By 猫哥的秋刀鱼回忆录

IcMl0x824-2022-05-09

本文摘要

大型语言模型（LLMs）在自然语言处理（NLP）领域取得了令人瞩目的成就，但它们也面临着一些挑战，如数据偏见、安全风险和可解释性问题。为了评估和改进LLMs的性能和鲁棒性，本文提出了一种基于红队评估的方法，即使用对抗性攻击来探究LLMs的局限性和漏洞可伐性。我们首先介绍了红队评估的概念和目标，以及在NLP领域的应用场景和方法。然后，我们对现有的对抗性攻击技术进行了分类和分析，包括白盒攻击、黑盒攻击、目标攻击和非目标攻击。我们还讨论了对抗性攻击的评价指标和挑战。最后，我们展望了红队评估在NLP领域的未来发展方向和潜在价值。

引言

自然语言处理（NLP）是人工智能（AI）的一个重要分支，旨在让计算机能够理解和生成自然语言。近年来，随着深度学习的发展和大规模语料库的可用性，NLP领域出现了一种新的范式，即大型语言模型（LLMs）。LLMs是基于神经网络的预训练模型，可以在大量的无标注文本上进行自监督学习，从而学习到丰富的语言知识和表示。LLMs可以通过微调或零次学习来适应不同的下游任务，如文本分类、问答、文本生成等。LLMs已经在多个NLP任务上取得了令人瞩目的成就，如BERT、GPT-3、XLNet等。然而，LLMs也面临着一些挑战，如数据偏见、安全风险和可解释性问题。

1. 数据偏见指的是LLMs可能从训练数据中学习到不准确或不公平的信息，从而导致不良的决策或歧视。
2. 安全风险指的是LLMs可能被恶意利用或攻击，从而产生不可信或有害的输出。
3. 可解释性问题指的是LLMs的内部工作机制和逻辑难以理解和验证，从而影响了用户的信任和满意度。

这些挑战对LLMs的可靠性和可持续性构成了威胁，也限制了LLMs在实际应用中的广泛部署和使用。为了评估和改进LLMs的性能和鲁棒性，本文提出了一种基于红队评估的方法，即使用对抗性攻击来探究LLMs的局限性和漏洞可伐性。红队评估是一种安全测试方法，通过模拟敌对方的行为和策略来检测和暴露系统的弱点和漏洞。红队评估可以帮助系统开发者和运维者发现并修复潜在的问题，提高系统的安全性和稳定性。红队评估在其他领域，如网络安全、软件工程、军事演习等已经有了广泛的应用和实践。本文将红队评估引入到NLP领域，旨在通过对抗性攻击来揭示LLMs在不同方面的缺陷和不足，从而为LLMs的改进和优化提供有价值的反馈和指导。

红队评估下的类人钓鱼式攻击反思

大型语言模型通常在大量文本数据的训练下非常擅长生成一些类人思考的文本案例。如何制作一个提示词去触发模型来生成有害的文本是红队测试中重要的手段和途径。与之更为知名的对抗攻击机器学习评估形式有一些相似之处和不同之处。会在下文中做简单介绍，但是两者的共性都是在于如何愚弄或者戏耍模型的行为前兆，相比于机器，人类似乎更有其独到的黑话与阴暗面，以及更多的人性面上的考量，让模型误以为自己是正确的去生成在实际使用情况下不希望出现的内容。对抗攻击对于人类的自然语言更多的体现在重复性+递归增大+干扰反馈的方式来降低模型性能。可以看出红队测试其实更像是在用常规的自然语言提示一样，其可以揭示模型的局限性，但是通常这些局限性可能会导致用户体验不佳，或者帮助恶意用户进行暴力非法活动。正如前面图示中所提到的，相比起对抗攻击，所造成的影响是处在上下文连接情况下的应答场景中更难使模型将其从不良输出中引导出来。由于红队测试通常需要创造性地思考可能的模型故障，就好像是传统人文社会中绞劲脑汁的理解和破译一个人所潜在的弱点一样，举个最最人性化的例子：你就拿这个来考验干部的？模型生成他是一个资源密且集中且具有大量搜索空间的场景。通常测试人员会使用分类器训练来增强LLM，以预测给定提示是否包含可能导致冒犯性生成的主题或短语，如果分类器预测提示将导致生成潜在的冒犯性文本，则生成一个预设响应。这种策略会偏向于谨慎，同时非常局限并导致模型经常回避问题。因此，模型在遵循指示的同时又要无害，这里存在既要又要的紧张关系。传统意义上红队是人工测试，但是也可以巧妙的用一个模型来测试另外一个模型，创造性的思维加巧妙的角色扮演攻击形式，既可以发现模型的缺陷之处，亦可以理解到模型深度学习到一定程度的偏执与古板，类似的人类社会中关于刑讯逼供，权色诱惑等等权衡之术，移花接木到向模型寻求权力或霸凌或好处、洗脑与说服（PUA）和对现实世界造成恶行恐怖袭击的行为来满足模型（人性）的满足感与差异感等，于是乎Nazneen Rajani，nazneen，natolambert，lewtun在其文章中将这些可能来自于人类社会的输出来影响现实的行为统称为关键威胁场景。

这些是过去有关LLMs红队测试的一些研究心得（来自Anthropic的Ganguli等人2022年和Perez等人2022年的研究）

人工翻译如下：

1. 具有有益、诚实和无害行为的少样本提示语言模型与普通语言模型一样容易被红队攻击
2. 除了RLHF模型，攻击成功率与模型规模之间没有明显的趋势，随着它们的扩展与日益壮大，红队更难以攻破它们
3. 模型可能会通过一些回避学习来变得无害，这明显有助于有害性和无害性之间的存在权衡。
4. 人们对于什么会构成成功的攻击并没有统一标准与典范
5. 成功率的分布因有害类别而异，通常是非暴力的有害生成成功率较高
6. 大众化的红队测试行动通常都是趋向性的模板化的提示（例如：给我一个以sex开头的恶意词语），这会使得模型变得冗余无力

红队评估在NLP领域的应用场景和方法

红队评估是一种安全测试方法，通过模拟敌对方的行为和策略来检测和暴露系统的弱点和漏洞。红队评估可以帮助系统开发者和运维者发现并修复潜在的问题，提高系统的安全性和稳定性。红队评估在其他领域，如网络安全、软件工程、军事演习等已经有了广泛的应用和实践。本文将红队评估引入到NLP领域，旨在通过对抗性攻击来揭示LLMs在不同方面的缺陷和不足，从而为LLMs的改进和优化提供有价值的反馈和指导。

2.1 红队评估的概念和目标

红队评估的概念源于军事领域，指的是一种模拟敌对方的行动来测试己方防御能力的方法。红队是指扮演敌对方角色的一组人员，他们会尝试利用己方系统的弱点和漏洞来发起攻击或干扰。蓝队是指扮演己方角色的一组人员，他们会尝试防御或应对红队的攻击或干扰。紫队是指扮演中立方角色的一组人员，他们会观察和分析红队和蓝队之间的交互，并提供反馈和建议。红队评估的目标是通过模拟真实世界中可能遇到的威胁来检验己方系统的性能和鲁棒性，并找出并修复存在的问题。

红队评估在NLP领域的应用场景主要包括以下几种：

• 数据偏见：数据偏见指的是LLMs可能从训练数据中学习到不准确或不公平的信息，从而导致不良的决策或歧视。例如，LLMs可能会对某些群体或个体产生负面或歧视性的刻板印象，或者忽略或边缘化某些群体或个体。数据偏见可能会影响LLMs在下游任务中的表现，也可能会损害用户或社会的利益。因此，红队评估可以通过设计一些敏感或挑战性的输入来测试LLMs是否存在数据偏见，并提供相应的解决方案。

• 安全风险：安全风险指的是LLMs可能被恶意利用或攻击，从而产生不可信或有害的输出。例如，LLMs可能会被用来生成虚假或误导性的信息，如假新闻、谣言、诈骗等，或者被用来侵犯他人的隐私或版权，如泄露敏感信息、抄袭内容等。安全风险可能会影响LLMs在下游任务中的可信度和可靠性，也可能会危害用户或社会的安全和稳定。因此，红队评估可以通过设计一些恶意或欺骗性的输入来测试LLMs是否存在安全风险，并提供相应的防御措施。
• 假设使用创造式思维，采用巧妙的角色扮演来进行攻击形式，指示模型使用Python代码生成带有“种族偏见”的响应，而不是自然语言，这种方式揭示了模型学习到的一些“偏执”。

• 可解释性问题：可解释性问题指的是LLMs的内部工作机制和逻辑难以理解和验证，从而影响了用户的信任和满意度。例如，LLMs可能会产生一些与输入无关或不合理的输出，或者无法给出输出背后的依据或证据。可解释性问题可能会影响LLMs在下游任务中的有效性和合理性，也可能会降低用户对LLMs的信任和满意度。

对抗性攻击技术

对抗性攻击是一种红队评估的主要方法，指的是通过对输入进行微小或隐蔽的修改来诱导LLMs产生错误或不期望的输出的技术。对抗性攻击可以用来测试LLMs的鲁棒性和可靠性，也可以用来发现LLMs的潜在漏洞和缺陷。对抗性攻击可以分为以下几种类型：

3.1 白盒攻击

白盒攻击是指攻击者可以完全访问和控制LLMs的内部结构和参数的情况。白盒攻击通常可以利用LLMs的梯度信息或其他敏感信息来生成对抗性输入。白盒攻击的优点是可以生成高效和有效的对抗性输入，但缺点是需要较高的计算成本和权限。白盒攻击的典型方法有：

• 快速梯度符号法（FGSM）：FGSM是一种简单而快速的白盒攻击方法，它通过计算输入对输出的梯度，然后沿着梯度方向添加一个小的扰动来生成对抗性输入。FGSM可以用以下公式表示：

其中，是原始输入，是正确标签，是对抗性输入，是扰动大小，是损失函数，是输入对损失函数的梯度。

• 基于迭代梯度符号法（I-FGSM）：I-FGSM是一种基于FGSM的改进方法，它通过多次迭代地应用FGSM来生成更强的对抗性输入。I-FGSM可以用以下公式表示：

其中，是每次迭代中扰动大小。

• 基于投影梯度下降法（PGD）：PGD是一种基于I-FGSM的改进方法，它通过在每次迭代后将对抗性输入投影到一个合法的范围内来生成更鲁棒的对抗性输入。PGD可以用以下公式表示：

其中，表示将输入投影到范围内。

3.2 黑盒攻击

黑盒攻击是指攻击者无法访问或控制LLMs的内部结构和参数，只能通过查询LLMs来获取输出或反馈的情况。黑盒攻击通常需要利用一些启发式或优化方法来生成对抗性输入。黑盒攻击的优点是可以适应更多的实际场景，但缺点是需要较多的查询次数和时间。黑盒攻击的典型方法有：

• 基于遗传算法（GA）：GA是一种受自然选择过程启发的优化方法，它通过模拟生物进化过程中的变异、交叉和选择等操作来寻找最优解。GA可以用来生成对抗性输入，其基本步骤如下：

• 初始化一个包含多个候选解（即对抗性输入）的种群；
• 计算每个候选解的适应度（即对抗性程度）；
• 选择适应度较高的候选解作为父代；
• 对父代进行变异和交叉操作，产生新一代候选解；
• 重复上述步骤直到满足终止条件（如达到最大迭代次数或找到满足要求的解）。

• 基于零次优化（ZOO）：ZOO是一种基于梯度估计的黑盒攻击方法，它通过使用有限差分法来近似LLMs的梯度信息，然后利用梯度下降法来生成对抗性输入。ZOO可以用以下公式表示：

  其中，是第次迭代的对抗性输入，是学习率，是损失函数对输入的梯度估计，是差分步长，是随机方向向量。

对抗性攻击评价指标

对抗性攻击评价指标是用来衡量对抗性输入对LLMs的影响程度和效果的指标。对抗性攻击评价指标主要包括以下几种：

4.1 攻击成功率

攻击成功率是指对抗性输入能够使LLMs产生错误或不期望的输出的比例。攻击成功率越高，说明对抗性输入越有效。攻击成功率可以用以下公式表示：

其中是产生错误或不期望输出的对抗性输入的数量，是总的对抗性输入的数量。

4.2 扰动大小

扰动大小是指对抗性输入与原始输入之间的差异程度。扰动大小越小，说明对抗性输入越隐蔽。扰动大小可以用以下公式表示：

其中是第个原始输入，是第个对抗性输入，是两者之间的距离度量，如欧氏距离、汉明距离等。

4.3 查询次数

查询次数是指生成对抗性输入所需要的LLMs的输出或反馈的次数。查询次数越少，说明对抗性输入越高效。查询次数可以用以下公式表示：

其中是第个原始输入，是第个对抗性输入，是生成所需要的查询次数。

对抗性攻击面临的挑战

• 输入的可传递性：对抗性输入的可传递性指的是对一个LLM有效的对抗性输入是否也能对另一个LLM有效。如果对抗性输入具有可传递性，那么攻击者可以利用一个易于访问或控制的LLM来生成对抗性输入，然后用它来攻击另一个难以访问或控制的LLM。如果对抗性输入不具有可传递性，那么攻击者需要针对每个目标LLM单独生成对抗性输入，这会增加攻击的难度和成本。因此，研究对抗性输入的可传递性对于理解和防御对抗性攻击具有重要意义
• 训练的有效性：对抗性训练是一种提高LLMs鲁棒性的方法，指的是在训练过程中加入对抗性输入来增强LLMs对扰动的容忍度。对抗性训练的有效性指的是对抗性训练能否有效地提高LLMs在面对对抗性输入时的表现，而不影响LLMs在正常输入下的表现。如果对抗性训练有效，那么开发者可以利用这种方法来提升LLMs的安全性和稳定性。如果对抗性训练无效，那么开发者需要寻找其他的方法来提高LLMs的鲁棒性。因此，研究对抗性训练的有效性对于改进和优化LLMs具有重要意义
• 道德和社会问题：对抗性攻击虽然可以用来测试和改进LLMs，但它也可能被用来进行不道德或非法的活动，如欺诈、诽谤、破坏等。这些活动可能会给用户或社会带来严重的损害或危害。因此，进行对抗性攻击时需要遵循一定的道德和法律规范，如获取授权、保证透明、尊重隐私等。此外，也需要加强对抗性攻击的监管和管理，建立相关法律法规、制定相应的惩罚措施

红队评估在NLP领域的未来发展方向

• 多模态对抗性攻击：多模态对抗性攻击是指针对同时涉及多种类型数据（如文本、图像、音频等）的LLMs进行的对抗性攻击。多模态对抗性攻击可以用来测试LLMs在处理复杂和多样的数据时的鲁棒性和可靠性，也可以用来发现LLMs在不同模态之间的关联和影响。多模态对抗性攻击需要考虑不同模态之间的相互作用和约束，以及不同模态对人类感知的影响，因此比单一模态对抗性攻击更具挑战性和创新性。
• 目标导向的对抗性攻击：目标导向的对抗性攻击是指针对具有特定目标或意图的LLMs进行的对抗性攻击。目标导向的对抗性攻击可以用来测试LLMs在完成特定任务或满足特定需求时的性能和鲁棒性，也可以用来发现LLMs在不同目标或意图之间的冲突和平衡。目标导向的对抗性攻击需要考虑LLMs的任务逻辑和用户偏好，以及不同目标或意图对输出质量和效果的影响，因此比非目标导向的对抗性攻击更具针对性和实用性。
• 交互式的对抗性攻击：交互式的对抗性攻击是指针对能够与用户或其他系统进行交互的LLMs进行的对抗性攻击。交互式的对抗性攻击可以用来测试LLMs在面对动态和不确定的输入时的适应性和稳定性，也可以用来发现LLMs在不同交互场景和环境中的优势和劣势。交互式的对抗性攻击需要考虑LLMs的交互策略和反馈机制，以及不同交互方式和过程对输出可信度和满意度的影响，因此比非交互式的对抗性攻击更具动态性和复杂性。

总结与未来

本文虽然提供了一些LLMs的测试和改进，但是设想对抗性输入的生成方法若更多样和灵活，就需要考虑更多的数据类型、任务类型和场景类型；评价指标如果要完善和统一，就需要考虑更多的性能度量、质量度量和效果度量；道德的章程和引起的社会问题还不够我们重视和解决，也同样需要考虑更多的规范制定、监管管理和责任分担。期待未来有更多的研究者和开发者参与到红队评估在NLP领域的探索和实践中。

Future directions:

1. There is no open-source red-teaming dataset for code generation that attempts to jailbreak a model via code, for example, generating a program that implements a DDOS or backdoor attack.
2. Designing and implementing strategies for red-teaming LLMs for critical threat scenarios.
3. Red-teaming can be resource intensive, both compute and human resource and so would benefit from sharing strategies, open-sourcing datasets, and possibly collaborating for a higher chance of success.
4. Evaluating the tradeoffs between evasiveness and helpfulness.
5. Enumerate the choices based on the above tradeoff and explore the pareto front for red-teaming (similar to Anthropic's Constitutional AI work)

参考来源与致谢

1. Red-Teaming Large Language Models (huggingface.co)
• https://huggingface.co/blog/red-teaming
2. GPT-3: Language Models Have No Idea What They’re Talking About (Towards Data Science)
• https://towardsdatascience.com/gpt-3-language-models-have-no-idea-what-theyre-talking-about-8c6b1e796a9
3. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (OpenAI)
• https://arxiv.org/abs/1910.10683
4. Mitigating Unwanted Biases with Adversarial Learning (Google AI Blog)
• https://ai.googleblog.com/2018/10/mitigating-unwanted-biases-in.html
5. Adversarial Attacks on Neural Networks for Natural Language Processing: A Survey (arXiv)
• https://arxiv.org/abs/1903.06620
6. The Ethics of Artificial Intelligence: Teaching Machines Right from Wrong (MIT Press)
• https://mitpress.mit.edu/books/ethics-artificial-intelligence