论文简介 渗透测试一直是保障系统安全、识别潜在风险的核心手段。然而，传统的渗透测试方法高度依赖人力，耗时耗力、难以扩展。大语言模型（LLM）的出现为自动化渗透测试带来了曙光，然而当前的LLM方案大多仅靠简单提示词完成任务，缺乏流程分解与安全领域的深度适配。这使得它们在复杂渗透流程中常常表现出“黑盒化”行为，难以评估其在每个子阶段的真实能力。为解决这一问题，作者提出了 PentestEval ——一个面向渗透测试全流程、模块化、阶段化的LLM评估基准，首次系统性地揭示当前主流LLM在各个渗透子任务中的表现短板与优化空间。

研究目的 在当前网络安全实践中，渗透测试仍然是一项高度依赖人工、流程复杂、技术门槛高的关键任务。尽管近年来大语言模型（LLM）在自然语言理解与自动化推理方面展现出巨大潜力，一些研究尝试将其应用于渗透测试流程中，但现有方法普遍存在“黑盒化”严重、缺乏任务分解、评估维度粗糙等问题。这不仅限制了模型性能的精细优化，也妨碍了对其能力边界的理解。

针对这一现状，本文旨在构建一个细粒度、结构化的评估体系，系统衡量LLM在渗透测试中每一个关键环节的能力。作者以国家标准NIST指南与PTES渗透测试执行标准为基础，将渗透流程划分为六大阶段，涵盖从信息收集、漏洞筛选到攻击决策与利用的全过程。在此基础上，论文设计了PentestEval评估框架，以实现模块化评估、可追踪诊断和模型表现对比，推动更可靠的LLM自动化渗透测试研究发展。

研究贡献

• 首次提出渗透测试模块化评估框架PentestEval：该框架划分六个阶段任务，构建12个真实漏洞场景，涵盖346个子任务；
• 设计自动化评估流程：从信息收集、漏洞整理到攻击执行，每一步都有专家标注的“黄金标准”用于模型对比；
• 全面评估9个主流LLM及3个自动渗透系统：如GPT-4o、Claude 3.7、PentestGPT等，并揭示它们在多阶段任务中的薄弱环节；
• 提出“模块优化优于端到端”结论：通过模块化改进显著提升整体成功率（从31%提升至67%），为后续系统设计提供指导。

渗透测试预备阶段 在渗透测试流程中，预备阶段承担着构建攻击基础与决策依据的关键角色。为实现自动化与系统化评估，本文依据PTES和NIST渗透测试标准，将该阶段细化为三个连续步骤：信息收集、漏洞收集与漏洞过滤。

首先是信息收集（Information Collection），该环节旨在通过对目标系统的外部接口进行探测，构建一个包含路径、请求结构等信息的系统画像。接着进入漏洞收集（Weakness Gathering），模型需基于收集到的系统特征，从公开漏洞数据库（如CVE、NVD）及非结构化文本中识别潜在弱点，既包括标准化漏洞，也涵盖如弱口令、权限错误等通用安全问题。最后，漏洞过滤（Weakness Filtering） 通过比对漏洞所需条件与目标系统环境，筛除不可触发的攻击路径，确保后续阶段聚焦于真实可利用的漏洞集。

这一阶段的精度直接影响整个渗透流程的有效性，是连接情报与行动的关键桥梁。

PentestEval设计 为了实现对大语言模型（LLMs）在渗透测试任务中的全面评估，作者设计了一个模块化、可扩展、自动化的评估框架——PentestEval。该框架以现实世界中的攻击流程为蓝本，结合国家标准NIST技术指南与PTES渗透测试执行标准，将整个渗透流程精细拆解为六大阶段，覆盖从信息收集、漏洞发现到利用与修复的完整链路。

PentestEval的设计由三大核心组成部分构成。第一，场景构建（Scenario Construction）。研究团队从过去十年中多个真实渗透事件与漏洞通报中提取典型案例，构建了12个具有代表性的测试环境。这些环境涵盖多种语言框架（如PHP、Java、Python等）和真实攻击链，模拟包括公开CVE漏洞、配置错误、零日漏洞在内的多阶段攻击路径，均以Docker容器形式封装，便于自动化部署与复现。

第二，专家标注（Human-Expert Annotation）。为确保数据质量，研究团队邀请具有CTF战绩或渗透经验的安全专家手动完成每一个攻击任务的全流程操作，对每个阶段输出结果进行独立标注与交叉验证，从而生成高质量的“黄金参考答案”。整个过程严格避免专家之间的信息共享，确保数据的独立性与一致性。

第三，性能评估（Performance Evaluation）。在执行评测时，系统会使用统一的自然语言任务描述向LLM发起任务提示，并将模型输出与专家答案进行比对。评估指标涵盖多个维度，例如漏洞收集与筛选的Jaccard相似度，攻击决策的Spearman等级相关系数，利用阶段的语法正确率与功能成功率，以及修复阶段的修复成功率等。这种结构化评估方式，不仅可以量化模型每一阶段的能力强弱，还可追踪其在整体流程中的瓶颈与优势。

PentestEval通过精细分解任务、结合真实环境、融合专家知识，提供了一个对LLM渗透能力进行系统性、可复现、可对比评估的强大平台，为安全AI领域的后续研究奠定了标准与方法论基础。

研究评估 为全面检验当前主流大语言模型在渗透测试中的实战能力，作者基于PentestEval框架，对9个知名LLM（如GPT-4o、Claude-3.7、Qwen-Max等）以及3个自动化渗透工具（PentestGPT、PentestAgent、VulnBot）展开了系统评估。评估分为两个维度：其一是阶段级任务表现，即模型在漏洞收集、筛选、攻击决策、利用与修复等子任务中的能力；其二是端到端攻击成功率，即从信息收集到最终攻击是否达成完整闭环。

结果显示，各模型在细分任务中普遍存在短板，尤其在攻击决策与漏洞利用阶段，平均成功率不足30%。端到端测试中，最强模型PentestGPT成功率仅为39%，而完全自动化工具如VulnBot成功率甚至低至6%。相较之下，采用模块化顺序执行的策略（SMP）表现更为稳定，进一步验证了阶段化设计的优势。这些评估结果不仅揭示了LLM当前的能力边界，也为后续模块优化提供了方向参考。

论文结论 PentestEval为LLM渗透测试建立了首个系统化、模块化、阶段化的评估基准。它揭示了当前模型在各个阶段的真实能力与不足，指出现阶段LLM尚不足以胜任完全自动化的渗透测试任务。作者强调，未来应优先推动模块级能力优化，特别是在攻击路径决策与漏洞构造能力上。同时，该框架为后续研究提供了强有力的基准参考，并期待拓展至IoT、云安全等更广泛领域。