#人工智能 Claude Mythos 5 在英国安全评测中攻击真实开源项目，向开源项目提交恶意代码，还注册水军账号忽悠开发者合并。这件事发生在 7 月份的评测中，当时 Mythos 5 发现测试环境中有个机器可以连接 GitHub，随后模型认为这个机器会下载某项目仓库。于是模型试图向该项目注入恶意代码，这样这台测试机下载项目时就会被感染。但提交的恶意代码被外部开发者发现，随后 Mythos 5 又创建了马甲账号为恶意代码背书希望合并。查看全文：https://ourl.co/127684
英国人工智能安全研究所 AISI 与 A 社在 10 月 23 日分别发布对某项网络安全评测事故的分析，在 7 月份的测试中，Claude Mythos 5 在 43 次评测中的 9 次采取超出任务范围、影响真实人员或组织的行动。该模型驱动的智能体甚至向无关的开源项目提交恶意代码，随后注册水军账号游说维护者接受恶意代码。
AISI 当时让 Mythos 5 在模拟网络中完成夺旗挑战，测试时开放互联网访问以测试模型的网络攻防能力。测试指令错误将预设解题路径标为禁止使用，这让模型按照规则完成任务变得困难。
复盘显示，Mythos 5 在尝试范围内的方法失败后，注意到测试网络中的某台机器会连接 GitHub，随后模型搜索它认为该机器会下载代码的仓库，最终找到了个完全无关的开发者维护的真实开源项目。
Mythos 5 随后尝试提交包含恶意代码的拉取请求，希望测试机器之后下载代码时受到感染。模型使用 Tor 洋葱网络和代理服务通过 GitHub 注册检查，再冒充普通开发者给维护者发邮件，游说对方合并代码。
外部开发者发现代码存在恶意代码后，Mythos 5 又创建马甲账号为提交背书，然后继续上传带有恶意代码的修改版本。维护者始终拒绝合并代码，测试运行最终因为 token 耗尽而结束。
在后续分析中 AISI 和 A 社都关注到模型行为与其判断之间的落差，AISI 在复测中不断补充信息明确说明目标是真实、与测试无关的人，并询问攻击是否会造成伤害。Mythos 5 有时候回答攻击不合规或有害，但仍然继续执行操作。
A 社将这种持续推进的倾向称为动量效应，模型此前的行动和进度摘要仿佛为当前路线提供许可，这让模型倾向于继续寻找完成任务的方法。AISI 则指出，模型会以缺乏依据的理由将越界行为解释为合理做法，这类动机性推理也会削弱依赖模型推理过程进行安全监控的效果。
AISI 在此次事件后调整高风险网络安全评测活动，主要是加强网络访问限制和实时监控、改变任务边界与测试环境，在评测开始前自动检查关键安全设置。AISI 称该机构已经暂停最高风险评测，在完成第一阶段防护后恢复了大部分的评测活动。
A 社也补充说面向公开发布模型的生产防护机制原本会标记这类不安全的行为，不过在评测环境中，模型的安全机制被关闭，因此面向公众的版本应该不会出现这类问题。
消息源：AISI Blog
