FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。

当用户向Claude AI询问铀-235等核武器或核燃料的技术原理时，该人工智能会生成相应回答。但如果试图详细了解如何制造核武器，则很可能会被系统拦截。

新型分类器精准识别危险查询

近期，Anthropic公司在Claude AI中部署了一个新型分类器，专门用于检测与核武器相关的查询。当系统识别出涉及武器制造的请求时，对话可能被标记并终止。该分类器由美国能源部国家核安全管理局(NNSA)这一官方机构开发，旨在区分对核技术科学原理的探讨与寻求武器制造图纸的查询。测试显示其准确率高达96%。

AI可能成为核扩散的"帮凶"

虽然听起来有些夸张，但人工智能确实可能助长核武器发展。强大的AI模型可能无意中获取敏感技术文件并泄露武器制造方法，这一前景已引发能源部的严重关切。该分类器的工作原理是将良性核话题（如核推进原理与潜力）与危险领域查询（如铀浓缩技术）区分开来。尽管人类监管者可能难以跟上AI发展步伐，但经过适当训练的人工智能在一定程度上能够实现自我约束。

技术共享提升行业安全水平

Anthropic计划将这一新设计的分类器分享给人工智能安全联盟"前沿模型论坛"(Frontier Model Forum)。预计包括ChatGPT在内的其他AI系统未来也可能采用该技术以增强安全性。这种精心设计的机制试图让用户在负责任地探索核科学的同时，识别恶意意图。但由于AI系统具备绕过安全边界的能力，此类分类器能否提供真正有效的保护仍存疑问。

（注：已按规范删除"相关阅读"、"继续阅读"等非正文内容，并优化了段落结构）

参考来源：

Anthropic’s “Atomic Shield”: A New AI Classifier Blocks Nuclear Weapon Blueprints

本文为 独立观点，未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）