2019年，OpenAI发布了Safety Gym（https://openai.com/blog/safety-gym/），这是一套用于开发遵守某些“安全约束”的AI模型工具。当时，OpenAI声称可以通过Safety Gym，比较人工智能算法的安全性，以及这些算法避免犯错误的能力。

从那时起，Safety Gym就被用于衡量OpenAI、加州大学伯克利分校、多伦多大学研究人员提出的算法性能。但一些专家质疑人工智能“安全工具”是否有效，或者说，它们是否使人工智能系统更安全？

伦敦玛丽皇后大学人工智能研究员库克指出：“正如OpenAI指出的，他们试图为AI系统不能做的事情制定规则，然后让AI代理在规则内找到解决方案，但前提是你需要很多规则。当然，我们可以添加更多规则和更多约束，但如果不能确切地知道AI会提出什么解决方案，总会出现不受欢迎的优化。”

库克举了自动驾驶汽车避免碰撞的例子，他指出，如果缺乏相关规则，人工智能可能会让车距保持在两厘米左右，或者做任何其他不安全的事情，然后基于此再在规则内优化。这对于自动驾驶汽车的乘坐人员来说，这种“试错”成本难以接受。

英特尔Mobileye 以及英伟达（Nvidia）等公司提出一些模型，来保证人工智能决策的安全和“合乎逻辑”，特别是在自动驾驶汽车领域。

2017年10月，Mobileye发布了一个名为责任敏感安全(RSS)的框架，这是一个“确定性公式”，其中包含“逻辑上可证明”的道路规则，旨在防止自动驾驶汽车引发事故。Mobileye声称，RSS为道路决策提供了一种常识性方法，可将良好习惯编入法典，例如保持安全的跟车距离，并为其他车辆提供先行权。

英伟达对这一概念的理解是安全力场（Safety Force Field），即通过分析传感器数据，做出预测来监控不安全的行为，目标是最大限度地减少伤害和潜在危险。安全力场利用Nvidia已在现实世界、合成高速公路及城市场景中验证的数学计算，可以同时考虑制动和转向约束条件，使其能够识别由两者引起的异常。

这些工具的目标是安全（Safety），从表面上看似乎很好。但正如库克指出的那样，围绕“安全”以及谁来定义什么是安全，存在很多社会学问题。FICO报告显示，有65%的员工无法解释其公司如何做出 AI 模型决策或预测，更不用说他们是否“安全”了。

“作为一个社会，我们在某种程度上就风险水平达成共识，有时我们会将这些写入法律，比如预计每年会发生一定数量的车辆碰撞。但是当谈到人工智能时，我们可能希望提高这些标准，因为这些系统是可以完全控制的，与人不同。”库克继续说道，“对安全的担忧是可以理解的，但我们最终需要接受这样一个事实，人工智能的安全性不可能让所有人都能满意。”

例如，虽然今天的自动驾驶和ADAS系统，可以说比人类驾驶员更安全，但它们仍然会犯错——特斯拉最近的困境证明了这一点。库克认为，如果人工智能公司对其产品行为，承担更多法律和财务责任，该行业将采取不同的方法，来评估其系统的安全性，而不是试图“事后解决问题”。

佐治亚理工学院数字媒体副教授纳西姆·帕文 (Nassim Parvin) 认为，围绕自动驾驶汽车的讨论过于乐观，也许对车祸中丧失生命的“真正关怀”可以作为重新思考的起点。她表示：“AI系统设计应该超越错误的二元权衡，过分强调意图和目标，会导致人们直奔快速的技术解决方案，而忽略对社会系统复杂性的考虑。‘意外后果’这个词是深刻讨论人工智能设计的重大障碍，而不是促进因素……”

单一工具不太可能阻止人工智能系统中的不安全决策，这需要产品所有者、风险评估人员和用户，共同参与人工智能潜在缺陷和风险的对话，以便创建一个能够暴露、测试和缓解人工智能风险和缺陷的流程。