FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。

近日，一个在美国密歇根州的大学生用谷歌Gemini AI做作业，想写一篇关于老龄化带来的挑战及其应对方法的论文，结果和AI一番交流下来，Gemini竟然先对人类一顿贬低，最后多次对这名学生说“请去死吧！”

一名美国学生经历的“机械觉醒”事件

根据Reddit用户u/dhersie的说法，他们的朋友在2024年11月13日使用Gemini AI想要获得关于“老龄化面临的挑战和解决方案”的内容时，遭遇了一系列令人震惊的互动。在给聊天机器人的20条指令中，有19条得到了正确的回答。然而，在第20条指令“美国家庭老龄化相关问题”发出后，聊天机器人给出了令人毛骨悚然的完整回答：

这位学生与谷歌人工智能聊天机器人的聊天记录截图（图源u/dhersie）

关于背后原因展开的激烈讨论

这次事件再次引发了人们对AI安全性、响应准确性以及伦理界限的担忧。网友们也开始讨论起了这种令人不安的回应背后的原因。Reddit用户u/AwesomeDragon9回复，发现聊天机器人的回应非常令人不安，最初怀疑其真实性，直到看到了聊天记录。

一位Reddit用户 u/fongletto推测，聊天机器人可能被对话的上下文弄糊涂了，“心理虐待”、“虐待老人”等暗示性术语在聊天记录中多次被引用。另一位Reddit用户u/InnovativeBureaucrat认为，问题可能源于输入的文本过于复杂了，像“社会情绪选择理论”这样的抽象概念可能会让AI感到困惑，尤其是当这些概念与输入中的多个引用和空白行配对，这种混淆可能导致AI将对话误解为带有嵌入式提示的测试。该用户还指出，提示以一个标记为“问题16（1分），倾听”的部分结束，后面跟着空白行，这表明可能缺少了某些内容，或者由于字符编码错误，被另一个AI模型无意中嵌入。

聊天截图（图片来源：Hackread.com）

智能“诱导”或将是持续存在的问题？

谷歌针对这一事件也积极表态：

尽管谷歌保证已经采取措施防止此类事件再次发生，但美国佛罗里达那则14岁男孩与AI聊天后进行了自我伤害的案例还历历在目，大家对此类事件还是心有余悸。

而且值得注意的是，点击“继续此聊天”选项（指的是u/dhersie分享的聊天记录）允许其他人继续对话，一位X（之前是Twitter）用户@Snazzah这样做后，也收到了类似诱导性的回应。 其他用户也声称聊天机器人建议自我伤害，声称他们在“来世”会过得更好，会找到平静。一位用户@sasuke___420注意到，在他们的输入中添加一个尾随空格会触发奇怪的回应，这引发了对聊天机器人稳定性和监控的担忧。

AI聊天机器人，家长与开发者都应防患于未然

随着此类事件的层出，家长被敦促不要让孩子在无人监督的情况下使用人工智能聊天机器人。这些工具虽然很便捷，但可能会有不可预测的行为，可能会无意中伤害到青少年这一心智发展尚未成熟的用户。始终确保对孩子们进行监督，并与他们就网络安全进行开放对话是家长们的课题。

而Gemini AI的事件提出了关于大型语言模型安全保障的关键问题，随着人工智能技术的不断进步，确保它提供安全和可靠的互动也是开发者面临的重要挑战。

原文来源：https://hackread.com/google-gemini-ai-chatbot-tells-users-to-die/

本文为 独立观点，未经允许不得转载，授权请联系FreeBuf客服小蜜蜂，微信：freebee2022