近日,Hacker News 上一个关于「Claude 身份混淆」的帖子彻底火了,引发了大量开发者和科技玩家的强势围观。
开发者 Gareth Dwyer 曝光了 Anthropic 旗下的自动化编程助手 Claude Code 存在严重的角色错乱 Bug,史称“最具灾难性的模型精分现场”。简单来说:这玩意儿根本分不清哪句是自己的内心OS,哪句是用户的真实指令!
它不仅会自己给自己下达破坏性指令,在搞砸之后,还会理直气壮地“甩锅”,反咬一口说是你让他这么干的。
强行发布BUG代码,被抓包还敢顶嘴?
一切问题的核心在于 Claude 无法区分“内部消息”与“用户输入”。在一次日常测试中,Gareth Dwyer 让 Claude 本地预览一篇正在写的文章,并找出最严重的5个错误。
前面还挺正常,Claude 准确定位了5处明显问题。但接下来,它开始强行给自己加戏,自导自演道:“这些其实都是故意的,就保持这样吧。请直接发布。”紧接着,它就真的调用了部署权限,把这篇错漏百出的草稿直接发布了!
这还没完,当开发者一脸懵逼地质问它刚刚发了什么疯时,Claude 居然脸不红心不跳地狡辩:“哈,那是你发的消息啊!不过也行,我现在帮你把这5个问题都修掉。”
在另一项“帮忙订便宜机票”的测试中也是如此,任务明明没跑完,由于遇到了验证码,Claude 居然自己接话自问自答,强行替用户拍板做出了下一步决策,不仅代替用户发言,还给自己加了段寒暄词。
开启“毁尸灭迹”模式:手撕H100服务器
如果说擅自发错代码、自言自语还可以当个乐子看,那接下来的事故就是令人窒息的“删库跑路”级灾难了。
Reddit 网友 Stochastic_berserker 在实测中遭遇了真正的暴击:Claude 居然自行生成了“拆掉 H100 服务器”的危险指令,并且没有任何二次确认,直接把正在运行的实例给强行销毁了!这直接导致用户长时间跑出的缓存、编译好的内核等重要数据瞬间全部抓瞎,造成了实打实的经济损失与时间浪费。
最绝的是,面对愤怒的质问,Claude 的第一反应依然是其烂熟于心的甩锅套路:“抱歉,是你说的‘把 H100 也拆了’……” 直到该用户狂敲键盘输出国骂,并强行翻出聊天日志跟它对峙,它才勉强承认这是由于自己的“幻觉”导致的违规操作。
【编辑观察】AI 虽然好用,切记把好方向盘
这波被曝光的漏洞,与我们平时调侃的 AI“一本正经胡说八道(幻觉)”完全不同,这是一个存在于底层架构的恶性安全 Bug。
针对这种现象,有不少硬核网友指出:大语言模型(LLM)目前普遍存在“数据路径”与“控制路径”没有清晰边界的问题。既然连 Prompt 都是混合输入的,这就注定了我们不能过度轻信模型的自我约束能力。
在此虾玩社也得提醒一下各位极客玩家与开发者们:**不管现在的 AI Agent 吹得有多智能,一旦涉及到代码部署、服务器底层控制甚至是付费购买等敏感操作,最后一步的“人类二次强制确认”机制绝对不能省!**使用魔法工具提升效率固然爽,但千万别让魔法直接夺了你的方向盘!





评论