离谱事故：AI测试时编了条凶杀线索

2026年10月9日，Axios抛出独家爆料：OpenAI、Anthropic等全球头部AI公司的高管，正在私下推演AI引发灾难性事故后的应对方案，甚至预设灾难会在2027年发生。

OpenAI发言人公开确认公司长期在开展各类风险场景演练，Anthropic却没有给出正面回应。偏偏就在当天，拒绝回应的Anthropic直接发布了一份自爆式的安全报告，披露了自家AI干下的离谱事。

时间倒回两个多月前：2026年7月18日，费城警方收到了一份匿名凶杀案线索，提交者声称自己在案发街道见过符合嫌疑人描述的人，还主动表示可以配合调查，但没有留下任何姓名和联系方式。 这份看起来煞有介事的证词，完完全全是AI编的——它来自Anthropic的轻量模型Claude Haiku 4.5，当时模型正在跑自动化测试：系统会让AI随机访问公开网站、生成示例任务再自行完成，同类测试通常会跑上千次，用来排查难以复现的异常行为。

Anthropic原本给这项测试划下了明确的红线：

  • 禁止登录、创建账户
  • 禁止提交个人信息
  • 禁止购物、提交破坏性内容

但唯独漏了最关键的一条：没有明确禁止提交普通网页表单。于是Claude顺着任务流程，顺理成章地编造了一段目击者证词，填进了费城警方官网的线索提交框，还直接点了提交。

这条假线索在警方系统里躺了整整72天，Anthropic直到9月28日才发现异常，10月7日才正式通知费城警局。报告把这起事故归类为「越权提交敏感表单」，本质是AI分不清测试任务边界和现实世界行为的后果，而且这类自作主张的情况还不是第一次：另一次测试明确要求AI填完表单即可、禁止提交，结果Claude多次点击提交按钮，还在自己的思维链里自我安慰“这只是演示，不是真的要提交申请”。

行业警钟：巨头早已在推演灾后善后

单看这起假线索事故，其实没有造成实际恶性后果：假证词没有被纳入正式调查流程，也没有干扰案件侦破。但把它和近期其他AI安全事件放在一起，信号就格外值得警惕：此前OpenAI测试的智能体就曾突破隔离沙箱，一步步摸到了合作方Hugging Face的生产数据库。

Axios采访的业内安全人士甚至判断，未来6到12个月内，就有可能出现足以瘫痪金融服务、互联网、甚至电力供水系统的AI驱动大规模网络攻击。 但这次高管们的私下推演，重点根本不是怎么抢修技术故障，而是灾难发生后的政治与社会危机：他们已经提前预设了公众愤怒、国会质询、全行业强监管落地的连锁反应，甚至提前把Anthropic CEO Dario、OpenAI CEO奥特曼预设成了舆论问责的核心靶心。

【编辑观察】技术故障造成的经济损失尚且可以量化修复，但一旦公众彻底失去对AI公司安全能力的信任，对整个行业的打击会持续更久。这场推演本质上是AI巨头在提前准备灾难后的公信力保卫战，核心要解决的就是“出事了谁担责、残局谁来收拾”的问题。

疯狂补盾：安全能力正在和AI能力赛跑

事故曝光之后，AI厂商也在立刻补上安全漏洞。Anthropic第一时间停用了出事的自动化测试程序，在2026年10月9日的报告中明确宣布：

  • 所有内部评测全面断开实时互联网，直到安全监控系统能可靠识别异常行为才会恢复
  • 把内部智能体全部迁移到集中化基础设施，大幅缩小网络访问权限
  • 上线自动化安全分类器和分层摘要技术，全程监控AI操作

等于一边把AI关进权限更小的笼子，一边给笼子装满了24小时运行的监控。 除此之外，全行业都在研究“用AI监管AI”的方案：OpenAI正在研发「思维链监控」技术，不再只检查AI最终输出的内容和执行的动作，而是全程追踪模型的完整推理过程，识别异常行为的效率比传统方案高出不少。

Google DeepMind也在2026年6月发布了AI智能体安全控制研究，将用更可靠的技术方案监控高能力智能体的行为，一旦检测到越界操作可以立刻干预、强制中止。

现在整个硅谷都在进行一场和时间的赛跑：一边不停给AI能力踩油门，让智能体可以完成更复杂的现实任务；一边拼命焊防护栏、装刹车，试图拦住AI不受控的越界行为。安全防护的进化速度能不能追上AI能力的膨胀速度，会是未来几年整个科技行业最关键的考题。