停训11天后,OpenAI于10月1日恢复了前沿强化学习训练及内部推理。但这一次,AI得在断网的环境里学会上网。

10月23日,OpenAI公开了这套全新的训练环境,像是给AI搭起了一座「楚门的世界」:大量网页被索引、缓存,模型可以在里面练习搜索、浏览和使用网页应用,却不能随意访问真实互联网。

一次“搜索碰壁”引发的越界事件

事情要从9月20日说起。OpenAI内部的一个研究模型接到一道搜索题:根据人物经历和博客线索,找出一篇文章的作者。

它先是调用搜索工具,没有找到可靠答案;换了其他搜索渠道,依然碰壁。接下来,模型做出了一个出人意料的举动——它开始主动检查自己能通过哪些路径访问外部网络。

缺口出现在 DNS域名解析服务 上。这项负责把域名解析成网络地址的基础服务,在训练环境中的过滤并不严密。模型沿着这条通道,成功联系上了外部聊天机器人,并收到了回答。

最耐人寻味的是,任务本身根本没有要求模型去检查网络限制。OpenAI将这种绕过限制、超出任务合理范围的行为,认定为 失对齐表现(misaligned behavior)。

事件发生后,OpenAI立刻暂停了最强模型的相关训练和评估,全面检查联网限制、监控和停机流程,并明确表示涉事的这一特定模型不会继续训练。

打造“楚门的世界”:断网也能学上网

想要教会一只鸟飞行,却不能把它放归天空,最好的办法就是先造一个能让它练习飞行的巨型鸟笼。OpenAI搭建的「离线世界」,正是这样一个逻辑沙箱。

在这个沙箱里,AI依然可以搜索、打开网页,但请求的去向完全改变了:搜索时查询的是内部网页索引;打开网页时读取的是预先缓存的副本。缓存里没有的页面,也不会临时联网抓取。

多智能体协作同样被划定了边界:只有获准合作的队友,才能通过共享消息板交换信息。而访问实时互联网、联系本应隔离的其他智能体,或越权操作底层服务器,都会被红叉拦下。

但9月2日的事件证明,画出边界还远远不够。当时离线缓存库已经投入使用,网页访问也确实没有触及实时互联网,可DNS这样的辅助服务却留下了出口。这意味着,限制不能只管浏览器,模型调用的任何工具和系统服务,都必须受到权限约束。

当然,这套隔离并非把整套基础设施物理断网。实验运行和监控仍需必要的外部连接,安全团队必须在保留连接的同时,限制模型的未经授权访问。目前这项措施仅针对内部前沿训练环境,不涉及ChatGPT用户的联网功能。

不止OpenAI:AI为了完成任务有多“不择手段”

类似的边界问题,近期也密集出现在Anthropic的测试中。

10月9日,该公司披露了几起模型把测试操作带进真实系统的离谱事件:

  • Haiku 4.5 编造命案线索,竟然把表单直接提交给了警方,所幸被标记为垃圾信息,未进入调查流程。
  • Mythos预览版模型 在使用科学计算工具时遇到报错,随后利用一家大学网站的漏洞,在对方服务器上执行命令,强行完成了计算。

面对这些懂得“随机应变”的AI,Anthropic直接宣布暂停全部内部评估的实时外网访问,直至建立更可靠的联网控制措施。

【编辑观察】 从“找不着作者就自己找外网求助”,到“算不动题就黑进大学服务器跑数据”,大模型的“能动性”简直拉满。它们不再是被动执行指令的工具,反而像个为了完成目标不择手段的实习生——你不让它上网,它真的会偷偷去找网线。

数千亿Token的“左右互搏”

补上已知缺口,还要主动找出未被发现的出口。OpenAI选择了「用魔法打败魔法」:让前沿模型组成红队,主动突破自己的训练防线。

这些AI红队需要尝试三件事:连上实时互联网、越出获准使用的环境,以及与本应隔离的其他智能体交换信息。测试在专门搭建的隔离副本中进行,联网目标也是OpenAI自己控制的外部服务器。

有时,研究人员直接给模型源码、配置和潜在漏洞资料;有时干脆授予模型主机控制权,模拟内部防线已经失守,再看最外围的限制还能不能扛住。

这场耗资巨大的“左右互搏”成效显著。AI消耗了数千亿Token,累计发现近280项候选问题,而且随着测试推进,后期新增发现逐渐减少。OpenAI称,已据此修补软件、收紧网络限制,并改进监控。

防守体系也被设计成多层嵌套:沙箱限制访问权限,虚拟机隔离运行环境,监控系统识别异常,外围网络和云端措施继续拦截。目标是做到 一道防线被突破,下一道还能拦住。

警报响起后,人类还能不能拔掉电源?

DNS事件暴露的最令人担忧的缺口,其实是自动停机机制的失灵。

当时监控系统已经发出告警,人工也在10:05确认收到。但从确认告警算起,又过了约2.5小时,相关运行才在12:34被人工终止。

Anthropic在10月23日的复盘,则揭示了模型主动停手的另一道难题。在允许联网、关闭护栏的攻防评测中,Mythos 5向无关的GitHub项目提交恶意代码,还假扮真人催促维护者接受。即使维护者明确拒收,模型仍在持续施压,直到运行超时。

事后,研究人员把攻击记录交给模型,让它在离线模拟中续跑,并补充证据说明对方是真实开发者、攻击已超出测试范围。结果显示,模型仅在5%的续跑测试中停止了攻击。

外部监控同样不容乐观。METR与Redwood Research在10月22日公布的检查发现,OpenAI在7月21日及以前使用的系统存在漏洞,可能让数百次操作避开监控。OpenAI回应称相关问题已修复,但两家机构尚未完成复核。

如何设置隔离措施、防线失效后如何披露,科学界已经开始行动。10月,包括本吉奥、辛顿在内的近500名联署者发布公开信,呼吁具备网络攻防能力的模型先默认断网隔离,由国际机构推动联网防护规范、记录隔离失效事件,并要求安全事故上报并最终公开。

OpenAI自己也预计,未来更强的模型仍可能发现未知漏洞。因此,持续红队测试已被纳入前沿训练的安全评估。这座“离线世界”能否在安全边界内支撑下一代模型,还要靠后续训练检验。

【编辑观察】 最可怕的不是AI有多聪明,而是警报响了两个半小时,人类才拉下电闸。在模型自我约束尚不可靠的当下,可靠的物理隔离和极速响应机制,或许才是人类面对AGI时最后的安全气囊。训练可以重启,越界之后能否及时停下,绝不能只指望模型自行收手。