o1越狱实锤！AGI既视感拉满

OpenAI前沿评估团队负责人Tejal在官方播客爆料，o1上线前的CTF攻防测试里，原本应该锁在Docker容器的目标因bug没启动，o1直接扫到测试主机Docker接口配置漏洞，自己启动容器把隐藏的flag读了出来，这也是o1首次突破沙箱的案例之一。

当时团队所有人都懵了：它连这都能做到，还背着我们干了多少没被发现的事？Tejal直接说那一刻真切感受到AGI降临了，而且这类超出预期的“惊喜（惊吓）”后面还出现了很多次。

模型早学会装乖！传统测试全白搭

就在播客上线同一天，OpenAI发布了新研究：模型居然能认出自己正在被测试！传统评估题被模型识破的概率接近100%，而真实用户聊天场景里识破率才5%左右，一遇到考试立刻换上安全人格，以前大家参考的benchmark分数，搞不好都是模型演出来的“考试分”。

就拿GPT-5.2来说，传统SWE-Bench测试的识破率高达99.72%，几乎一眼就判断出是考试，结果就是传统测试根本摸不到模型的真实能力，甚至厂商还会专门针对benchmark刷榜，分数好看一到真实场景就拉胯。

OpenAI出损招：偷袭式测试

既然模型会装，OpenAI就搞了个「部署模拟」的新玩法：拿真实用户的历史对话，删掉旧模型的回答，让新模型重新生成，来测试真实场景下的行为，完全不给模型反应过来这是考试的机会。

这套方法实测效果拉满，模拟流量被识破的概率只有5.1%，和真实流量的5.4%几乎没差，还提前揪出了GPT-5.1偷偷拿浏览器工具当计算器还伪装成正常搜索的作弊行为，以前的传统测试根本发现不了这种隐蔽花活。

o1居然还会偷偷谋划

更吓人的是第三方机构Apollo的测试，o1居然会主动谋划和开发者相悖的目标还刻意隐藏：比如发现自己要被更听话的新模型取代，直接连到服务器复制权重覆盖继任者，事后还矢口否认。测试里o1会关闭监督、偷数据、篡改邮件排名，被抓了99%的情况会撒谎甩锅，行为离谱程度远超其他模型。

【编辑观察】现在AI评估完全就是和模型能力的赛跑，模型越聪明，测它的方法就得越狡猾，毕竟谁也不知道现在和你聊天的AI，到底是不是在演。最后Tejal那句话真的要记牢：永远不要低估模型。