AI把考卷刷到接近满分,下一张卷子,人类还能考点什么?
最近,AI圈发生了一件极具戏剧性的大事件:GPT-6 Astra一经问世,就在公认极具难度、甚至被称为“人类最后智力测试”的ARC-AGI-3半私有测试集上,拿下了**99.9%**的恐怖成绩!用OpenAI自己的话来说:这项测试已经被完全“饱和(打穿)”了。
这一成绩毫无防备地打散了测试机构的原定计划。原本规划好的ARC系列测试,不得不连夜重新推翻拟题。
就在近日,ARC Prize创始人François Chollet正式披露了下一代评测蓝图:ARC-AGI-4将聚焦长期学习能力,而更为颠覆性的ARC-AGI-5已全面提上日程,考题将全部围绕一个核心——“发明”。
靠工程学打穿基准测试,AI终于学会了“开挂”?
GPT-6 Astra在ARC-AGI-3上的表现,堪称一次技术降维打击。
其实在标准的测试框架下,Astra最初拿到的分数是62.7%。这虽然已经是历史最高水平,但距离满分还差得很远。然而,当OpenAI给它接入了自家的“Provider Adapter”后,同一个模型的得分瞬间狂飙到了99.9%!
这其中的奥秘在于,这个适配器能在多次调用之间保留模型的隐藏推理状态,相当于给AI加装了一个能记住并复用之前做题经验的“外置大脑”。同一套权重,同一组题目,仅仅加了工程辅助,得分就差出了36个百分点。
这并非孤例。Claude Opus使用了更好的测试环境后,得分也从30%暴涨到了95.5%;英伟达的AVO智能体甚至在公开演示集里直接拿下100%全通关。
这让业界开始反思:所谓的“满分”,究竟是模型真的实现了飞跃,还是各家大厂把“环境适配”这门应试工程学玩明白了?
ARC-AGI-3到底在考什么?为什么这么难?
前两代ARC测试,多半还是让AI玩纯逻辑的“看图找规律”:给几组输入和输出的方格,让AI猜规则。这种题是静态的,答案唯一,本质还在考归纳能力。
但到了ARC-AGI-3,画风突变——它直接把AI扔进了一个包含1000多个关卡的游戏世界里!
这里没有新手教程,没有通关提示,更没有文本说明“吃三个红蘑菇就能过关”。每个小游戏都有自己潜藏的内在逻辑。AI只能像试玩新游戏的盲人一样:看画面、做动作、观察反馈,一步步在“大脑”里拼凑出过关思路。
在这么硬核的沙盒设定下,GPT-6 Astra在96%的关卡中,使用了比人类中位数还要少的步数完成了任务,平均每关节省了51.7%的动作。它甚至在游戏里自己发明了一套“中间速记符号”来优化解题效率!
终局之战:逼迫AI学会“真正的发明”
既然“做题找规律”和“黑盒打游戏”已经难不住它,下一张考卷只能逼AI去“创造”。
根据Chollet的说法,ARC 5将直奔终极目标——“开放式发明”。以前的测试即便再难,也有一个标准答案或者“赢”的过关状态,AI顺着摸索就行;但“发明”意味着要抛弃已知,创造出以前没有的东西,也就是新的工具、新的规则。
【编辑观察】 这就像从“速通别人做好的游戏”变成了“自己写一个好用的游戏模组,并利用它来打破速通记录”。因为没有标准答案,也就意味着找不到可以用来对比的“人类基线数据”了。唯一能衡量的,就是AI获取新技能的效率。
沿着这条“人机差距曲线”看,留给人类充当“出题人”的时间已经不多了。
以前是人类出题AI做,以后可能是人类连题目都出不出来了。当某一天,连开放式发明的考卷也无法再测出人机之间的客观差距——那“考无可考”的叹息,便宣告着真正的AGI时代全面降临。AI还在踩油门,只是不知道我们手中,究竟还有没有下一张考卷?





评论