今夜,整个AI圈经历了一场大地震!众望所归的、全球唯一尚未饱和的智能体基准测试 ARC-AGI-3 终于出炉了,结果直接“血洗”了全球各大顶尖大模型。
在这个测试中,人类得分100%,而曾经横扫各大榜单的AI大模型“学霸”们,得分竟普遍不足1%。
最惨烈的是,在上一代测试中还能拿下69.2%高分的优等生 Opus 4.6,在 ARC-AGI-3 面前直接现了原形,连蒙带猜得分仅为 0.2%。这面镜子,可以说是照出了当前AI能力中最深、最残酷的裂缝。
连1%的AGI都没达到?打脸来得太快
在近期的采访中,英伟达CEO黄仁勋还在表示我们已经实现了 AGI(通用人工智能)。但 ARC-AGI-3 的成绩单却残酷地显示:或许如今的 AI 连 1% 的通用本领都没有真正实现。
它的前身 ARC-AGI-1 和 ARC-AGI-2 已经是 AI 圈出了名的「魔鬼测试」,原本靠几个示例推断网格变换规律就已经很难了。而到了 ARC-AGI-3 版,难度干脆跨维度升级:从做「静态题」改为了打「互动游戏」!
测试中包含了150多个由人工从零开始精心打造的交互式游戏环境,涉及超过1000个实操关卡。每个游戏都有自己特有的内在逻辑、隐藏规则和通关条件。
最折磨AI的是:测试没有任何说明文档,没有自然语言提示指令,没人告诉你“左边的按钮会开门”或是“收集3个红色方块就能过关”。
AI智能体被丢进全新的场景里,只能看到当前画面。它必须像盲人摸象一样瞎试,选择一个动作并观察结果,然后在大脑里硬生生拼凑出一个“这个世界的物理规律是如何运作的”模型。
“效率至上”的残暴计分:大力不能出奇迹
为什么得分普遍在1%以下?这其实源于测试极度残酷的评分规则:不光看你“有没有通关”,还要跟人类比通关效率。
计分公式非常暴力:(人类步数 / AI步数)²。 这意味着,以前AI那种动不动枚举所有可能性的“蛮力穷举试错法”被直接判了死刑。只要你多试一步,分数就是断崖式下跌。
简单算笔账:如果一个关卡人类过关需要10步,
- AI要是试了100步通关:(10/100)² = 1%
- AI要是试了200步通关:就只剩 0.25%
- Opus 4.6 为什么得分 0.2%?这意味着同样是10步能搞定的问题,它像个没头苍蝇一样在游戏里原地空转了足足 224步!
丢人现场大赏:脑补过度,反而被老古董吊打
在发榜前的开发者预览测试中,1200多名人类玩家参与了3900多次挑战,大家不仅能凭借直觉轻松过关,还有执着的玩家玩起了“速通”。反观AI,那些满手黑科技的前沿大模型反而经常垫底崩溃。
目前排行榜的前三名,竟然清一色都是非大模型(非LLM)方案!第一名是一个名叫 StochasticGoose、基于卷积神经网络(CNN)的强化学习传统方案,得分12.58%,远远甩开了所有身价昂贵的顶流大模型。
这不禁让人疑惑:越聪明的大语言模型,怎么在游戏里反而越弱智?
ARC团队发现了一个好玩的现象:AI的主要死法是**“以为自己在玩另一个游戏”**。 参数量越大、学识越渊博的大模型,越容易对陌生环境“过度脑补”。比方说它碰到个圆东西,就非固执地认为自己在打篮球,殊不知这是在厨房里切西瓜。它甚至在疯狂执行错误计划、迟迟拿不到正反馈时,也不懂得停下脚步怀疑一下自己的假设。说白了就是,它们缺乏人类那种“元认知”的能力。而那些没有厚重知识包袱的轻量级老架构,反倒能老老实实看着反馈去修改动作。
终点线前的85万美金大赏
【编辑观察】 这套测试其实击穿了目前AI所谓的“智能”表象。面对全新游戏,即使是小孩也懂得「观察探索 → 在脑内建模 → 试探验证 → 快速修正」循环。但号称马上抵达AGI的大模型们,内核依然是个“只记答案不顾逻辑”的应试背题机。
为了鼓励大家直面这一真正的智能鸿沟,官方开出了高达 85万美元 的挑战赛奖金池。只要有人的智能体能在这个纯纯考验“学习本能”的游戏测试里拿到满分(须开源、纯断网评估),就能独揽70万美元的终极大奖。
人类凭本能就能攀到的通关终点线,AI究竟要花几年才能企及?我们拭目以待。





评论