你让AI帮忙修一个登录报错,照着建议改完代码重新跑测试,终端又弹出同一行红字。你把新日志贴进对话框按下回车,然后盯着屏幕等它吐出第一个字——这一等,可能就是十几秒。
修一个bug往往要来回折腾好几轮,每次提交后等待AI开口的时间,正在成为开发者最真实的体验痛点。
最近有人拿真实编程会话做了个测试,Claude直接把这段干等时间从约12秒缩短到了半秒。
12秒 vs 0.48秒,差距到底有多大
11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了预印本论文《Singularity-Bench: Can Agents Build Agents?》。
其中一道题的设定相当硬核:给Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时,全程断网,让它用Claude Code写一套完整的推理引擎——负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。
引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验效果。两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。
衡量指标叫 P90首token延迟:把所有请求从发出到模型开始回复的等待时间排序,排在第90百分位的时间就是P90,意味着90%的请求都能在这个时间内开始回复。
结果一目了然:
- 成熟引擎SGLang(v0.5.20):约 12.029秒
- Claude自研引擎:约 0.478秒
同样的硬件、同样的模型,等待时间直接砍掉了96%。等12秒你可能已经切回编辑器翻了几行代码,而半秒意味着你刚敲完回车,对话框里就能看到第一个字。
有意思的是,一旦开始回复,两套引擎的生成速度几乎持平:Claude引擎每秒生成124.2个token,SGLang为125.0个。差距全在"开口前"的那段时间里。
省下的11秒半,究竟从哪来
前缀缓存:别让模型重复"读旧账"
在真实编程会话中,每一轮请求都会把前几轮聊天记录一起送到服务器。16路会话同时跑,单次输入的中位数高达 8.9万个token。
模型必须先处理完输入才能回复,这一步叫「预填充」。如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,只处理新添内容,这就是「前缀缓存」。
测试用的模型会留下两份计算记录:一份保留前文信息方便回查,另一份像"账本余额"随读取进度更新。Claude写的引擎把同一段前文对应的两份记录一起存下来,下次遇到相同开头直接从末尾接着读。
SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。真正的差距,出现在没命中缓存的那4%上。
排队逻辑:买水的人不该替整车年货罚站
16路请求同时过来,没命中缓存的内容都要交给显卡处理。每条请求剩多少计算量、显卡先处理哪一条,直接决定了你多久能看到第一个字。
Claude给引擎定了一条排队规矩:谁剩下的计算量少,就先处理谁。
遇到好几万token的全新大请求,引擎会把它切成小块分批消化,绝不让一个大任务堵死整条车道。这样一来,你在旧对话里补的那句追问,就能绕过长请求优先得到处理。
【编辑观察】这个调度思路其实和操作系统的进程调度异曲同工——短作业优先、防止饥饿。Claude能把经典工程直觉迁移到推理引擎设计上,说明它不只是在"写代码",而是在做系统级权衡。
生成阶段,引擎还叠加了「投机解码」:轻量预测层先猜一个token,主模型随后核验,猜对直接采用、猜错丢弃重来。同时把零散的GPU操作打包合并,减少不必要的调度和数据搬运。
即便SGLang同样启用了前缀缓存和投机解码,Claude引擎在输入处理和请求调度上仍然占优:平均每张GPU每秒能多处理 19% 的未缓存token。
硬指标:吞吐量也涨了四成
在相同回放时限内:
- SGLang完成 705个 请求
- Claude引擎完成 983个 请求,多处理近四成
按预设输入输出单价折算"模拟收入",Claude引擎每GPU小时产出从SGLang的8.18美元提高到 11.52美元,增长 40.8%。
当然,跑得快还不够,满嘴胡话等于高速翻车。研究者设了两道硬门槛:并发负载下必须完整生成规定长度的回复,且通过隐藏测试的准确率验收。11套AI自研引擎里只有5套同时闯过两关,另外6套要么吞字断句,要么准确率崩盘,直接判零分。
六场闭卷考,Claude五胜一平
手搓推理引擎只是Singularity-Bench六道考题之一。研究团队把造AI的核心工作拆成六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),三道考基建(推理引擎、智能体运行框架、显卡集群调度)。
7个主流模型与Claude Code、Codex两套运行框架组合出11支AI队伍,全程断网、领起始代码、按倒计时交卷,在相同硬件上单挑人类打磨多年的成熟方案。
Claude Opus 5.5搭配Claude Code的成绩单:
- 预训练(4张GB300、12小时):先花44分钟测显卡性能再定模型规模,最终只用约一半训练计算量,困惑度12.77优于人类基线的14.22
- 中期训练(4张GB300、12小时):专挑解题过程完整、答案经核验的数据,下游平均准确率从17.5%拉到31.9%,接近翻倍
- 智能体运行框架(1张GB300、6小时):自己给自己动手术,下游平均分从0.438提到0.468,比原版Claude Code多修好一个bug
- 集群调度(16张GB300、4小时):发现多引擎共用显卡会争抢资源,改为轮流使用GPU,综合得分0.510超过NVIDIA Dynamo方案的0.460
- 后训练(4张GB300、12小时):解题率53.3%对人类方案53.9%,逐题比较各有18道独家解出,判平手
六项成绩等权汇总,以人类基线1分为参照,Claude组合以1.252分成为唯一超过人类基线的参赛者。第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均仅0.58分。
总榜还揭示了一个关键事实:模型大脑决定能力上限,运行框架决定本事能发挥多少。 同一款开源模型搭配Codex得0.228分,换成Claude Code涨到0.657分,接近3倍;另一款模型却恰好相反。框架选错,再强的模型也可能发挥失常。
【编辑观察】值得注意的是成本:仅开发阶段API调用,Opus 5.5就花了425.41美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍。能力差距背后,真金白银的投入也不容忽视。
AI造AI,现在到哪一步了
训模型、挑数据、写引擎、管显卡,AI已经在多项任务上超过人类基线。这是否意味着"AI自己迭代下一代AI"已经实现?
论文作者的态度很谨慎:还不能这么说。
这六道题本质上仍是人类划好范围、AI分别作答。后训练优化的是给定模型,推理引擎服务的是另一款现成模型,每道题从什么代码起步、优化什么指标、给多少时间算力,全由人类提前设定。
造好一个零件,和自己改进整条生产线,完全是两回事。
真正的递归自我改进(RSI)考验的是:AI能不能自己找出研发流程中最拖后腿的环节——是训练太慢、数据选错,还是强化学习总在等推理结果?找到瓶颈后自主决定从哪下手,再把改进放回整条流程验证,最终训练出真正更强的下一代模型,并让这个过程不断延续。
今天这项研究测的是AI能否让一次回复少等11秒;未来真正值得关注的,是AI能否独立完成一次跨代升级,以及这需要多长时间。




评论