【编辑观察】前段时间大家还在感叹 AI 要替代基层码农，没想到英伟达直接把刀伸向了最硬核、门槛最高的 GPU 算子工程师！这绝对是近期科技圈最炸裂的“背刺”大新闻。

近日，英伟达的研究团队在 arXiv 上抛出了一篇重量级论文。研究者许冰（Bing Xu）在 X 平台上发文直言：“这或许是软件领域展现超人类智能的首批真正迹象之一。”

这份名为《AVO: Agentic Variation Operators for Autonomous Evolutionary Search》的论文提出了一项极具颠覆性的技术——** Agentic Variation Operator（AVO，代理式变异算子）**。在这个新技术的加持下，AI 智能体在完全没有人工干预的情况下，连续自主搜索了 7 天，在高度优化的注意力机制工作负载上，彻底打败了几乎所有人类 GPU 专家。

告别流水线，AI 翻身做“进化操盘手”

以前我们在搞进化搜索的时候，大语言模型（LLM）更像是流水线上的“计件打工人”，被死死框在固定的流程里充当候选生成器。它们每次调用只能吐出一次结果，既不能主动找参考资料，也没法自己测试和理解反馈信息。

但这次英伟达祭出的 AVO 打破了这个套路。它把 AI 从被动的代码生成器，直接升级成了掌握全局的自我驱动智能体！这个智能体不仅能自主查阅之前的代码版本记录，还能翻阅极其硬核的 CUDA 和 PTX 架构文档，并根据跑分反馈来主动提出、修复、批判和验证代码修改。换句人话说：人家学会了自查资料外加实操演练！

7天自主狂奔，硬刚顶尖基准

为了检验成色，老黄的研究团队直接把 AVO 扔到了目前地表最强的 NVIDIA Blackwell (B200) GPU 上，让它去优化 Transformer 架构里最核心、也是被人类优化得最极致的“多头注意力（MHA）内核”。

在处于纯“放养”状态的 7 天里，AVO 智能体在后台不知疲倦地探索了超过 500 个优化方向，迭代并提交了 40 个有效版本。最终它交出的成绩单亮瞎了眼：

  • BF16 精度下飙到了最高 1668 TFLOPS 的恐怖吞吐量。
  • 相比英伟达自家重金打造、闭源优化的 cuDNN 库，吞吐量提升了最高 3.5%。
  • 对比目前最前沿的开源基准 FlashAttention-4，更是大幅甩开最高 10.5%！

30分钟无缝迁移，真正的“微架构级推理”

如果你以为 AVO 只是因为见得多，所以“死记硬背”过度拟合了一个场景，那就大错特错了。

研究人员后来给它甩了个新任务：把优化好的 MHA 核心代码，重新适配到目前大模型最爱用的**分组查询注意力（GQA）**上。结果 AVO 仅仅花了约 30 分钟的自主调整就搞定了新任务！性能依然呈现碾压态势，比 cuDNN 高出最高 7.0%，比 FlashAttention-4 高出最高 9.3%。

通过扒开它提交的代码变更记录，研究人员发现这货并不是在做表面的语法混淆或微调，而是进行了真正硬核的底层硬件逻辑推理：

  • 无分支累加器重缩放：干掉条件分支，排除 warp 同步开销，替换了更轻量级的内存屏障，这一个动作就让非因果注意力的吞吐量暴涨了 8.1%。
  • 流水线重叠：打乱了原本顺序执行的依赖关系，把它们变成交叠流水线执行，极限减少硬件空闲时间。
  • 重新平衡寄存器：通过分析性能分析器数据，它一旦发现寄存器不足导致数据溢出至慢速内存，立马果断对 Blackwell 的 2048 个寄存器预算进行了重新分配，硬生生又挤榨出 2.1% 的性能。

【编辑观察】连最底层、最核心的寄存器分配和同步流水线调度它都能玩得飞起，英伟达口中的“盲编程（Blind Coding）”时代恐怕真的在路上了。不仅是深度学习底层生态，未来所有对算力有着极致苛求的工程可能都会交给 AI 去“发卷”。人类的认知能力正在成为性能上限的瓶颈，碳基打工人们该打起十二万分精神了！