把注意力机制“旋转90度”

AI 圈子里有个来自大佬 Ilya 的著名神预言：把按时间顺序处理数据的 LSTM 网络“旋转90度”（将时间轴变成深度轴），就变成了大模型常用的残差网络（ResNet）。

既然时间上的 LSTM 能对应起深度的 ResNet，那现在爆火的“注意力机制（Attention）”自然也能旋转一下！顺着这个脑洞，Kimi 团队真就在深度维度上把注意力机制“转”了过来，搞出了全新的 Attention Residuals（注意力残差）技术。

这套新机制让大模型在计算当前层时可以聪明地“回头看”，自由决定提取前面哪一层的信息。这个酷炫的想法直接惊动了马斯克，老马特意跑到前排吃瓜，直呼“令人印象深刻”。

知名 AI 大神 Karpathy 也被这套操作惊艳到了，他感叹道：看来我们对 Transformer 这篇开山之作的理解依然还远远不够。

大模型的“记忆力”升级

以往大模型中的“残差连接”一直面临着一个“记忆负担”的问题。传统做法是简单粗暴的无差别累加，相当于强行把每一层经历的知识用相同权重塞进大脑。这导致越往深层走，有用的信息反而被稀释了（学术上称为 PreNorm dilution 问题）。

Kimi 团队这招就非常灵性了：既然无差别累加行不通，那就让网络自己学会该回忆什么。当前层通过注意力机制，去衡量前面每一层的关键程度——对当前有用的层多给点权重，不相关的直接无视。

但这又带来了一个现实困境：这么搞计算量直接原地起飞。为了能让模型跑得动，他们引入了 分块压缩（Block AttnRes） 的思路。

如上图所示，Kimi 把连续的网络层打包成块，在层间只需抽取一个“摘要向量”。不仅大幅降低了计算量，性能反而还上去了。

落到实测跑分中，在 48B 参数规模的 Kimi 自家模型中测试，这套架构让训练效率提升了整整拿捏了 25%，而推理延迟甚至只微增了不到 2%，妥妥的技术飞跃。

17岁一作：硬核青年的进阶之路

比起炫酷的技术，更为传奇的是，在满是大佬的共同第一作者名单里，竟然出现了一位名叫陈广宇（Nathan）的 17 岁高中生。

人红是非多，很多人看到“天才少年”的新闻后开始了魔幻猜测。小伙子本人倒是极其清醒，直接在社交平台上出面辟谣，实事求是地表示这篇论文是基于整个团队长时间的工程积累和理论研究，离不开大家共同的贡献。

不过，如果你翻一翻他的过往经历，就会发现在光环背后，是一步一个脚印的“极客养成记”。

一年前他还不知道什么是 Transformer，从在黑客松中受启蒙，到拿 Gemini 当导师狂啃论文；从去硅谷初创公司实习，一人单刷几十张 H100 的项目，再回国被 Kimi 高效底层的技术吸引并加入团队。

【编辑观察】 大家通常很容易被“高光时刻”蒙蔽，觉得少年天才全凭上帝赏饭吃。然而看看陈广宇的故事，先是被时代最前沿的波澜击中，再踏踏实实一层一层往下死磕，硬生生把兴趣折腾成了实打实的生产力。AI 的底层变革才刚刚开始，技术的浪潮正在犒赏每一个充满执行力和好奇心的人，别闲着了兄弟们，准备敲代码干活吧！