两天两连更：小米提前亮出V3底牌

9月24日，据智东西报道，小米MiMo大模型负责人罗福莉昨晚突然在社交平台发文，提前披露了下一代MiMo-V3的新架构。其核心组件 HySparse2 率先登场，相关技术论文也同步公布。

值得注意的是，就在9月22日，小米大模型团队才刚刚发布并开源新一代Xiaomi MiMo-V2.6系列，并预告后续将开放速度提升20倍的UltraSpeed版本。没想到仅仅两天后，团队就把刀直接落到了模型底层架构上。

简单来说，这套新架构主要解决Agent多轮交互后必然面临的三大痛点：

  • 长输入算得太多：Prefill（预填充）计算成本居高不下
  • 缓存占得太大：KV Cache随着上下文增长疯狂吞噬显存
  • 检索找得不准：难以从百万级Token的历史信息中捞取关键内容

罗福莉给出的数据相当硬核：在100万Token上下文下，HySparse2的Prefill计算量相比上一代架构降至约1/5，KV Cache占用降至约1/4.5，同时长上下文检索能力不降反升。

论文引用DeepSeek四项成果

HySparse2论文由小米LLM-Core团队完成，共15位作者，罗福莉为通讯作者并标注为Team Lead。

翻看论文参考文献，业内熟悉的名字不少。其中，DeepSeek相关成果共有4项，包括：

  • DeepSeek-V2
  • DeepSeek-V3.2
  • DeepSeek-V4
  • DeepSeek-V4.1-Flash

此外，OpenAI的gpt-oss模型卡以及GPT-4.1相关评测工作也在引用之列。

【编辑观察】大模型开源生态正在形成奇妙的“连锁反应”。小米大方引用DeepSeek多项技术成果，也印证了底层架构创新往往建立在前人肩膀上。开源不仅是利他，更是在加速整个行业的技术迭代。

Agent推理为何被“长输入”卡死？

HySparse2瞄准的，是Agent工作负载中一种越来越典型的模式：模型生成的动作很短，工具返回的内容却可能很长。

比如Agent只输出一句搜索指令，搜索引擎却返回一整篇长文档；代码工具只执行一次，却甩回海量运行日志。模型在下一轮推理前，必须先把这些新内容处理一遍，这个过程就是Prefill（预填充）。

随着调用轮次增加，文档、网页和日志不断涌入上下文，模型不仅要反复处理新增输入，还要保存巨大的KV Cache，并在几十万甚至上百万Token里精准找答案。上一代HySparse虽然通过复用缓存做过优化，但在Prefill阶段仍需依次执行全部网络层。

而HySparse2的目标是：进一步缩短Prefill的执行路径，让模型跑完前半部分就能构建出后续推理所需的全部缓存。

两级KV共享：让模型少跑一半

实现这一目标的核心，是HySparse2采用的两级KV共享机制。

第一层：KV Bridging（KV桥接）

模型主体被分成Self-Decoder和Cross-Decoder两部分。Cross-Decoder中的全注意力层在生成K和V时，可以直接使用Self-Decoder产生的隐藏状态，后半部分无需再完整处理一次此前输入的全部Token。

第二层：KV Reuse（KV复用）

进入Cross-Decoder后，一个全注意力层生成的KV Cache和Token选择结果，会继续提供给后续多个稀疏注意力层复用。

两级共享叠加后，Cross-Decoder所需的KV Cache全部可以根据Self-Decoder的隐藏状态构建。这意味着Prefill执行完Self-Decoder即可直接退出。

Token级选择：精准定位大海里的那根针

除了共享缓存，HySparse2还彻底调整了寻找长上下文信息的方式。

上一代HySparse采用Block级选择，一次必须选取一整块连续Token。如果关键信息只有一个Token，也得连带处理周围整块内容，浪费算力。

HySparse2则升级为Token级选择，可以直接从上下文的不同位置精准挑选相关Token。论文消融实验显示，在相同注意力预算下，Token级方案在RULER-v2、MRCR-v2和GraphWalks等长上下文检索与图推理测试上得分全面更高。

同时，HySparse2取消了Cross-Decoder中单独的SWA（滑动窗口注意力）分支，改为强制保留最近一段上下文。实验设置为固定保留最近128个Token，再从更早的上下文中选择1024个Token，让局部和全局信息共用同一份KV Cache。

以论文展示的49层模型为例，Prefill节点只需部署前25层，所需模型权重接近减半，且这一阶段只需执行一个全注意力层。

实测数据：效率与长上下文能力双丰收

为验证架构效果，小米团队训练了一组80B-A3B MoE模型，与HySparse及Hybrid SWA进行对比。三组模型使用相同数据，先用约5000亿Token进行32K长度预训练，再用约1000亿Token后训练并将上下文扩展至256K。

长上下文与Agent任务提升显著：

  • 相比HySparse，MRCR-v2和RULER-v2平均得分分别提高 11.30 和 19.81 个百分点
  • 相比Hybrid SWA，分别提高 6.44 和 18.65 个百分点
  • 256K上下文下，RULER-v2得分达到 58.45（对照组仅为32.61和35.74）
  • 各上下文长度下，AgentPPL和LongPPL均更低

计算与缓存成本差距更加直观：

  • 100万Token下，Prefill FLOPs相比HySparse降至约 34%，相比Hybrid SWA降至约 20%
  • KV Cache占用仅为 2.69GB，而HySparse为6.72GB，Hybrid SWA高达12.09GB

在通用能力部分，小米的结论相对克制：三种架构在知识、推理和代码等能力上整体表现大致相当，不同测试项目各有高低。例如HySparse2在BBH和MMLU-Pro上成绩更高，而HySparse在DROP等项目上更好。

【编辑观察】小米并没有吹嘘HySparse2“全方位吊打”，而是坦诚其在部分数学、代码项目上互有胜负。这种“为Agent长上下文特化”的取舍，省去了额外投影参数和局部缓存，或许比追求全能跑分更具实际工程价值。

结语：MiMo-V3的方向已经清晰

MiMo-V2.6刚刚押注大规模RL，两天后MiMo-V3的底层架构就已亮剑。按照目前的设计，HySparse2通过两级KV共享让Prefill阶段只需运行约一半模型，同时大幅压低长上下文的计算与存储成本。

这也明确了小米下一代模型的技术路线：面对越来越长、越来越多轮的Agent任务，继续死磕长输入效率。接下来，HySparse2将如何落到完整的MiMo-V3上，最终实际体验如何，值得持续关注。