9月23日，GMIF 2026全球存储器行业创新峰会正式召开，Arm全球存储业务负责人John Xavier Lionel在会上发表《从数据到Token：重塑边缘AI的计算与存储架构》主题演讲，拆解了生成式AI落地边缘侧的最新趋势与技术思路。
算力不是万能，AI竞争转向全链路效率
过去大家评判AI芯片性能，第一反应往往是看TOPS峰值算力，但随着生成式AI规模化落地，这套评判标准已经越来越不适用。
在AI推理的解码阶段，系统需要持续访问KV Cache（键值缓存），内存容量、带宽、数据传输效率都会直接影响最终的推理性能与吞吐量——也就是说，哪怕计算单元算力再强，数据供不上，实际体验也会大打折扣。
与此同时，**Token（词元）**已经成为衡量AI运营成本的核心单位。按照测算，100万台设备每天完成20次AI交互、每次生成500个Token，单日就会产生约100亿个Token，每个Token背后都对应着计算、内存、存储、网络与能耗成本。AI推理已经从一次性的技术研发投入，变成了持续性的运营支出。
当前行业的竞争核心，已经从单纯追求更高TOPS，转向计算、内存、存储、数据传输全链路的效率平衡。
【编辑观察】这也解释了很多用户的实际困惑：明明手机/PC的NPU标称算力很高，跑本地AI大模型时却发热严重、生成速度缓慢，问题很可能出在存储和数据传输的短板上。
分布式AI：让任务待在最合适的位置
随着AI能力从云端向终端渗透，行业早已不需要做“全靠云还是全靠端”的选择题，核心目标变成了把不同要求的AI负载，放到最合适的计算层级上：
- 始终在线感知、唤醒词检测、异常检测等轻量级任务，放在低功耗终端本地运行，兼顾续航与响应速度
- AI助手、多模态交互等对时延、隐私要求高的应用，放在手机、PC、XR设备、机器人等高性能边缘设备上执行
- 行业定制模型、本地化AI服务，依托边缘基础设施部署
- 超大模型、复杂推理、模型训练、全球化服务等重负载任务，仍然由云端承接
这种分层调度的模式，既能帮企业平衡能力、成本与能耗，也能给普通用户带来更快的响应、更好的隐私保护与更可靠的使用体验。对玩家来说，未来游戏内的智能NPC、实时AI攻略辅助这类功能，完全可以做到本地运行，不用等待云端往返，断网也能使用。
存储角色升级，成边缘AI核心瓶颈
得益于小语言模型、量化技术、异构计算架构和软件生态的进步，边缘AI最近几年发展速度极快，原本只能在云端运行的AI能力逐步下沉到终端，但也给存储系统带来了全新的挑战。
生成式AI推理过程中需要持续读取模型权重、用户上下文、KV Cache，模型规模、本地知识库、用户记忆的体量还在不断扩张，边缘系统对存储容量、内存带宽、模型加载速度、安全性、功耗控制的要求都在快速上涨。
存储的定位也发生了本质变化：过去存储只用来存放操作系统、应用、游戏和用户文件；现在模型、向量数据、本地知识库、AI Agent记忆等“AI资产”都会长期驻留在设备中，存储承载的不再只是普通数据，而是终端的智能能力本身。
Armv9平台落地，端侧可跑十亿参数大模型
最早的边缘AI应用只有MB级体量，无非是唤醒词检测、简单感知类任务；现在边缘AI已经扩展到AI PC、多模态交互、机器人、本地生成式AI等场景，模型和上下文体量已经增长到GB级，对系统能力提出了更高要求。
针对不同层级的边缘设备，Arm给出了对应的解决方案：
- 面向低功耗边缘设备，Cortex-M CPU系列的核心设计思路是尽可能减少外部数据移动，让活跃数据靠近计算单元，模型直接存储在Flash中按需调用，在极低功耗预算下提供AI能力
- 面向边缘大模型场景，Arm推出了Armv9边缘AI计算平台，基于Cortex-A320 CPU与Ethos-U85 NPU打造，通过升级内存架构、优化数据访问效率、强化CPU与NPU协同计算，已经可以支持运行参数规模超过10亿的大语言模型，为生成式AI、多模态AI、智能体应用提供端侧算力支持
AI终端的下一轮竞争，注定不会是单纯的TOPS参数竞赛，而是计算、内存、存储、数据移动全链路的系统设计竞争。随着底层芯片架构持续迭代，未来我们手里的手机、游戏掌机、便携PC都能获得更强的本地AI能力，在隐私、响应速度上带来全新的体验。
0
评论