离谱现状：GPU躺平一半，预算还在狂飙

AI军备竞赛打了好几年，最新的行业数据却透着一股魔幻感。 科技媒体VentureBeat旗下研究机构VentureBeat Intelligence，汇总了2026年7-9月三轮AI基础设施调研结果，共覆盖385位来自百人以上规模机构的受访者。数据显示：79%的受访企业表示，自家GPU算力至少有一半时间完全处于闲置状态，而且这一比例三个月里始终稳定在77%-81%，显然不是偶然波动。

更违背常理的是，这批GPU利用率不足50%的企业里，70%仍然计划在未来12个月内引入、扩充或者更换新的AI计算平台。

花钱的速度甚至跑赢了财务评估：9月的单独调研显示，64家计划上新AI平台的受访者中，有58家拿不出经过财务部门审核的投资回报率（ROI）测算，占比高达91%。 这并不代表这些AI项目一定没有收益，但足以说明很多企业的AI投入已经走到了财务审核的前面：AI工具已经进了生产流程，可到底花了多少钱、创造了多少实际价值，不少公司根本算不清这笔账。 【编辑观察】这操作像不像买了顶配4090显卡，结果天天只用来刷网页聊微信，转头还在预定下一代新显卡？怎么看都不算理性消费。

错位账单：自建算力吃灰，API调用烧钱

出现这种“一边闲置一边加码”的矛盾，不是企业决策者人傻钱多，而是真实AI需求和自有硬件之间出现了巨大的断层。 现在不管是专业从业者还是普通用户，高频使用的大多是OpenAI、Anthropic、谷歌推出的闭源前沿大模型，企业实际上在同时为两套完全割裂的服务买单：

  • 恐慌驱动的算力储备：前两年全球GPU短缺、AI抢跑的焦虑下，大量企业抱着“怕踏空”的心态提前采购了GPU集群，可硬件到位后，既没有足够的内部落地场景，也缺配套的工程能力把算力跑满
  • 闭源模型的路径依赖：业务团队和工程师更倾向于直接调用体验最好的顶尖闭源模型，按Token付API费、买订阅，而这些模型根本不能部署到企业自己采购的本地GPU上

最终就形成了非常讽刺的局面：自建的GPU集群成了躺着的沉没资产，调用闭源API的账单却在飞速吞噬预算。 今年8月《财富》杂志就曝光过典型案例：Uber此前鼓励员工全员多用AI工具，还专门搞了使用量排行榜激励工程师，结果仅仅几个月就烧光了2026全年的AI预算，公司CTO直接宣布“Token狂欢（Tokenmaxxing）时代终结”。

调研数据也印证了这种结构性割裂：GPU闲置还计划采购新平台的企业里，90%都把公有云和模型API服务商作为首选，只有8%考虑扩建本地私有集群。 当然也有合理的例外：部分闲置算力是企业为了应对流量峰值预留的资源，部分新平台采购是为了替换老旧设备，但整体的资源错配已经是普遍现象。

隐忧在前：Agent普及，成本账会更难算

GPU利用率低只是当前的问题，随着AI Agent逐步落地普及，企业未来要面对的成本挑战还会升级。 VentureBeat判断，后续企业AI支出里，模型调用的占比会越来越高；Gartner更是给出预测：到2028年，单个Agent工作流的推理成本将会上涨5倍以上。 这不是说模型的Token单价会上涨——恰恰相反，随着技术迭代，单个Token的价格还会持续下降，核心问题是Agent完成任务消耗的Token总量，增速会远远超过单价的降幅。 两个最容易被忽略的成本增量来源非常典型：

  • 重复消耗的上下文：以AI编程为例，Agent完成任务时需要反复读取全项目代码、系统规则、历史执行记录，如果每次请求都重新计算这些内容，成本会飞速累积。英伟达工程师测试Claude Code场景时发现，首次调用后85%-97%的上下文都可以通过缓存复用，而Anthropic的缓存读取价格最低仅为普通输入Token的1/40，优化空间极大
  • 盲目堆叠的多Agent：不少方案会用主Agent调度多个子Agent处理任务，但Vals AI的编程任务测试显示，多Agent方案的成本达到单Agent方案的1.8-5.1倍，可四种测试配置里只有1种拿到了统计显著的性能提升，很多时候多加Agent并没有提升效率，只是多了个同时烧Token的“吞金兽”

破局方向：别再囤卡了，先把现有资源用好

在这样的背景下，过去那种“怕踏空先买了再说”的粗放扩张模式显然已经走不通了。业内普遍认为，企业签下新的算力合同之前，最该做的是先把已经付费的资源效率榨干，让每一分钱都对应实际完成的工作，核心可以参考这几个实操方向：

  • 建立单任务成本核算标准：同时统计GPU硬件成本和API调用支出，算清每完成一项实际工作的综合成本，不要单独看GPU利用率或者单个Token价格
  • 按需求选择模型配置：多测试不同规格模型的实际表现，不要盲目追前沿模型——便宜模型如果要消耗数倍Token才能完成任务，实际成本反而更高
  • 做好上下文管理：只给Agent提供任务必需的上下文信息，重复内容统一做缓存处理，无论是调用API还是本地部署都适用
  • 理性使用多Agent：只有任务真的可以拆分为并行环节时，再增加子Agent，不要为了“看起来高级”堆Agent数量
  • 盘活闲置GPU资源：把文本分类、信息抽取、内容摘要这类常规高频任务，从前沿API迁移到闲置算力上运行的开源模型；空闲时段的GPU还可以承担批量推理、模型微调、效果评测这类延后任务

其实79%的闲置率和70%的新增采购意愿，并不能直接证明AI泡沫已经破裂，也不代表整个行业已经产能过剩，但它给所有入局者提了个醒：资源投入和真实需求之间的落差，已经到了必须正视的程度。 过去几年行业习惯比拼参数规模、囤卡数量、融资金额，可当AI真正走进业务流程，评判标准终归要回到实际价值上：到底完成了多少工作、提升了多少效率、节省了多少成本、付出了多少代价。 【编辑观察】其实和普通玩家装机一个道理：无脑拉满顶配未必体验最好，把手里的硬件调度明白、让每一分钱都花在刀刃上，才是真的会玩。