各位搞机和跑AI的虾友们,在Agent(智能体)满天飞的时代,最让人肉痛的是什么?当然是跑Token烧掉的钱!一些重度AI玩家,一个月跑掉几亿Token,账单小几万都是常态。

但现在,有个海外的顶级极客发了个大招,只要一台MacBook,你就能把目前最火的 DeepSeek V4 Flash 塞进本地,从此分币不花,实现真正的“Token自由”!

惊动YC大佬的“神仙项目”

几天前,意大利程序员 antirez 在GitHub上扔出了一个叫 ds4 的开源项目。说起这位大佬大家可能不认识,但他开发的 Redis 数据库可是全球互联网的基础设施之一。

简单来说,ds4 是一个专门为 DeepSeek V4 Flash 量身定制的推理引擎。

要知道,DeepSeek V4 Flash 虽然本身开源,可要真跑起来,需要吃掉 284G 内存和 160G 显存。按常规方法,你至少得掏50万配两张A100显卡和一堆顶级服务器硬件。

但有了 ds4,你只需要一台3万块钱、128G内存的 MacBook Pro!连硅谷顶尖孵化器 YC 的 CEO Garry Tan 都在 X 上惊呼:“100万Token上下文全跑在一台笔记本上,太疯狂了!”

把284B巨兽塞进轻薄本,他只做了三件事

过去大家跑本地大模型多用 llama.cpp,主打一个“雨露均沾”,啥都能跑但啥都跑不到极致。antirez 这个暴脾气直接表示:我只伺候 DeepSeek V4 Flash 这一位爷,把它优化到极限!

他到底施了什么魔法?核心就三招:

  • 第一招:不对称2-bit量化。 DeepSeek V4 是 MoE 架构,284B参数里每次只用13B的“专家”。antirez 把平时不怎么出场的“候补专家”狠狠压缩到原来四分之一大小的 2-bit,但把核心的路由、共享专家完全保留原精度。这就叫该省省、该花花!

  • 第二招:把缓存(KV Cache)扔进硬盘。 100万上下文如果全放内存,128G根本不够塞牙缝。所以大佬直接把缓存落到了苹果的超高速固态硬盘(SSD)上。省下内存的同时,还能让 Agent 反复续写时不卡壳。

  • 第三招:苹果原生Metal拉满。 抛弃所有杂念,纯为苹果GPU写代码!在 M3 Max 128G 的 MacBook 上,实测每秒能蹦26个字。虽然不算快到起飞,但用来写代码、跑 Agent 当赛博打工人完全够用。

最离谱的是,这几千行C代码构成的神仙项目,是大佬一个人用大模型辅助写完的!

【编辑观察】:被白嫖的DeepSeek,到底是亏是赚?

站在咱们白嫖党和极客玩家的角度肯定是爽翻了,但这对目前正满世界拉融资的 DeepSeek 来说,算好消息吗?

一方面,这绝对是 实力的终极认证。过去国产模型出海只能比跑分(MMLU、HumanEval等冰冷的数字)。现在人家顶流大佬愿意花几周时间专门给你写专属引擎,这是生态位的巨大胜利。看看 Hugging Face 上破2.5万的下载量,这都是实打实的开发者黏性。材料一旦被嵌入别人的工具链,想换都换不掉了。

但另一方面,这也动了官方API的奶酪。 那些原本每个月要花几千上万块买 Token 的重度开发者,现在花几万块买台苹果本就能一劳永逸。而且,本地量化难免会有Bug(外网已有反馈说本地跑大工程会丢失变量作用域、幻觉增多)。小白用户一用觉得不对劲,可能转头就骂“DeepSeek不行”,这波体验解释权丧失,官方还得背个大黑锅。

总而言之,大模型的战火已经从“云端比拼”卷到了“本地基建”。在这个神仙打架的时代,咱们玩家只需要准备好足够的硬盘,静静享受科技和开源带来的震撼就完事儿了!