五一假期前夕,DeepSeek 悄咪咪地扔出了一份重磅的视觉多模态技术报告。
过去一年里,OpenAI、谷歌、Anthropic 这些大佬们都在卷同一件事:让 AI 看得更清楚。他们拼命提升分辨率,想办法处理更复杂的图像细节。但大家似乎都默认了一个前提——只要 AI 看清了,它自然就会做推理。
但 DeepSeek 偏偏不走寻常路,他们一针见血地指出了多模态模型最致命的死穴:就算模型看清了,但在复杂的推理过程中,你咋保证它没把对象搞混?
从“看不清”到“指不明”
DeepSeek 在报告中提出了一个非常有意思的概念:引用鸿沟(Reference Gap)。
如果你面前有十几只狗,我用嘴跟你说“左边那只狗的右边那只”,你肯定会懵圈。自然语言在描述连续的空间和拓扑关系时,天生就是模糊的。一旦画面复杂起来,AI 的语言指代就会发生漂移,逻辑直接崩溃。这就是为什么让大模型去数密集图里的羊群,或者走迷宫,它经常胡言乱语的原因。
那人类是怎么解决这个问题的?很简单——用手指着说:“就这个!”
于是,DeepSeek 决定给 AI 也装上这么一根“赛博手指”。
视觉基元:让 AI 边指边思考
DeepSeek 的核心操作是引入了**“视觉基元”(Visual Primitives)。简单来说,就是把计算机视觉里最基础的点和边界框(Bounding Boxes)**,变成了 AI 思考时的最小单位。
以前的模型找东西,就像考试只给你交个最终答案。而 DeepSeek 让模型在思考时,不只是用文字描述“这里有一只狗”,而是直接输出坐标:“我看到了一只狗,它在 [[x1, y1, x2, y2]]”。
这个机制被 DeepSeek 称为**“边推理边指向”(point while it reasons)**。在迷宫这种地狱级难度的拓扑任务中,AI 的每一步探索、回溯,都死死锚定在具体的图像坐标上,彻底告别了“推着推着就迷路”的尴尬情况。这种过程不仅全透明,还极其方便后续的训练和打分。
极致的“抠门”带来极致的效率
如果你以为这套机制只是为了提高准确率,那就太小看 DeepSeek 的“降本增效”传统技能了。
这份报告里隐藏着一个极其恐怖的数据:在处理一张 800×800 分辨率的图像时,Gemini 消耗约 1100 个 Token,Claude 约 870 个,而 DeepSeek 仅仅只用了 361 个!在 KV 缓存里更是只保留了约 90 个条目。
他们是怎么做到的?答案是 CSA(压缩稀疏注意力)机制。一张包含 57 万像素的图片,经过极限压缩后,最终在 KV 缓存里只留下了 81 个条目。压缩比高达 7056 倍!
这种对信息论层面极致的取舍,带来的好处是显而易见的:
- 推理速度极快:算力消耗大幅降低,对需要实时响应的机器人视觉、自动驾驶非常友好。
- 狂省显存:在同样的硬件下,可以支撑更高的并发量。
- 上下文容量飙升:同一个长对话窗口里,你能塞进成百上千张图片让 AI 进行对比分析。
未来的局限与进化空间
当然,DeepSeek 也很坦诚地列出了目前这套玩法的几个局限性,这也是未来多模态要跨越的坑:
- 依赖触发词:目前 AI 还没有形成“元认知”,不知道什么时候该自己掏出“赛博手指”,还需要用户明确下达指令(比如“数一数”)。
- 分辨率限制:为了压缩效率,舍弃了部分极细粒度的精度。在医疗影像、工业质检等找茬级任务上,还需要结合高分辨率裁剪技术。
- 跨场景泛化:虽然在合成迷宫里大杀四方,但在真实的复杂三维管线、城市地图上,这套基元的表现还有待实战检验。
【编辑观察】 当硅谷的大厂们还在迷信“大力出奇迹”、疯狂堆算力去拉高分辨率时,DeepSeek 再次证明了他们独有的哲学——真正的智能不在于算力规模,而在于对问题本质的理解。给 AI 一个合适的表征方式,远比给它一万块显卡更有效率。这根“赛博手指”,或许就是未来视觉大模型通向真·通用人工智能的关键钥匙。





评论