相信用过3D世界模型、AI视频生成工具的朋友,都有过点下生成键后盯着进度条等几分钟的痛苦经历。而就在最近,李飞飞创办的World Labs直接把自家的世界模型拉进了实时交互时代,推出了研究预览版Demo Frameboy。

不需要本地高性能硬件,只要打开浏览器,云端GPU就会以最高15fps的帧率实时串流画面,你可以像玩游戏一样自由操控镜头,在单张图片生成的3D世界里随意探索,哪怕角度选错、思路走偏,鼠标一划就能重新调整,试错成本几乎为零。这次更新也是AMD宣布收购World Labs后,这支顶尖空间智能团队交出的第一份技术答卷。

告别漫长等待,复古掌机里装着完整3D世界

两个月前World Labs首次发布自回归世界模型Atlas,核心卖点是逐帧生成画面、支持像素级精度的相机视角控制,不管是单图脑补虚拟3D场景、多视角照片还原真实地标,还是工地进度核查、电影勘景都能胜任,但初代版本最大的硬伤就是速度太慢——调整一次机位就要等几十秒甚至几分钟,创作者每次点生成都像开盲盒,思路很容易被打断。

为了解决这个痛点,团队对Atlas做了深度推理优化,推出了搭载优化版模型的实时交互Demo Frameboy,复古掌机的造型很容易让人联想到经典的Game Boy。

当生成速度提升到最高每秒15帧后,“点生成-等结果”的割裂感基本消失,你只需要在浏览器里推拉摇移相机,云端就会源源不断推送新视角的画面。官方还放出了新旧工作流的对比:

  • 旧模式下需要手动在场景里选4个关键机位,按下生成后等待视频渲染,角度不对就要拖拽调整,反复折腾好几轮;
  • Frameboy实时模式下,直接操控虚拟相机在场景里移动就行,视野转到哪,画面就同步更新到哪。

如果你熟悉World Labs去年的预览项目RTFM,会对这种复古掌机形态有印象,但两者的能力已经有了代差:

  • 旧版RTFM仅支持在已有的固定视角之间做插值过渡,能力边界有限;
  • 新版Atlas的模型规模、训练数据量高出好几个数量级,仅靠单张静态图或者一段文字描述,就能从零脑补出完整的周边场景;
  • 同时升级了多视角新视图合成能力,输入真实景点的多角度照片,就能直接在浏览器里开启赛博实景漫游。

上传图片就能创作,打造专属3D游乐场

只逛官方预设场景显然不够过瘾,World Labs还把实时串流能力集成到了网页端应用Viewfinder中,推出实时渲染叠加模式,目前该功能处于封闭测试阶段,已经开放候补申请。

在Viewfinder里,你可以上传自己的图片作为创作起点,操控虚拟相机逐步向外探索,一帧一帧搭建出完整的3D空间。Atlas每生成一帧都会同步输出色彩与深度信息,帮你对齐三维空间结构,避免场景错位。

等场景主体搭建完成,一键就能唤起Frameboy叠加层,刚才还在逐帧构建的静态工程,立刻就变成可以实时交互的3D游乐场。团队的目标非常明确:让Atlas这类世界模型成为下一代生成式渲染器。

当然官方也没有回避当前的局限性:现阶段Frameboy必须运行在云端高性能GPU服务器上,相比传统本地渲染,算力成本仍然偏高。

【编辑观察】回看图形技术发展史,颠覆性技术诞生初期往往都伴随着“慢且贵”的标签,实时光线追踪、3D渲染都走过从专业工作站到消费级硬件的普及路径,随着软硬件迭代,现在的云端实验室玩具,未来很可能变成普通玩家都能用的创作工具。

550亿联姻AMD,软硬协同加速技术落地

在降本提速这件事上,World Labs已经找到了强力靠山。就在9月28日,AMD刚刚官宣以82亿美元(约合人民币550亿元)的全股票交易收购成立仅两年的World Labs,交易预计2025年底完成,是AMD历史上仅次于收购赛灵思的第二大并购案。这家总部位于旧金山的明星独角兽,上一轮融资估值仅为50亿美元。

根据收购协议,交易完成后李飞飞将出任AMD执行副总裁兼首席科学家,直接向AMD CEO苏姿丰汇报;原有研发团队完整保留,继续由联合创始人Justin Johnson和Ben Mildenhall带队,主攻空间模型与物理AI研发。

这次Frameboy对推理速度的极致追求,也让外界看懂了这笔收购的双向价值:

  • 对AMD来说,大语言模型之后,涵盖机器人仿真、空间理解、三维重建的物理AI是下一个赛道必争点。收下World Labs后,AMD可以第一时间摸清下一代世界模型的算力负载特征,反向指导GPU架构、AI芯片与ROCm软件栈的研发,在空间计算赛道和英伟达正面竞争。
  • 对World Labs来说,下一代AI研发需要算法、系统与算力的深度协同,接入AMD的硬件团队后,可以贴身打磨底层算子与硬件适配,大幅降低算力成本,推动实时生成式3D渲染从云端走向消费级终端。