OpenAI上演“灭霸打响指”,安全团队又没了一个

兄弟们,OpenAI 最近这波操作属实有点让人看不懂了。他们又解散了一个安全团队——名为“Preparedness”(应急准备)的独立团队。

在过去的两年里,OpenAI 搞出了四支听起来很牛的安全力量(涵盖当前产品安全、超级智能对齐、AGI 应对以及极端风险评估),结果现在几乎全军覆没。官方淡定地表示:安全工作已经融入了模型开发的日常流程之中,所以不需要单独设立一个团队了。

这个被优化的团队到底是干嘛的?

这个成立于 2023 年 10 月的 Preparedness 团队可不是闹着玩的,他们的核心任务是追踪、预测和防范前沿 AI 模型可能带来的极端甚至灾难级风险。主要防范的领域包括:

  • 模型是否已经具备了造成大规模社会危害的能力
  • 生物、化学等高危领域的技术是否会被滥用
  • AI 大规模说服、欺骗和操纵人类的能力界限
  • 恶意代码生成能力的危险阈值

为了系统性地控制这些风险,该团队曾搞出了一份多达 27 页的“应急准备框架”,用矩阵方法给模型评级。

按照这个框架的死规定:每个类别的风险分为低、中、高、严重四个等级。只有评分为“中”或以下的模型才能被部署;如果风险降不到“严重”以下,公司必须停止该模型的开发。

结果尴尬的来了。今年初,Sam Altman 刚从竞争对手 Anthropic 那里挖来大神 Dylan Scandinaro 担任团队负责人,甚至还在社交媒体夸下海口,表示有了他“今晚能睡个好觉”。

谁能想到,这还没过几个月,团队在 7 月底就被正式撤编了。

【编辑观察】 “把安全融入开发”听起来很互联网、很敏捷,但内行都知道猫腻不小。独立安全团队最大的武器就是“一票否决权”——可以说不、可以延缓发布、可以要求重新测试。现在团队被打散嵌入到基层,就意味着没人能随时踩大刹车了。之前为了抢在谷歌 Gemini 前发布,OpenAI 硬是把 GPT-4o 的安全测试从数月压缩到了一周,商业化的吃相已经非常明显了。

高管排队离职,内部人心惶惶

不仅是安全团队被团灭,OpenAI 的安全大佬们也是排着队提桶跑路。近期离职的核心高管名单都能列出一长串:

  • 克洛伊·巴卡拉(Chloé Bakalar):前首席伦理官。作为公司内唯一的专职伦理学家,她走后连个接班人都没有找到。

  • 约翰内斯·海德克(Johannes Heidecke):安全系统主管。
  • 约书亚·阿奇亚姆(Joshua Achiam):首席未来学家。

更让人意外的是,除了这些搞安全的大佬,还有个重磅级的纯技术大牛也悄悄溜了——OpenAI 创始团队成员、被内部尊称为“Bob”的 GPU 底层优化大神 Scott Gray。

这位大神专门负责大规模模型训练的计算加速,是 GPT-4 的署名作者之一,也是早年 OpenAI 诸多神仙项目的主力。如今,他在个人主页上的介绍已经悄然改成了“曾在 OpenAI 担任 GPU 极客”,只留给东家一个潇洒的背影。

接二连三的离职和重组潮,已经让 OpenAI 内部的氛围变得相当紧张。有员工透露,目前公司内部弥漫着不安的情绪。特别是在接连曝光黑客入侵等外部事件后,基层员工很担心公司在安全保障上已经出现了严重的脱节。

在 AI 狂飙突进的下半场,OpenAI 这辆疯狂加速的跑车,到底还有没有准备好刹车片呢?