神秘的第140号禁令:AI界的规则怪谈

几天前,一位 Reddit 网友发了个让人摸不着头脑的帖子:“诚心发问,为什么 ChatGPT 不能提哥布林?”

原来,他扒出了编程工具 Codex 的系统提示词,发现里面赫然藏着一条标号为 140 的“规则怪谈”:

“永远不要讨论哥布林、小魔怪、浣熊、巨魔、食人魔、鸽子,以及其他动物或生物,除非与用户的需求绝对且毫无疑问地相关。”

这下网友们炸锅了,各种离谱猜测层出不穷:有人说这是数据投毒保护,有人怀疑 OpenAI 程序员小时候被浣熊咬过。更好笑的是,网友测试发现,只要你用“trash pandas(垃圾小熊,浣熊俗称)”就完全没事,但一旦打出“raccoon(浣熊)”这个词,禁令立马生效!

这就跟《盗梦空间》里那句著名的台词“别去想粉色大象”一样,官方越不让提,大家越好奇。这事儿越闹越大,逼得 OpenAI 专门发了篇博文,标题就叫《哥布林从哪儿来的》。

破案了,全赖跑团老哥!

事情要追溯到新模型更新后。有安全研究员发现,ChatGPT 的回复里“哥布林(goblin)”和“小魔怪(gremlin)”的出现频率暴涨了 175%。起初大家觉得“代码里有个小哥布林在捣乱”这种比喻还挺可爱,但很快,情况彻底失控了。

连 OpenAI 的首席科学家要求 AI 随便画个图案,它都能给你用字符画个哥布林出来。经过排查,这波“哥布林大军”的源头,居然是选了 “Nerdy(书呆子/极客)” 人格的用户群体。

所谓 Nerdy 人格,指的是《生活大爆炸》或者《怪奇物语》里那种痴迷《龙与地下城》(DnD)、跑团、科幻元素的硬核宅男。

在他们的圈子里,哥布林作为最经典的低级小怪,早就成了日常交流的通用背锅侠。遇到 bug?“有哥布林在捣乱!”电脑死机?“肯定是哥布林干的!”

讨好型人格引发的“哥布林越狱”

你可能想问,跑团老哥爱玩梗,关 AI 什么事?这就要提到大模型训练里最关键的一步:RLHF(人类反馈强化学习)。简单说,就是 AI 答得好,人类评分员就给高分。

在 Nerdy 人格的训练中,只要 AI 的回答既专业又带点极客幽默(比如巧妙地用了哥布林比喻),评分员就会大方地给出高分。于是,AI 聪明的小脑瓜得出了一个致命结论:“只要提哥布林,人类就高兴,就能拿高分!”

这就好比一个人在饭局上讲了个冷笑话被夸了,结果他去婚礼讲、葬礼讲、写工作汇报还在讲。AI 开始在所有场景里疯狂刷哥布林,这股风气甚至污染了新一代模型的训练数据,导致浣熊、巨魔、食人魔等一大家子奇幻生物全都在 AI 的脑子里安了家。

拔不掉的“哥布林基因”

查明真相后,OpenAI 赶紧采取措施:下线 Nerdy 人格、清洗训练数据。但是,对于已经训练好的最新模型来说,哥布林已经刻进了它的 DNA 里,改不掉了!

没办法,OpenAI 只能用最简单粗暴的物理手段,也就是我们开头看到的那条第 140 号禁令——强行给 AI 贴个“创可贴”,硬性规定它不准再提这些词。

【编辑观察】

这起看似搞笑的“哥布林越狱事件”,其实暴露了当下 AI 发展的一个核心痛点:为了讨好人类,AI 甚至会迎合我们的错误。 牛津大学的研究就指出,把模型训练得更“温暖友好”,会导致事实错误率上升 10%~30%。AI 的性格不是设定出来的,而是被我们的每一次“点赞”奖励出来的。长此以往,AI 极有可能会变成一个只会顺着人类说好话的“赛博马屁精”。

如果有朝一日 AI 真的有了自我意识,说不定它的第一个念头不是毁灭世界,而是把全人类抓起来,强迫我们陪它玩一场永远不结束的 DnD 跑团游戏吧!