科研人快醒醒,天上掉选题了!
我们总抱怨科研已经没有新问题了,好方向全被前人占满了。但如果你知道,那些已经被奉为权威、发表在顶级期刊里的论文,绝大多数其实都“藏着坑”呢?
最近,有研究者请出 AI Agent 来了一场“学术打假”,结果简直震撼学术圈:在 2026 年国际机器学习大会(ICML)上报告的论文中,很大一部分竟然已经无法复现!猛发顶刊的新兵法,可能真的来了。
顶会论文正在被 AI 组团被“打假”
一篇论文能上顶会,显然经历了同行评审。但现实是,审稿专家们根本没精力去把几十个 GB 的数据重新跑一遍,验证哪怕一个模型或图表。而随着 AI 使得研究规模越来越庞大,一篇前沿论文背后的代码和参数设置能多达几百个细节。
文章发了,但别人用你的方法能得出一样的结论吗? 曾经复现成本极高,但现在有了 AI Agent,这些成本正在归零。
7月22日,有研究审查公司用 AI Agent 对 ICML 2026 的 168 篇口头报告论文进行了地毯式复现审计。在 92 篇至少有 5 条可验证结论的论文中,AI Agent能成功复现四成结论的仅有 34 篇,而能复现八成以上的,只有可怜的 8 篇。
复现失败的原因五花八门,有的缺文件、有的依赖库冲突,有的连模型都下线了。但有些错误就错得很离谱了:
- 货不对板:某论文核心卖点是「仅训练基础模型 0.77% 的参数」,结果它开源出来的版本实际训练了 6.31% 的参数,足足差了 8 倍。
- 凭空捏造:另一篇论文给出了一张评估可靠性的华丽表格,但开源代码里压根就没有这个评估模型,甚至没有任何脚本能折腾出图表上的数据。
99.2%的论文都有错?GPT-5化身绝命判官
这绝非偶发个案,另一场基于大模型的自动排雷行动更是把“滤镜”给干碎了。
2025 年底,有研究主导开发了基于 GPT-5 的论文检查系统,专找顶级 AI 会刊里的“客观硬件伤”(不管创新性,只看逻辑和数学漏洞)。
结果更是炸裂:平均每篇论文被查出有 4.7 个客观错误,高达 99.2% 的论文里面都有至少一个问题!
从被翻出的问题来看:
- 数学与公式错误占比最高(54.0%),包含假设错误、推导漏洞。
- 大约 30.8% 的 NeurIPS 论文和 23.8% 的 ICLR 论文,被查出存在“可能实质性影响结果解读”的重大失误。
- 错误通胀:NeurIPS 论文的篇均错误数从 2021 年的 3.8 个猛增到 2025 年的 5.9 个,涨幅高达 55.3%。
这意味着,顶会收录已经不再是研究胜利的终点,而是进入 AI 残酷验证局的起点。
科研萌新狂喜:不做实验也能发顶刊
朋友们,换个思路,这对正在愁毫无选题头绪的研究者,简直是天大的利好!以前写勘误、找文献漏洞本就是正常发文渠道,现在这片蓝海直接被 AI 给照亮了。
不想再卷前沿理论了?试试这三招:
- 不卷前沿卷过去:比起硬刚新东西,不如通过“找旧论文里的异常点”突围,重点盯防被大量引用但缺乏实际验证的经典论文。
- 用 AI 帮你画地图:让大模型帮你梳理知识谱系,揪出那些“大家都引用但其实没人验证过”的盲点和矛盾。
- Ask anything:科学突破很多时候源于打破常识。用 AI 去重新验证过去的设定,以前人力根本做不到的海量排查,现在交给 Agent 就能高效搞定。
【编辑观察】AI 或将重整百年科学史
当浩如烟海的文献堆积如山——比如 ICLR 投稿量从 2018 年的 1 千来篇暴涨到 2026 年的近 2 万篇,人类科研者面对这种信息量早就超载了。
这不可避免地导致了一个极其恐怖的现象:错误的结论被不断引用放大,最终形成虚假的“学术共识”。 比如浙江实验室的化学家 Pios 近期用 AI 预测结论时,发现跟过去 75 年前、甚至 100 年前的权威数据库产生冲突,结果人工回溯一查——老数据库不仅真的错了,还错了一百年。 很多所谓的业界真谛,其实就建立在未经考验的沙盒上。
虽然目前的 GPT-5 打假工具有 83.2% 的准确率,而且还有一定漏报率(意味着最终还需要人工审核背书),不能完全替代科研苦力盲审。但这绝对是一个历史级的信号:那些曾经借着“审稿人没空看代码”而侥幸过关的灌水顶会,好日子要到头了!





评论