互联网最大的“网络保安”Cloudflare，最近准备改行当“规则制定者”了。

7月1日，Cloudflare发布了一篇标题无比温和的博客《你的网站，你的规则》，内容却在整个科技圈炸了锅：从9月15日起，所有接入Cloudflare服务的网站，将默认屏蔽混合用途的AI爬虫——只要你的页面带有广告，不管是用来训练大模型的爬虫，还是帮AI代理跑任务的爬虫，都会被默认挡在门外，除非站长手动在后台打开允许权限。

这个规则翻转有多夸张？以前爬虫访问网站是“默认允许，不想被爬你自己手动屏蔽”；现在直接反过来，“默认屏蔽，想让谁进你自己开白名单”。这是互联网诞生以来，第一次由基础设施层面系统性给AI数据获取“立法”。

推出这个政策的背景也很有标志性：现在全网的机器人（bot）流量，已经正式超过了人类产生的流量。Cloudflare CEO Matthew Prince坦言，这个里程碑比所有人预期的都早——原本业内估计要到2027年才会出现这一天。换句话说，现在你打开的大部分网页，真正“浏览”它们的根本不是真人，而是各种机器程序。怎么规范AI流量，不仅决定了所有网站的未来走向，也决定了Cloudflare自己的发展路径。

史上最严爬虫政策，先拿Google的捆绑套路开刀

按照Cloudflare的新规则，所有AI爬虫会被明确分成三类，站长可以对每一类单独设置“允许”或“屏蔽”：

  • Search类：就是大家熟悉的传统搜索引擎爬虫，比如Google、Bing用来给网页建索引的爬虫，已经跑了二十多年。
  • Agent类：实时代替用户访问网页的AI代理爬虫，比如你让ChatGPT帮你查资料、填表单，背后就是这类爬虫在替你跑腿。
  • Training类：大规模批量抓取内容，用来训练大模型的爬虫。

这套分类规则看着是做精细化管理，实则第一刀就砍向了Google。 【编辑观察】Google的Googlebot是最典型的“混合爬虫”：它一边给搜索引擎抓取内容建索引，一边偷偷给Google自家的AI功能（比如AI Overviews）收集训练数据。虽然Google推出了Google-Extended工具，号称让站长可以选择退出AI训练，但核心的Googlebot本身，从来没把搜索业务和AI训练的数据需求拆开过。

站长想让自己的网站在Google搜索里有排名，就不得不放Googlebot进来，等于被迫把自己的内容免费送给Google训AI。Cloudflare的数据显示，靠这套“捆绑销售”的玩法，Google拿到的网页内容访问量，差不多是其他AI公司的两倍。

这次Cloudflare直接加了一条“最严规则优先”原则：如果一个爬虫同时干搜索和训练两件事，就按最严格的规则执行——只要站长屏蔽了Training类爬虫，不管是Googlebot、Applebot还是BingBot，只要敢混着爬训练数据，统统会被拦截。说白了就是硬拆Google的霸王条款：别拿搜索流量当人质，逼网站免费给你供AI训练数据。

Cloudflare还甩了一组堪称“打脸”的数据，把AI时代崩坏的行业规则摆上了台：各家AI公司的爬虫爬取内容和给网站带回流量的比例，Google是14:1——也就是每爬走14个页面，才给网站带回1次用户点击；OpenAI更夸张，比例是1700:1；Anthropic直接达到了73000:1。 搜索引擎时代大家默认的契约是“我爬你的内容，给你带流量作为回报”，到了AI时代，这笔账早就亏到没法算了。

不只想当挡墙，Cloudflare要建AI内容收费站

如果只是帮站长把恶意AI爬虫挡在外面，Cloudflare最多算个尽职的保安，但它的胃口显然不止于此。

去年7月，Cloudflare就推出了“按爬取次数收费”的功能，AI公司的爬虫要爬网站内容，就得按访问次数交钱；今年这套模式直接升级成了“按价值收费（Pay Per Use）”：不再是爬虫爬一次就收一次钱，而是等网站的内容真正在AI系统里产生了价值——比如出现在AI搜索结果里、被AI用来生成回答给用户看了，网站主才能拿到对应的分成。

从“收买路钱”到“按价值分成”，这个转变的野心藏都藏不住：Cloudflare不想只做一堵挡爬虫的墙，它要建一个AI时代的内容交易市场。目前已经有两家小型AI搜索公司Ceramic.ai和You.com成为首批合作伙伴，康泰纳仕、Reddit等大平台也纷纷站台，称这套机制是“行业规则改变者”。

但这套看似完美的机制背后，有个相当讽刺的细节：今年3月Cloudflare自己上线了一款爬虫API，只要给它一个网址，就能一次性抓取整个网站的内容，返回HTML、Markdown或者结构化的JSON数据，当时就把不少出版商整懵了——天天帮我挡别人爬虫的公司，怎么自己做起爬虫生意了？更尴尬的是，有出版商尝试屏蔽Cloudflare自己的爬虫时，发现屏蔽设置根本不生效。虽然后来Cloudflare修复了这个问题，但网友的吐槽已经传开了：“我们保护所有网站不被爬虫抓取……除非爬的人是我们自己。”

Cloudflare对此的解释是，自家的爬虫是“合规爬虫”，会严格遵守robots协议，也会服从平台的AI爬虫管控规则，如果站长设置了屏蔽AI爬虫，自家的爬虫也会被拦住。有开发者评价，这是典型的“两边下注，永远稳赢”的策略。 【编辑观察】这时候我们就不得不问一个问题：Cloudflare到底是中立的基础设施裁判，还是想下场做赚差价的中间商？ 答案大概率是后者。它现在同时身兼三个角色：规则制定者（定义三类爬虫的分类标准）、规则执行者（在网络流量层拦截违规爬虫）、市场参与者（自己运营爬虫工具、做内容付费交易平台）。当然，我们不能否认它的价值：把之前处于灰色地带、无序掠夺内容的AI爬虫，拉到“分类明确、需要授权才能访问”的框架里，确实是行业进步；但要是真把它当成拯救内容创作者的“赛博菩萨”，就太天真了。它真正想搭建的，是以自己为核心枢纽的“AI内容税收站”。

小创作者的红利？目前看还是画饼

站出来为Cloudflare新政策站台的，全是康泰纳仕、Dotdash Meredith、Reddit这种级别的大型出版商和平台。这些玩家手握海量内容版权，有专门的法务团队，有足够的谈判筹码，就算没有Cloudflare，过去一年他们也已经和AI公司签了超过50份高额内容授权协议。对他们来说，Cloudflare的新政策只是多了一个好用的工具，根本不是唯一的出路。

那普通的个人创作者呢？在博客平台写技术教程的独立开发者，在各个社区输出内容的小博主，能从这套新机制里分到好处吗？ 理论上，靠Cloudflare的基础设施，小内容主不用挨家挨户跟每家AI公司谈判，就能自己设置内容访问权限，拿到对应的内容补偿。但“理论上”这三个字的分量，懂的都懂：现在“按价值收费”的功能只有两家小型AI公司接入，OpenAI、Google、Anthropic这些真正在大规模爬取内容训练模型的巨头，没有一个坐到谈判桌上。

更现实的矛盾是，对小创作者来说，曝光本来就是最稀缺的资源。大媒体就算屏蔽了AI爬虫，Google搜索该收录还是会收录，流量不会受太大影响；但小博客要是把爬虫全挡了，可能直接就消失在互联网的信息海洋里，连被用户找到的机会都没了。

还有一组数据足够让人清醒：AI聊天机器人带来的网站引荐流量，比传统搜索少了大约96%，用户在AI回答里点击引用来源链接的概率只有1%左右。过去一年，各类出版商因为AI搜索功能，损失了20%到90%不等的流量和广告收入，Google的AI Overviews功能上线后，直接让搜索结果的外链点击量下降了40%。就算未来“按价值收费”机制全面普及，AI公司付的钱能不能补上创作者已经损失的广告收入，都要打个大大的问号。Cloudflare自己也提到，现在50%以上的AI爬虫流量，都在重复抓取根本没有更新过的页面，解决这种低效浪费确实有价值，但解决爬取效率问题，和让创作者真正赚到合理的报酬，完全是两件事。 【编辑观察】说白了，现在这套机制对大玩家来说是多了个谈判筹码，对小创作者来说，反而可能陷入“挡爬虫没流量，不挡爬虫没钱赚”的两难困境。

“赛博菩萨”也有自己的利益算盘

网友之前总把Cloudflare叫“赛博菩萨”，确实有道理：在全网机器人流量已经超过人类流量的当下，它是第一个站出来把AI行业无序掠夺数据的潜规则摆上台面，逼着AI公司说清楚“爬数据要用来干嘛”，给普通站长选择权的公司，这件事本身就值得肯定。

但“菩萨”也有自己的庙要运营。Cloudflare现在承载着全球大约20%的网络流量，这个数字看着很大，其实还有80%的网站不在它的服务范围内，AI公司完全可以把爬取重心转移到没接入Cloudflare的网站上。Google、Apple这些巨头本身也推出了自己的爬虫选退工具，完全有办法绕开Cloudflare的拦截，现在英国竞争与市场管理局也在从监管层面给Google施压，要求它允许站长在不影响搜索排名的前提下，退出AI训练计划。指望一家商业公司的产品政策，就把AI时代内容权益重新分配的事彻底定下来，显然不现实。

但这件事透露出的行业趋势非常清晰：互联网的流量“收费站”，正在从搜索引擎向基础设施层转移。 过去二十年，Google是站在流量路口决定谁能被用户看到的人；现在Cloudflare想在更底层的网络节点设一道卡：想从我这里过，先说明白你是来干嘛的，按规则办事、交了钱才能进。 只是收费站换了位置，最后收到的钱能不能真的分到内容创作者手里，现在还是个未知数。