Cloudflare 要给 AI 爬虫立规矩：9 月 15 日起，混着用的默认挡掉

互联网上跑的流量，第一次有一半以上不是人。Cloudflare CEO Matthew Prince 抛出这句话时，顺手给整个 AI 行业下了道最后通牒：从 2026 年 9 月 15 日起，凡是把「搜索、智能体、训练」搅在一起抓取的爬虫，在挂了广告的页面上默认挡掉，除非站长自己改设置。

简单说，以前一个 Googlebot 既帮你做搜索收录，又顺手把内容喂给 Gemini 训练，以后这招在 Cloudflare 保护的站点上行不通了。新规矩覆盖新客户、老客户新建的站点，以及所有免费用户——Cloudflare 手里管着全球约五分之一的网站流量，这一刀切下去，影响面不小。

爬虫比人还多，旧契约破了

Prince 口中的「旧契约」很朴素：我让你爬内容，你给我带流量。可生成式 AI 把这笔账搅黄了。模型厂商派代理替用户实时取网页，站长既没拿到广告曝光，也没收到订阅费，内容倒先被拿去训练了。Cloudflare 自己的数据更扎心：AI 爬虫的抓取流量里，超过一半是在反复拉取没变化的老页面。

「既然互联网上多数流量已经不是人类产生的，我们就得走得更快、更远，好让一个可持续的生态长出来。」—— Cloudflare CEO Matthew Prince

不只要挡，还要按次收费

光挡不够解气，Cloudflare 把 2025 年推出的 Pay Per Crawl 市场升级成了「Pay Per Use」：站长不再只是「被爬时收钱」，而是当自己的内容真的在 AI 回答里产生价值时才收费。首发搭档是 Ceramic.ai 和 You.com——前者在 AI 搜索结果里露出内容就付费，后者碰到付费墙内容才结账。

• 对出版商：终于能把「我的内容值多少钱」摆上谈判桌，Cloudflare 还配套了 Attribution Business Insights 面板，直接告诉你每个爬虫带回多少引流和商业意图。
• 对 AI 公司：想白嫖，门儿都没有；老老实实把搜索、代理、训练拆成不同的 bot，反而能拿到更透明的抓取许可。

被架在中间的 Google

这纸新规，明里暗里都在戳 Google 的痛处。Cloudflare 点名说，那家「全球最大的搜索引擎」因为把搜索和 AI 绑在一起，掌握的信息量比头部 AI 公司多出约一倍，小站长想被搜到就不得不把内容也交出去训练。Google 当然不服，搬出 Google-Extended 这个可单独 opt-out 的训练爬虫说事，但现实是：就算你挡了 Extended，内容照样会出现在 AI Overviews 里，因为它吃的是 Googlebot 为搜索抓的料。

Cloudflare 的算盘很清晰：它要的是结构性的分离——每个爬虫干嘛来的，站长心里得有数，再决定放不放行。公司放话要在 2027 年中把「混合用途爬虫」的流量占比从如今的三分之一压到零。对靠语料吃饭的模型厂商来说，这不只是一次设置调整，而是一场关于「内容到底归谁」的重新谈判。