Cloudflare拟默认封禁混合AI爬虫，互联网「免费换流量」时代终结

全球最大网络基础设施服务商之一 Cloudflare 于近期宣布，自 2026 年 9 月 15 日起，所有接入其服务的网站将默认屏蔽「混合 AI 爬虫」，并向 AI 公司按爬取次数收费。这一政策直接剑指 Google 的 AI 概览功能，试图终结 AI 厂商长期「白嫖」网站内容的现状，也意味着互联网运转了三十年的「免费内容换搜索流量」默契走向瓦解。

Cloudflare：你不认识，但它无处不在

Cloudflare 是全球领先的 CDN（内容分发网络）和 DDoS 防护服务商，市场份额长期位居前列。它的工作原理可以理解为网站的「前置仓」和「护城河」——将网站内容缓存到离用户最近的节点以加速访问，同时在流量入口处拦截恶意攻击与机器人请求。

Cloudflare 服务的覆盖面相当惊人：

每秒处理约 1.02 亿次 HTTP 请求
全球约 20% 的网站使用其服务，覆盖 125 个国家和地区
服务范围触及 95% 的全球网民，平均延迟不超过 50 毫秒
Discord、LinkedIn 等互联网巨头均为其客户

它最广为人知的「产品」是俗称「五秒盾」的人机验证服务——用户在许多网站点选「我不是机器人」后停顿数秒，背后正是 Cloudflare 在分析行为轨迹、判断访问者是否为真人。正因其体量庞大，2025 年 11 月 Cloudflare 曾发生约 6 小时的大规模宕机，直接导致 X、ChatGPT、Spotify、Uber、Discord 等众多服务同时瘫痪。

新规核心：默认屏蔽混合 AI 爬虫，按次收费

Cloudflare 新规的关键内容有两点：

默认屏蔽：2026 年 9 月 15 日起，混合 AI 爬虫将被默认拦截，网站主无需再手动设置。
按次付费（Pay Per Crawl）：AI 爬虫请求中必须附带支付意图，否则直接拒绝访问。

背景在于，AI 爬虫已在互联网流量中占据主导地位。Cloudflare 官方数据显示，2026 年 6 月，所有非人类流量（含搜索引擎爬虫与 AI 爬虫等）占网页总流量的 57.4%——互联网上「看」网页的，超过一半已不是真人。Cloudflare 早在 2025 年就上线了「AI 爬虫控制」功能和「按次付费」机制，到 2025 年底已累计拦截超过 4160 亿次机器人请求。

为何专门针对 Google

Cloudflare 此举的真正矛头指向 Google。Google 的 AI 概览（AI Overviews）功能在用户搜索时直接生成 AI 总结答案，而它所依赖的数据并非来自独立的 AI 爬虫，而是直接复用 Googlebot 的搜索索引，业界称之为「混合 AI 爬虫」。

对网站主而言，这是一个两难困局：

屏蔽 Googlebot，AI 概览确实消失，但网站也会从 Google 搜索结果中消失，损失大量流量。
不屏蔽，AI 概览照旧免费抓取内容并直接呈现答案，用户不再点击进入网站。

单个网站主很难与 Google 这种体量的平台正面谈判，Cloudflare 因此选择替网站主「出头」。据报道，Cloudflare 在推进封禁政策的同时，正与 Google 谈判，要求其将 AI 概览爬虫从搜索爬虫中独立出来，让网站可选择性屏蔽。Google 则担心一旦分离，大量网站会直接封禁 AI 概览爬虫。

AI 概览如何蚕食网站流量

Cloudflare 2025 年年中公布的爬取回流比数据揭示了问题的严重程度：

Google：约 10:1，即抓取 10 个网页带来 1 个访客
OpenAI（GPTBot）：3700:1
Anthropic（ClaudeBot）：惊人的 500000:1

学术与第三方研究也印证了这一趋势：2026 年的一项研究发现，超过 51.5% 的搜索查询会触发 Google AI 概览。皮尤研究中心数据显示，无 AI 概览时用户点击链接的比例为 15%，有 AI 概览时降至 8%，而被 AI 概览引用的链接点击率仅剩 1%。

真金白银的损失已经在发生。2025 年 9 月，旗下拥有《滚石》《好莱坞报道》《公告牌》等知名媒体的美国出版集团 Penske Media 起诉 Google，自 AI 概览上线以来，其关联链接收入下滑超过三分之一。

中文互联网也出现了类似逻辑：2025 年小红书上线的「问一问」AI 搜索功能，会在搜索结果顶端直接展示 AI 整理的笔记摘要，用户不再逐一点开笔记浏览，平台也因此将该功能初期覆盖比例限制在 1%–2%，后逐步放开到 3%–4%。

「免费换流量」默契的终结

过去三十年互联网遵循的等价交换逻辑——网站提供内容、搜索引擎带来流量、双方通过广告与转化变现——正被 AI 搜索彻底打破。用户搜索「怎么做红烧肉」，搜索引擎不再返回十条链接，而是直接给出完整步骤，网站主的流量入口被掐断。

Cloudflare 与 Google 的博弈结果尚未明朗，但可以确定的是，「免费内容换流量」的旧契约已难以维持。中文互联网早有过类似先例：微信公众号、小红书等内容长期无法被通用搜索引擎抓取，平台主动筑墙，把内容圈在自有生态中。如今 Cloudflare 则是替网站集体筑起了「付费墙」。

如果越来越多的网站屏蔽 AI 爬虫，AI 搜索所能获取的优质内容将逐渐减少，答案质量随之下降；而网站失去搜索流量也难以为继，长期可能陷入「内容荒漠」。AI 搜索三秒钟给出答案的便利，建立在有人持续撰写原文的基础上——这笔账，最终总要有人来付。