Cloudflare CEO：AI 机器人已占互联网流量一半以上

Cloudflare 联合创始人兼 CEO Matthew Prince 近日在 The Verge 旗下播客 Decoder 中接受访谈，重点讨论了 AI 时代互联网基础设施、爬虫治理与内容变现机制的重构。Prince 披露的关键数据显示，AI 驱动的机器人流量在 2025 年 6 月已经超过全网流量的一半，并且仍在持续攀升。

AI 机器人正在成为互联网的主要使用者

Prince 表示，过去三十年间互联网的底层商业逻辑由广告驱动，Google 是这一模式的核心构建者——通过 DoubleClick、Google Analytics 等产品，Google 定义了第一代网络生态。然而，这一格局正在被快速改写：如今使用网络的不仅是人类用户，还有大量 AI 爬虫与自主代理（agent）。

Cloudflare 在全球 350 多个城市、上千个数据中心部署了边缘节点，覆盖了互联网流量的可观比例。基于这一观测能力，公司在去年 11 月开始系统性统计非人类流量，并在今年 6 月得出了机器人流量超过 50% 的结论。Prince 认为，随着越来越多 AI 公司大规模抓取网页、越来越多 AI 代理代替人类执行任务，这一比例还会继续上升。

基础设施层为网站提供新的控制权

Cloudflare 处于网站与所有 AI 代理之间，其核心新职能是帮助网站所有者对 AI 工具的访问进行精细化管理。Prince 介绍，网站主现在可以做出三种选择：全面屏蔽 AI 工具、放行所有 AI 工具，或者只允许愿意付费访问的工具通过。这套机制本质上是为内容生产者提供了与 AI 公司重新议价的技术基础。

Prince 进一步指出，广告驱动的变现模式在 AI 时代面临结构性挑战：过去 Google 通过抓取网页内容、将其转化为搜索结果并通过广告变现，再以流量形式回馈出版商；而 AI 爬虫和代理并不一定把流量导回原始网站，原有闭环正在被打破。因此，Cloudflare 正在尝试推动一种更直接的「按访问付费」机制，使内容生产者能够在 AI 使用其数据时获得合理回报。

AI 也在重塑 Cloudflare 自身

这场变革同时发生在 Cloudflare 内部。今年早些时候，Cloudflare 裁员超过一千人，相当于公司员工总数的 20%。Prince 随后在《华尔街日报》发表评论文章，标题为「我如何决定用 AI 取代哪些 Cloudflare 员工」，公开将裁员与 AI 替代直接挂钩。Prince 在访谈中将此描述为公司战略层面的主动调整：随着 AI 能力迅速增强，公司需要重新设计组织架构，把人力集中在 AI 难以替代的判断与决策岗位上。

网络商业模式的代际更替

Prince 将当下的转折称为「第二代互联网」的开始。第一代互联网由广告与搜索引擎定义，核心问题是「如何把内容呈现给人类用户并变现」；第二代互联网的核心问题则变成「当大量访问者本身是 AI 时，内容的价值如何被衡量与结算」。他表示，Cloudflare 正在把「塑造这一新商业模式的健康走向」作为公司战略优先级之一，并尝试提供基础设施级别的工具，使出版商、模型公司与终端代理之间形成可持续的利益分配。

对于这种以付费墙与控制权为核心的新生态是否真的对出版商与用户更有利，Prince 也坦言这是他仍在反复思考的问题。他承认，在这场涉及全行业利益重新分配的变革中，最终的形态尚未确定，但基础设施层的选择将在很大程度上决定未来十年互联网的走向。