Cloudflare 押注 AI 网络经济层，推按使用付费等系列工具

Cloudflare 于周三发布多项面向内容发布者的更新，涵盖爬虫分类、归因分析仪表板、答案引擎优化工具以及 Pay Per Crawl 计划扩展，明确将自己定位为 AI 网络时代的经济基础设施提供商。

从「防御」到「交易」的战略转向

一年前 Cloudflare 的立场几乎是防御性的，主张网站所有者应有权屏蔽 AI 爬虫。如今虽然仍保留该能力，但公司已转向讨论为「智能体经济」搭建「轨道」。背后的逻辑是：如果 AI 智能体已经在浏览网页、采集内容，并在某些情况下完成购买，那么就需要一个机制来处理被访问网站如何获得补偿——Cloudflare 认为这个角色应当由自己承担。

从「按访问付费」升级为「按使用付费」

Cloudflare 约一年前推出 Pay Per Crawl，允许发布者为 AI 公司抓取页面设定价格。现在公司推动其升级为 Pay Per Use：发布者只有在内容真正出现在 AI 生成的答案中时才获得报酬。据公司透露，已与 Ceramic.ai 和 You.com 分别测试不同版本的这一概念。

• 旧模式：AI 爬虫付费访问页面，无论内容是否被实际使用，接近「过路费」逻辑。
• 新模式：发布者按内容被引用的「价值」收费，接近联盟营销或内容授权的逻辑。

Cloudflare 指出，按价值计费的难度更高，需要可大规模运行的归因基础设施——目前这样的体系尚未真正存在。

爬虫意图需要被区分

Cloudflare 希望 AI 公司停止把所有爬虫混为一谈。当前一家主流 AI 公司的单个 bot 可能同时承担搜索索引、模型训练和智能体任务，使网站所有者无法针对不同用途分别授权或拒绝。

自 9 月 15 日起，Cloudflare 将对新建和免费版站点调整默认设置：

• AI 搜索抓取保持开启。
• 训练和智能体访问在广告支持页面上默认关闭，需站点所有者主动开启。
• 拒绝拆分流量的混合用途爬虫将被整体屏蔽。

公司同时暗示 Google 的捆绑式抓取策略使其可访问的内容量约为 AI 原生竞争对手的两倍。区分爬虫意图已成为发布者与 AI 公司之间形成有效市场的前提——如果站点无法分辨「为搜索建索引」与「用我的内容训练模型」，最终结果往往是一刀切地全面屏蔽。

面向 AI 答案的优化工具

Cloudflare 同步推出 Attribution Business Insights 仪表板，定位类似 AI 时代的 Google Search Console，帮助发布者了解内容在 ChatGPT、Perplexity 等 AI 答案中被引用的情况。在此基础上，公司引入 Answer Engine Optimization（AEO，答案引擎优化）概念，主张发布者仅优化 Google 排名已不够，还需理解内容如何在 AI 生成的回答中被引用和呈现。Cloudflare 认为这是与传统 SEO 不同的优化问题，目前几乎没有成熟工具可用。

基础设施成为竞争焦点

Cloudflare 本就处于网站与互联网之间，能够观察流量并判断页面是否更新。其能力之一是告诉爬虫「稍后再来，因为没有新内容」，据公司称这一机制可削减超过 50% 的当前 AI 爬虫流量。如果 AI 智能体成为人们获取信息的首要方式，Cloudflare 的判断是：下一阶段的关键竞争不再围绕「谁的模型最强」，而在于「谁能构建所有人都依赖的基础设施」。