研究显示多数网站未管理 AI 实时回答机器人

7 月 1 日，Cloudflare 推出了一项新机制，允许网站在 AI 公司调用其内容"实时回答用户问题"的瞬间向其收费。一项新的研究通过对全球前 1 万个站点 robots.txt 的实证分析发现：网站对 AI 的"回答机器人"几乎处于零监管状态——这些规则文件是为 2023 年那场封禁训练爬虫的恐慌而写的，没有跟上 AI 行业正在发生的"即时取用"转变。

研究方法

研究者抓取了排名前 1 万的网站，读取其公开发布的 robots.txt 文件——即各站点在"自家门口"张贴的规则手册。其中 5,577 个文件可被正常解析，覆盖 1,197 个对 AI 机器人有明确规则的站点。所有规则的写入日期通过 Internet Archive 的历史快照进行回溯。这是首次针对 AI 时代机器人规则的规模性实证研究。

研究者强调，分析只解读文件本身写了什么，并不直接探测服务器实际放行或拦截的行为。

训练爬虫与回答机器人：两套规则，两种待遇

几乎每家主流 AI 公司都同时运营两类爬虫：一类是"训练爬虫"，如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot，在训练阶段批量抓取网页；另一类是"回答机器人"，如 OpenAI 的 OAI-SearchBot、ChatGPT-User，Anthropic 的 Claude-User、Claude-SearchBot，仅在真实用户提问时按需取用页面。

但绝大多数 robots.txt 只认识其中一种。以"完整屏蔽了某家训练爬虫的站点"为分母：

• Anthropic（ClaudeBot）：840 个站点屏蔽了训练爬虫，其中 71%（598 个）对其回答机器人 Claude-User / Claude-SearchBot 完全未做规定；
• OpenAI（GPTBot）：932 个站点屏蔽，53%（493 个）未提及 OAI-SearchBot / ChatGPT-User；
• Perplexity（PerplexityBot）：461 个站点屏蔽，50%（229 个）未提及 Perplexity-User。

也就是说，2023 年被封禁的那个"敌人"，至今仍是大多数网站唯一认得的 AI 机器人。

"不训练、要回答"的立场几乎不存在

研究者同时关注了一个更精细的策略组合：明确封禁训练爬虫、同时明确放行回答机器人。这种立场对希望保留推荐流量、又不愿喂食模型训练的发布者最为合理。结果显示：

• Anthropic：仅 1.9%（16 / 840）的站点明确采取该策略；
• OpenAI：仅 4.0%（37 / 932）；
• Perplexity：仅 0.9%（4 / 461）。

这种被广泛讨论的"中间路线"在真实网络中几乎不存在。研究者也提醒，沉默并不必然等同于立场，它只是一个上限。

时间线：2023 年第四季度的恐慌遗迹

数据进一步显示，AI 规则的写入时间高度集中在 2023 年第四季度。在 861 个可追溯写入时间的 GPTBot 规则站点中，38%（323 个）是在同三个月内集中写入的，规模是次高季度的三倍，约为 2023 年 8 月 GPTBot 上线后六个月内的半数。

原因清晰：GPTBot 在 2023 年 8 月上线，随后《纽约时报》在两个月后起诉 OpenAI，整个行业进入一轮集体防御。在此后陆续新增的规则中，仍以"更多训练爬虫"为主，回答机器人的规则增长始终缓慢。研究者将这一状态概括为：网站规则是一份"战争纪念碑"——人们不断回到那里，但每次刻下的名字都属于同一场战争。

规则与现实正在拉开的裂缝

当 Cloudflare、x402 等基础设施开始让"即时取用"变成一笔可计费的交易时，多数站点的 robots.txt 仍停留在把"训练"当作唯一威胁的阶段。规则与现实之间正在出现一道越来越宽的裂缝，发布者真正需要回答的问题，已经不是"要不要让 AI 进来"，而是"让它以什么身份、按什么价格进来"。