TollBit 报告：欧洲出版商遭 AI 爬虫冲击远超北美

AI 爬虫正在以远高于北美的强度抓取欧洲出版商网站，且被爬取的内容几乎没能换回相应流量——这是数据中介公司 TollBit 最新报告的核心结论。报告基于来自 40 家爬虫供应商的可识别 AI 机器人，对 3,906 家出版商网站进行了分析。

核心数据：四倍抓取、三倍恶化

TollBit 的数据揭示了欧洲与北美出版商之间的明显差距：

单站点 AI 抓取次数中位数，欧洲站点约为北美的 4 倍。
每 179 次 AI 机器人访问，欧洲出版商才能从 AI 应用获得 1 次人工 referral 访问，比例比北美差 3 倍以上。
2026 年上半年，欧洲站点外部 referral 中仅有 0.05% 来自 AI 应用，相当于每 33 次人工访问伴随约 1 次 AI 抓取；北美这一比例为 0.16%。
2026 年 6 月，欧洲站点的 AI 抓取量比 1 月高出近 20%，本地新闻和体育类网站环比增幅最大。Q1 抓取/Referral 比为 150:1，Q2 已恶化至 227:1。
欧洲站点 robots.txt 中禁止抓取的指令被无视的次数中位数，是北美的近 3 倍。

TollBit 联合创始人 Olivia Joslin 推测，差异可能源于欧洲语言种类更丰富，大模型为学习不同语言而对欧洲内容源加大抓取。INMA 研究员 Grzegorz Piechota 给出了数据上的佐证：

Anthropic 去年 9 月数据显示，美国用户占 Claude 总使用量的 21.6%，英语国家合计不到三分之一，意味着大部分 Claude 使用——以及相应的抓取行为——与非英语内容相关。
Common Crawl 中欧洲国家域名占比从 2009 年的 4.75% 升至 2026 年的近 29.98%，反映数据供应商明显加大对非英语内容的采集。

Google、OpenAI、微软近年也都宣布了面向欧洲与多语言用户的研究计划。Piechota 认为：「消费者对非英语信息的需求正在影响 AI 公司及其数据供应商的策略。」

不过并非所有数据源都呈现同一结论。

Cloudflare Radar 负责人 Lai Yi Ohlsen 表示，Cloudflare 数据中北美站点的绝对机器人请求量始终更高；但若看机器人流量在站点总流量中的占比，欧洲确实更高。
DataDome 威胁研究副总裁 Jérôme Segura 同样未观察到欧洲与北美之间持续稳定的差距。他强调，个体差异「巨大」：部分出版商 AI 流量可达人工流量的约 1:10，区域平均会掩盖这种悬殊。

他也提醒，差距可能部分来自 TollBit 客户构成与样本分布的偏差——该分析覆盖的近 4,000 家出版商中只有 456 家欧洲出版商，样本相对有限。

抓取行为本身是真实的，但「为什么欧洲受伤更深」仍处在争论之中。无论原因如何，AI 抓取与人工访问之间的剪刀差正在持续扩大，对依赖流量的出版商业模式构成持续挑战。