用 HTTP 状态码戏弄 AI 爬虫：一场半开玩笑的反抗

面对源源不断涌入网站的 AI 爬虫，一位站长在博客中以半开玩笑的方式列出了一系列可用的 HTTP 状态码，试图让 GPTBot、ClaudeBot 之类的抓取者付出代价或干脆被戏弄。文章坦言其中大多数「招数」实际上可能毫无效果，但借此引出了 AI 与内容版权之间更深层的矛盾。

AI 爬虫的真实压力

作者提到，尽管其网站一篇内容都未发布，Cloudflare 仪表盘上仍能看到成千上万次来自 AI 爬虫的请求。这些爬虫被形容为「随时准备扑食尸体的秃鹫」，对服务器和带宽都构成实际负担。与此同时，AI 公司一边抓取内容训练模型，一边屏蔽网页上设置的捐赠、订阅与联盟链接，让创作者既无法靠流量变现，也难以被 AI 引流。

让 AI 付钱：402 与三种支付协议

文章重点介绍了 HTTP 402「Payment Required」，一个自 Web 早期就为「未来使用」预留的状态码。作者认为 AI 时代正好是它被启用的时机，并列举了三种用于机器对机器付费的协议：

x402：由 Coinbase 提出的开放稳定币协议。
L402：由 Lightning Labs 提出的比特币闪电网络标准。
MPP：Stripe 推出的机器支付协议。

作者承认目前难以判断哪种协议会胜出——就像几年前「Web3」的热度如今也已降温。但他也指出，AI 行业若继续无差别抓取内容却没有任何向版权方付费的机制，迟早会催生一套行业共识。

一组带恶意的幽默状态码

除了 402 之外，作者还戏谑性地推荐了几种可以「调戏」爬虫的状态码：

410 Gone：返回 Markdown 文案「这里曾经有内容，但现在没了」，礼貌地劝退重试。
418 I'm a teapot：1998 年愚人节玩笑码，返回「我是一个茶壶，你想和我做朋友吗？」，观察 AI 代理如何反应。
423 Locked：返回 WebDAV 风格的 XML 错误，迫使爬虫消耗 token 解析无关信息。
426 Upgrade Required：要求客户端将协议升级为「Human」，戏称让 Claude 想办法指挥真人来访问。
429 Too Many Requests：附上 retry-after: 31536000，让爬虫一年后再来。
451 Unavailable For Legal Reasons：致敬某些地区审查机制的响应码。

玩笑背后是严肃的版权焦虑

文章末尾语气转重：作者承认这一切「半是玩笑」，大多数做法实际上并不能阻挡真正执着的爬虫。但真正的问题是，AI 公司正在游说监管者，让「未经许可使用内容」对万亿美元体量的公司变得合法——而十几岁的未成年人当年因类似行为曾被起诉并罚款。围绕 AI 训练数据的版权争议、付费机制与创作者生存空间，仍是行业悬而未决的核心议题。