SourceHut 遭激进 LLM 爬虫攻击，服务被迫降级

知名轻量级代码托管平台 SourceHut 近日发布公告，称其旗下 git.sr.ht 服务正遭受一组专门抓取数据用于训练大语言模型的激进爬虫持续骚扰。该爬虫网络已绕过平台常规的反爬虫防御机制，导致 git.sr.ht 服务稳定性显著下降。

事件经过与处置措施

SourceHut 团队在公告中表示，平台此前部署的常规防御策略对此次来袭的 botnet 已不再有效，抓取行为持续消耗大量资源。为避免整个 Web 服务彻底不可用，团队被迫采取激进手段：临时关闭 Web 服务的大量路由，仅保留核心功能，以将负载维持在可控范围。

• 关闭范围：Web 端大量路由被禁用，影响用户日常浏览与部分操作。
• 维持目标：确保至少基础服务仍可访问，避免平台整体宕机。
• 临时性质：相关措施为应急方案，团队称将在条件允许时恢复被关闭的路由。

背景：LLM 训练数据争夺加剧

这不是首次出现因大模型训练数据抓取而导致在线服务承压的事件。近年来，随着大模型厂商对训练语料的需求持续攀升，针对开源代码平台、技术博客、文档站、论坛等内容的爬取行为明显增多。这类抓取通常具有高并发、对 robots.txt 与限流策略不敏感、来源 IP 高度分散等特征，使中小平台和独立开发者运营的站点面临越来越大的资源压力。

SourceHut 由前主管 Drew DeVault 运营，长期倡导开放互联网和轻量化工具，在开发者社区中拥有较高声誉。此次事件因此在 Hacker News 等技术社区引发广泛讨论。

行业影响与待解难题

事件再次表明，AI 训练数据需求已外溢为对公共与开源资源的「公地悲剧」。

• 平台侧：缺乏有效反制手段的小型站点首当其冲，运维成本上升。
• 开发者侧：正常访问体验受到影响，部分功能受限。
• 行业侧：爬虫方与被爬方的博弈持续升级，监管与自律标准尚未形成。

SourceHut 表示，将持续与社区沟通后续恢复进展，并在合适时机公布更详细的分析与应对方案。