Applebot-Extended 请求激增,被指疑似安全扫描
站长发现苹果爬虫 Applebot-Extended 近 4 周请求量激增至每日 50 万次,路径多具安全探测特征,疑与…
一位网站管理员在 Hacker News 发帖称,过去 4 周内,来自苹果爬虫 Applebot-Extended 的请求在其维护的网站上出现激增,总量约为 2000 万次,相当于每天约 50 万次。其中不少请求的目标路径(如 /key.pem、/nginx_status、/.hermes/config.yaml 等)带有明显的安全探测特征,与正常搜索引擎爬虫的行为模式不符。
观察到的异常行为
发帖人指出,Applebot-Extended 的 user-agent 标识为 Mozilla/5.0 (compatible; Applebot-Extended/0.1; +http://www.apple.com/go/applebot),请求中存在大量针对常见敏感路径的访问,包括:
/key.pem— SSL/TLS 私钥文件路径/nginx_status— Nginx 服务器状态页/.hermes/config.yaml— 配置文件路径
这些路径通常出现在漏洞扫描或渗透测试中,常规搜索引擎爬虫基本不会主动请求。
可能的背景
Applebot-Extended 是苹果在标准 Applebot 之外推出的扩展爬虫,按照苹果官方说明,其用途是为 Apple Intelligence 等 AI 产品收集训练数据。发帖人据此推测,苹果可能在扩大数据采集时让爬虫尝试抓取更多类型的 URL,导致行为呈现出类似安全扫描的特征。不过,该判断目前仅基于单一站点的观察,并未得到苹果方面的任何回应或确认。也有评论认为,这可能是爬虫配置异常,或与某种安全研究 / 红队测试相关。
当前的不确定性
该观察尚缺少更多站点的交叉验证,也没有来自苹果的官方说明,因此无法确定 Applebot-Extended 的真实意图。对运维人员而言,如果此类行为持续或扩散,可能需要在 WAF 规则、robots.txt 配置中加以关注,避免敏感路径被大量遍历。
