Anakin：专为 AI Agent 设计的抗反爬网页抓取 API

一支团队近日在 Hacker News 发布了一款名为 Anakin 的网页抓取 API，专门面向 AI Agent（智能体）场景，主打对高难度网站的稳定访问能力。该产品的核心卖点是「自愈式」反爬机制，能够处理 Cloudflare、Akamai 等主流反爬防护体系。

核心功能与定位

Anakin 将复杂的网页抓取流程封装为单一 API 调用。用户只需 POST 一个 URL，即可获取 Markdown、JSON、HTML 或截图格式的返回结果。同一次请求中，该 API 会自动处理以下环节：

• 反机器人检测绕过
• 代理 IP 轮换
• JavaScript 动态渲染
• 持久化认证会话
• 基于 Schema 的结构化提取

对于需要等待页面加载或点击交互后才能获取数据的场景，Anakin 也内置了对应的等待与操作机制。

定价与适用场景

据团队介绍，Anakin 每千页的抓取成本约为 1 美元，并提供 300 页的免费额度。该项目最早服务于大型电商与外卖企业的竞品情报需求，过去六年逐步积累了 100 多个国家的高难度网站抓取经验，如今以通用 API 形式向开发者开放。

基准测试与局限

作者在 GitHub 上公开了一份针对 20 个真实 URL 的基准测试，对比了 Anakin 与另外五款主流抓取 API 的表现。团队坦承自身存在立场偏差，邀请用户使用自有 URL 复测并反馈失效案例。

从产品路线看，Anakin 计划在后续迭代中进一步降低抓取成本，并支持通过自然语言提示获取大规模结构化数据。本次发布仅为该系列产品的第一步。

社区反响

截至本文撰写时，该 Show HN 帖子仅获得 3 个点赞、0 条评论，讨论热度较低。作为一款聚焦特定细分场景的基础设施工具，其实际效果与生态影响力仍有待开发者社区的进一步验证。