CachePilot 上线：在 AI API 前置一层缓存代理，按节省费用抽成 20%
面向 OpenAI、Anthropic 与 OpenRouter 的 API 缓存代理 CachePilot 推出，按实…
CachePilot 是一款面向大模型 API 调用场景的缓存代理服务，近日上线。用户只需把客户端的 base URL 替换为 CachePilot 提供的端点，无需改动 SDK 或鉴权方式，重复请求会在代理层直接命中缓存，不再向 OpenAI、Anthropic 或 OpenRouter 等上游发起真实调用，从而降低按 token 计费的 API 成本。
工作原理与缓存层级
CachePilot 在请求转发前对消息序列做哈希校验，并按多级缓存结构查找命中结果：
- L0：进程内内存缓存，命中后端到端延迟 < 1ms。
- L1：Redis 持久层缓存，跨实例复用命中。
- L1.5：请求归一化层，对系统提示、few-shot 示例等近似但不完全一致的请求做去重匹配。
- L3：提示词优化层，对可合并的请求做结构性压缩后再查询上游。
命中缓存时返回的响应与原始调用完全一致，开发者侧无需修改业务逻辑；流式输出（streaming）同样支持。需要绕过缓存的敏感请求，可通过请求头 x-cachepilot-mode: passthrough 显式指定。
计费模式：按节省金额抽成 20%
CachePilot 不收取订阅费或月费，仅按用户实际节省金额的 20% 抽成：
- 若当月未产生节省（即所有请求都未命中缓存），费用为 0。
- 新用户前 7 天免收所有费用，到期后才开始按 20% 抽成。
实际节省由代理逐请求核算：以官方标价为基线（basline），减去用户实际支付给上游的费用，差额为「节省」，代理按累计节省的 20% 计费。
支持的模型与隐私机制
目前已接入的上游服务包括：
- OpenAI：GPT-4o、GPT-4、o1、o3 等模型。
- Anthropic：Claude Sonnet、Claude Haiku。
- OpenRouter：覆盖平台上所有可用模型。
用户保留自己的上游 API Key，CachePilot 不接触账户级鉴权。隐私方面，代理只存储消息序列的 SHA-256 哈希用于会话识别，不保留明文 prompt；缓存键以租户隔离，避免跨用户污染。
控制台与可观测性
CachePilot 提供实时控制面板，按模型（model）、缓存结果（hit / miss）、基础成本、实际成本、单次节省、累计抽成等维度展示明细，方便开发者评估自身业务的重复请求比例与代理收益。
需要说明的是，目前该服务的注册入口为 trycloudflare.com 下的临时域名，尚未公布独立一级域名，长期可用性有待观察。