Turo：面向 CLI AI 代理的激进式 token 压缩代理

开发者社区出现了一款名为 Turo 的开源命令行工具，专门用于压缩输入给 CLI AI 编码代理的文本上下文，旨在显著降低 token 消耗。它通过四阶段流水线对自然语言文本进行「无损于意图」的精简，对代码、路径和标识符则完全保持原样，适用于 Claude Code、Codex、Gemini CLI、Cursor、Windsurf、Cline、Copilot 等二十余款可通过 shell 调用二进制文件的代理。

压缩效果与典型示例

工具官方在 cl100k 分词器下给出了一组演示数据：一段 138 token 的 PR 评审说明经处理后压到 54 token，约减少 61%；启用 ultra 级别（按词形归并去重）后可进一步压到 41 token，节省约 70%。工具承诺「不会输出比输入更长」——若任一阶段不能进一步节省，文本将原样透传，确保使用安全。

四阶段流水线

默认全程开启的处理流程由四个阶段串联，反复执行直至输出收敛（可通过 -passes 控制上限）：

• Filler 删除：移除礼貌用语、模糊措辞和引导词（如 please、I think、of course、let me），同时保护代码、路径、URL 与标识符不被改动。
• 同义词替换：将每个词换成 token 数更少的近义词（例如 utilize → use），可通过 -synonyms=false 关闭。
• 释义词替换：用词典释义中同一词性、token 最少的定义词替换原词，是损失最大的阶段，可通过 -gloss=false 关闭。
• 内容词缩减：保留按词性筛选后的内容词并去重，ultra 级别还会按词形归并。

另有可选的 -arrows 选项，会在缩减前将多词因果/顺序连接短语改写为 ->，例如「A cache miss leads to a slow query which produces a timeout」简化为「Cache miss -> slow query -> timeout」。

文言模式与不同分词器

针对 CJK 分词器（Turo 估算 Qwen / DeepSeek / GLM 等约每个汉字 1 token），工具额外提供 --level wenyan 模式，将每个英文实词替换为单个对应的古汉字，将一段 766 字符的英文压到 69 个字符（含 35 个汉字），在 CJK 模型下约 42 token。但同一输出在 OpenAI cl100k 下反而升至 67 token，因此官方建议只在 CJK 模型上启用该模式。

安装与局限

Turo 可通过 Homebrew（brew install kdeps/tap/turo）、Go（go install github.com/kdeps/turo@latest）或官方一键安装脚本部署，也可手动从 releases 页面下载二进制。其设计目标是降低高频长上下文的调用成本，对结构化文档（README 等）效果尤为明显——同一份 522 token 的 README 在收敛后可压至 376 token。由于替换包含释义改写（lossy），对精确语义敏感的指令建议关闭 -gloss 或使用单 pass（-passes 1）。