桃子桃子快讯
返回首页
行业动态

把 Agent 技能编译成代码,token 用量降低 94%

作者将反复运行的自然语言 Agent 技能中已稳定的部分编译为 Python 代码,只在需要语义判断处调用 LLM,整体…

2026.07.20 · 周一3 分钟阅读

近期一篇技术博客提出一种 AI Agent 工作流优化思路:先用自然语言描述技能反复运行,待流程稳定后,再把其中可确定化的部分「编译」为普通代码,只在真正需要语义理解与生成的环节调用大模型。作者以自己每天运行的「从历史博客中挑选选题并起草 LinkedIn 文案」自动化为例,展示这一思路带来的收益。

原始版本:完全交给 LLM 解释

最初的技能以 Agent Skill 形式编写,全部用自然语言描述数据来源、近期发文记录检查、选题筛选条件以及最终文案的形态。每次运行时,Agent(作者使用的是 Codex)都要重新解读这些指令、制定计划、调用工具、维护流程状态。

这种「自然语言即代码」的做法在起步阶段非常合适:表达直观、改动方便,相当于一份可由 Agent 执行的 SOP。但当同一流程被反复执行、模式逐渐固化之后,仍由模型从头推理就显得浪费。

流程已结晶,可被编译

作者观察到这个技能每天都做相同的事:扫描固定来源、构建内容清单、应用同样的近况过滤、写入同样的中间状态。这些步骤都不再是探索性的,多数甚至根本不需要 LLM 参与。真正需要语言模型的只剩两步:

  • 从已过滤的清单中挑选合适选题

  • 撰写 LinkedIn 草稿

其余全部可以由确定性代码完成。于是作者把这个技能「编译」成一个轻量启动器:核心是一个 Python 程序,负责拉取已知来源、构造清单、检查近期发文、应用筛选并管理工作流;只有选题与生成两步才会调用模型。

最终收益相当显著:

  • Token 消耗减少 94%

  • 端到端延迟下降 87%

  • 在作者自己的运行中,输出质量基本未受影响

关键在于:模型本身没有换小或换便宜,节省来自把原本由模型承担的「执行固定流程」的工作交还给普通代码。

「编译」具体指什么

作者的做法基于已有的运行轨迹。由于该技能此前每天作为自动化任务运行,积累了完整的执行历史——规划、工具调用、分支决策、状态变化。他把这些轨迹、原始技能文件以及关于专用 harness 的写作一起交给一个能力较强的模型,让它判断哪些步骤真正需要 LLM、哪些已经稳定到可以写成代码,并据此生成新的专用 harness。

自然语言技能充当高层规约,运行轨迹提供「模型推理结果」层面的操作细节。这一思路类似传统编译器:从灵活的高层意图表示出发,当工作流被充分演练、真实形态显现后,再把稳定部分下沉到更高效的实现中。

先灵活,后优化

作者强调,这种模式的关键在于迭代顺序:

  • 先把工作流表达为自然语言技能

  • 反复运行,收集轨迹、修正行为

  • 找出已经稳定、可确定的环节

  • 把这些环节编译成代码

  • 仅在需要语义判断处保留模型调用

编译步骤本身有一次性的成本(需要较强模型和较多上下文去分析轨迹),但这笔开销只发生一次,编译后的工作流可以运行成百上千次,每次都更省、更快。这是一种典型的优化经济学:一次投入,分摊到大量重复执行中。

文章最后指出,Agent 的长期经济性取决于这类做法。如果每一个重复型工作流都把前沿模型当成执行器来用,成本结构将难以持续;反过来,把可以确定化的部分交给代码、把模型留给真正「模型形态的问题」,才能让 Agent 在生产环境里跑得久。

信源