Hugging Face 推出 ALTK-Evolve:用更少 token 实现同等智能体记忆能力
Hugging Face 在博客中对比 ALTK-Evolve 与 ACE 两套智能体记忆系统,在 AppWorld 基…
Hugging Face 近期在官方博客发文,将其自研的智能体记忆系统 ALTK-Evolve 与学界近期提出的 ACE(Agentic Context Engineering)进行同条件对比。两者都主张让 LLM 智能体从自身历史轨迹中提炼可复用的「经验」,在不同任务之间共享,但不更新模型权重、也不依赖人工标注。Hugging Face 在 AppWorld 基准上给出的数据显示,ALTK-Evolve 在显著降低推理 token 成本的同时,保持了与 ACE 相当甚至略优的任务完成率。
核心共识:不压缩,而是计数
两套系统对同一个核心问题——「是否要把智能体好不容易学到的东西压缩成简洁总结」——给出了几乎一致的否定答案。ACE 把失败原因归为「brevity bias(简短偏置)」和「context collapse(上下文坍缩)」,选择保留内容详尽、逐条计分的「playbook」。ALTK-Evolve 同样不为每条经验做合并式压缩,而是为每条 guideline 维护一个「support count」,记录它由多少独立 episode 提炼而来。
- ACE 的做法:playbook 每条 bullet 带 helpful/harmful 计数,读取时由模型蒸馏相关项。
- ALTK-Evolve 的做法:每条 guideline 保留独立的支持计数,仅在高度近义时合并并保留合并后的累计计数。
两者的本质是同一想法的两种实现:经验应当被「数清楚」,而不是被「吞掉」。
关键差异:构建方式与交付方式
Hugging Face 将分歧归到两个层面:记忆如何被构建,以及在推理时如何被送进上下文。构建层面差异相对次要——ACE 采用 Generator → Reflector → Curator 循环做增量更新并按 embedding 去重,ALTK-Evolve 则在合并同类经验时保留累积支持计数,并按 strategy / recovery / optimization 等类型抽取带因果归属的 guideline,粒度细化到子任务级别,使一条经验可以跨应用迁移。
真正决定数字差异的是交付方式:
- ACE:每次推理都把整本 playbook 注入上下文,对模型与任务不区分。
- ALTK-Evolve:把交付视作一个可调旋钮。默认只下发一个固定的高支持核心,按任务再加按余弦相似度或 LLM 排序选出的若干条 guideline;当模型上下文足够宽时,也可以一次性下发完整集合。
同一批经验,两个系统都能用,区别在于 ACE 总是全量下发,而 ALTK-Evolve 只下发当前模型「用得完」的那部分。
AppWorld 上的实测对比
Hugging Face 用同一套 ReAct 基座智能体在 AppWorld 上分别跑了两个系统,得到下表所示结果(TGC / SGC 分别为任务目标完成率与严格目标完成率,单位为 %):
- DeepSeek-V3.2:ACE 80.4 / 73.2,每任务约 634K tokens;ALTK-Evolve 89.3 / 80.4,约 263K tokens。
- gpt-oss-120b:ACE 54.8 / 35.7,约 777K tokens;ALTK-Evolve 56.0 / 37.5,约 116K tokens。
强模型下,ALTK-Evolve 在两项指标上均更优,推理成本约为 ACE 的 40%;弱模型下,准确率差距仅在基准噪声范围内,Hugging Face 称之为「平局」,但 token 成本降至约七分之一。Hugging Face 强调,ACE 的效率故事集中在「低成本构建上下文」,ALTK-Evolve 的优势则集中在「低成本投喂上下文」,两者解决的是不同环节。
难度拆解:两种模型,两种故事
按难度级别拆分后,两套系统在不同能力档位的模型上呈现出不同的相对优势:
- 在 gpt-oss-120b(弱模型)上,ACE 的全量 playbook 在 Easy 和 Medium 难度占优——任务本身依赖通用指令遵循能力时,详细 prompt 比挑选式检索更有帮助;但在 Hard 难度上,ALTK-Evolve 的按任务挑选机制反超,并在累计指标上整体胜出。
- 在 DeepSeek-V3.2(强模型)上,ACE 的全量 playbook 在 Medium 难度略占上风,但 ALTK-Evolve 在 Easy、Hard 与 Overall 三个层级均领先。能力越强的模型,越能消化更多经验而不会被冗余信息干扰。
Hugging Face 表示,为两个模型各自选择了「最佳配置」:强模型下发完整合并集,弱模型使用按任务精选。这一选择也对应了博客未写完的结论——大上下文对弱模型而言并非越多越好,匹配的检索策略才是关键。
