Jev-Mem：把 LLM 移出关键路径的智能体记忆架构
UT Dallas 团队提出受 System-One/System-Two 启发的智能体记忆系统 Jev-Mem，在 L…
来自 UT Dallas 的 Dongming Jiang、Yi Li 和 Bingzhe Li 提出了一种面向长程 AI 智能体的新型记忆架构 Jev-Mem，其核心思路是把昂贵的大模型自回归生成从记忆操作的「关键路径」中剥离，仅在最终推理环节调用 LLM，从而兼顾效果与效率。论文在 LoCoMo 长对话记忆基准上给出了具体的精度与延迟数据。
核心思路：三层架构
Jev-Mem 的设计灵感来自认知科学中的 System-One / System-Two 双系统理论，将智能体的记忆与推理流程拆分为三个相互独立的平面：
- System-One 控制平面：负责记忆的快速、轻量级决策，包括记忆类型与关系的分配，以及查询时的路由、检索预算分配、图遍历、候选打分和自适应停止。
- 结构化多关系记忆平面：以图结构组织记忆，节点之间带类型化关系，支持高效遍历与打分。
- System-Two 推理平面：仅在需要复杂推理与答案合成时被调用，承担「慢思考」职责。
这一分层把「控制」与「推理」解耦，使得记忆操作不再被逐 token 的生成过程阻塞。
System-One 控制器：把 LLM 移出关键路径
在传统智能体记忆系统中，组织记忆、检索相关条目、判断何时停止检索等环节往往都依赖 LLM 的自回归调用，每一次决策都要等待模型生成完毕。Jev-Mem 的做法是把这些高频、轻量的决策交给一个独立的 System-One 控制器，只在最后需要「深思熟虑」时再调用 System-Two（即 LLM）进行复杂推理和答案合成。
控制器在两个阶段发挥作用：
- 构建阶段：决定每条记忆的类型（如人物、事件、偏好等）以及与既有记忆节点之间的关系。
- 检索阶段：执行查询路由、分配检索预算、控制图遍历深度、对候选打分，并根据置信度决定何时提前停止。
这种设计的直接收益是延迟下降：常规检索不再「卡」在 LLM 生成上，复杂推理按需触发。
实验结果：精度与效率双提升
作者在长对话记忆基准 LoCoMo 上评估了 Jev-Mem，主要结果如下：
- 整体精度：LLM-as-a-Judge 得分为 0.777，相对最强基线提升 11.0%。
- 记忆构建时间：158 秒，相比最快对照系统提速 6.6 倍。
- 平均查询延迟：0.93 秒，较基线降低 36.7%。
精度提升与显著的速度改进同时出现，说明将 LLM 从关键路径中移除并未牺牲记忆质量，反而通过更精细的检索控制获得了更好的答案。
小结
Jev-Mem 展示了「控制与推理解耦」这一思路在智能体记忆系统中的实际价值：用一个轻量控制器接管记忆的日常管理，把 LLM 留给真正需要深度推理的任务。对于正在搭建长程智能体、又被记忆检索延迟和成本困扰的团队，这是一种值得关注的架构方向。不过，该工作目前仅在 LoCoMo 一个基准上验证，且尚未见到大规模工业部署，其泛化能力与稳定性仍需更多后续工作检验。