将记忆搬进循环：进程内检索作为大模型智能体的扩展工作记忆

当前主流语言智能体在每轮推理时只查询一次外部记忆库，这种「记忆在循环外」的设计受到网络往返延迟的制约。arXiv 上发表的一篇新论文《Memory in the Loop》系统性地研究了一种替代方案：把记忆存储移入进程内，让智能体在每一步推理中直接读取和写入。

核心观点：延迟决定记忆的性质

论文援引「延展心智」（extended-mind thesis）中的对等原则：当一个存储足够快、能够被持续且直接地访问时，它就不再是智能体偶尔查询的工具，而成为其工作记忆的一部分。作者认为，过去业界对循环内记忆的回避，主要源于对网络存储几十到几百毫秒延迟的妥协，而非架构本身不可行。

关键数据点：

• 进程内存储的响应时间约为 100 微秒，比网络存储快约三个数量级。
• 在每轮固定记忆延迟预算下，仅改变存储的响应速度，冗余动作数随延迟单调上升：在进程内速度下为 0.0/12，在 110 毫秒云端往返下升至 7.2/12（使用 gpt-5-nano 与 gpt-5-mini 的置换检验，p = 0.0079）。

实验结果：召回率与成本的权衡

研究者在四款 GPT-5 系列模型上进行了端到端测试，在有界上下文窗口下：

• 使用循环内记忆后，任务回忆得分从 0/5 提升至 3.6–4.8/5。
• 存储操作的中位延迟（p50）为 80–165 微秒。
• 在所有运行中，存储未丢失任何事实（244/244 写入全部保留），每次失误都可追溯到智能体的读取策略，而非存储本身。

论文同时指出，一种「每轮回复前重述全部记忆」的提示基线也能完美完成任务，但其 token 消耗随工作集线性增长，难以扩展。

瓶颈重新定位

在完整的循环内记忆管线中，存储读取已不再是主要开销，瓶颈转移到向量化阶段：经网络调用嵌入模型耗时约 200–400 毫秒。将进程内存储与一个小型本地嵌入模型配对后，整个操作可压缩至约 40 微秒，为低延迟智能体应用提供了可行路径。

局限与延伸

论文的实验集中在文本类、回合制任务上，尚未覆盖多模态或长时间跨度场景。此外，研究仅验证了在 GPT-5 系列模型上的效果，对开源或更小规模模型的泛化情况仍需进一步测试。

对正在构建需要长程记忆的智能体系统的开发者而言，这篇论文给出了一个明确的工程信号：当检索延迟从百毫秒级降到百微秒级时，智能体的行为模式会发生质的变化，而实现这一目标的技术路径——进程内存储 + 本地嵌入——已经具备可复现的实验支撑。