Akashic：面向 LLM 智能体的低开销记忆推理服务

随着大语言模型驱动的智能体系统日益普及，长程多轮交互、工具调用与跨会话工作流会持续累积上下文。将完整历史在每次请求时全量回放，不仅推高 Prefill 成本、逼近上下文窗口上限，还会让无关内容稀释任务相关证据，进而拖累服务效率与输出质量。最新发表于 arXiv 的论文《Akashic: A Low-Overhead LLM Inference Service with MemAttention》给出了一种面向该问题的低开销记忆系统。

核心思路：MemAttention 与有界分块

Akashic 的核心组件是 MemAttention。它将上下文组织为有界分块（bounded chunks），并显式建模分块之间的语义关系，使系统在不反复重写完整历史的前提下，仍能保留跨块的关键证据。这一设计与传统「整段拼接 + 全量回放」的做法形成对比，目标是在上下文长度爆炸式增长时维持可控的推理开销。

软硬协同的内存布局

在系统层面，Akashic 进一步采用软硬件协同设计的内存放置策略，将「可能被同时检索到的分块」尽量共置在同一存储区域。这一做法意在减少检索碎片化与 I/O 开销，从而在真实推理负载下保持稳定的吞吐与服务能力。

实验与关键数据

作者在四个具有代表性的工作负载、三种模型规模上进行了评估，并以强基线记忆方案为对照，主要结果如下：

• 任务准确率：最高提升 10.2 个百分点；
• 吞吐：最高提升至原来的 1.21 倍；
• 可持续请求速率：最高提升至原来的 1.88 倍。

三项指标的提升同时覆盖了「质量」与「效率」两个维度，表明 MemAttention 在长上下文场景下具备实用化的潜力。

总结

Akashic 将记忆管理从「简单压缩/截断」推进到「分块 + 跨块语义建模 + 软硬件协同布局」的组合方案，为 LLM 智能体在长程任务中的高效推理提供了一条新路径。作为研究阶段工作，其后续在更大规模生产环境中的验证与开源情况，值得继续关注。