研究：离散拓扑记忆介质并不更抗遗忘

一项发表于 Zenodo 的受控对比研究指出，在 LLM 的「原地写入」记忆适配器中，采用二值边掩码（EPMem）的方法并不比连续权重编辑更抗遗忘；真正起作用的，是写入与分配规则本身。

研究背景

如何让冻结参数的预训练语言模型在不破坏已有知识的前提下学会新事实，是持续学习的核心问题。常见的做法是在模型外部附加可学习的记忆模块：一类是直接修改连续权重，另一类（如 EPMem）则冻结权重并仅修改二值边掩码。后者因结构天然离散，常被认为更「耐用」。本文的研究者通过一组受控实验，对这一直觉提出了质疑。

实验设置

• 对比对象：连续权重适配器 vs. EPMem（仅修改二值边掩码，使用直通估计训练）
• 基座模型：TinyStories-33M 与 Pythia-410M，均保持冻结
• 任务：持续事实写入（continual fact-writing）
• 匹配条件：存储比特数与写入步数在两组方法间对齐

主要发现

• 在 TinyStories-33M 上，EPMem 能正常写入事实，但遗忘速度与连续权重适配器持平甚至更快
• EPMem 整体表现更差，且需要更多写入步才能达到相同水平
• 在 Pythia-410M 上复现了相同模式，且更尖锐——模型变大后，写入更易、保持更差

机制分析

研究者从梯度层面给出了解释：

• 写入干扰：每次写入产生的干扰量随掩码翻转次数 F 按 sqrt(F) 缩放
• 保持曲线：事实保持的衰减速度超过「随机碰撞」基线，意味着并非随机覆盖
• 反巩固效应：掩码学习梯度倾向于重新翻转「已经存了东西」的边，而非中性随机覆盖

结论与启示

文章的核心结论是：在离散掩码上做记忆写入，并不会天然抗遗忘；真正让 SupSup、WSN 等方法避免灾难性遗忘的，是它们显式强制「非重叠分配」的写入规则，而非介质本身的离散性。换言之，离散并非杠杆，分配规则才是。

作者也在文中邀请批评，特别希望了解：这一结论是否仅适用于事实写入任务，以及是否仅为直通估计本身带来的伪影。

论文与数据集见 Zenodo：DOI 10.5281/zenodo.22071715。