桃子桃子快讯
返回首页
研究论文

联想记忆失败时突触并未退化:研究者直接测量并给出新解释

在稀疏二值装配网络中实测发现,recall 退化时突触功能密度几乎不变,失败源于身份漂移到竞争装配。

2026.08.11 · 周二4 分钟阅读

一位独立研究者在 Reddit r/MachineLearning 发布预印本,直接测量了稀疏二值装配网络(sparse binary assembly network)中的突触状态,以检验联想记忆容量极限的物理成因。论文与代码均以开源形式公开。

研究设定

作者构建了一套可被「精确读取」的网络:突触用 4-bit 计数器实现,其功能状态可表示为单个比特;装配(assembly)被显式建模为神经元集合;整套系统在一块消费级 GPU 上运行,规模为 131k 神经元 / 10.7 亿突触。任务为随机列模式(random column patterns)的线索回忆(cued recall)。该架构选择的核心目的是:在行为层面 recall 退化时,能直接读取底层权重,观察突触究竟发生了什么。

核心发现

  • 突触并未退化:在 24→60 个存储模式区间(每负载 5 个随机种子)内,持续 recall 下降 3.7 倍,但装配内功能性突触密度维持在 80.7%–82.2% 区间,几乎不动。
  • 子群拆分后结论不变:仅属于单一装配的神经元密度从 82.7% 微降到 81.2%;跨装配共享神经元密度反而从 69.3% 上升到 82.1%,同时共享比例从 4.8% 升至 64.4%。这意味着并非「均值掩盖了某个退化子群」。
  • 失败是身份漂移,不是幅度不足:在中等负载下,循环增益在整段自由运行中保持在 0.977–1.016,但与目标装配的重叠度仍从 0.720 衰减到 0.520。低负载时,目标装配外部的神经元受到的装配内循环输入是群体基线的 6.9 倍(未训练对照为 1.00 倍),高负载时回落到 1.8 倍;其装配多重度则从低于均值翻转至接近均值的两倍。换言之,负载不仅扩大了被探索的群体,更改变了其组成——从「未分配」神经元转向「竞争装配的所有者」神经元。
  • 容量应成对报告:持续 recall 约 36 个模式;若允许短暂 recall,则可达约 200 个模式

与既有理论的对比

作者明确承认框架本身并不新:Tamamori(arXiv 2605.00366)已论证实际极限来自动力学稳定性丧失而非几何可分性;Clark(Phys Rev E 113, 054301)也已区分瞬时与持久 recall 容量,但二者均为纯理论。本文的增量在于:行为失败的同时直接读取底层,并系统排除 8 种替代机制——hub capture、边界 LTD 侵蚀、分配干扰、输入空间碰撞、池容量、平均化伪影、驱动幅度、读出端拯救——逐一证伪。

方法论自纠

作者主动披露了一次影响论文的修正:单种子(n=1)下,持续比例曲线看似尖锐分叉,并曾拟合出一个参数无关模型(增益的 14.5 次方,指数由测量窗口导出),在四个负载上预测误差在 1 个标准差内。加入五个种子后,该「分叉」变为平滑单调下降,而 14.5 次方会把 1% 的增益误差放大为 14.5% 的预测误差,因此 n=1 的吻合几乎是由构造决定的偶然。这一修正本身未进入论文正文。

局限与待讨论点

  • 范围有限:单一架构、单一机器(M1 Pro)、单一任务族(随机列模式线索回忆),普适性未经测试。
  • m²/U 是否为正确的零假设:作者使用实际并集而非池容量作为分配重叠的零假设,在 4.45 倍平均多重度下测得重叠为该零假设的 0.79–1.04 倍,期待学界指出更标准的基线。
  • Fusi & Abbott 比较的协议差异:对方分析序列式重写存储(新记忆扰动旧记忆),作者使用 40 个 epoch 的交错训练至平衡。共享成员结果被认为能回应「交错训练是否只是回避了覆写」这一反对意见,但仍期待更直接的反驳。

论文(Zenodo DOI: 10.5281/zenodo.21881612)与代码(GitHub: rakib-nyc/axon)均以 CC BY / Apache 2.0 公开,作者声明独立完成、无任何机构关联。

信源