过度训练：通往类人 AI 的关键路径？

匿名博主 Gwern 近日发布一篇长达 1.3 万字的博文《Human-like Neural Nets by Catapulting》，提出一个颇具争议的假设：当前大语言模型之所以缺乏真正类人的通用智能，根本原因在于训练范式本身，并主张「过度训练」可能是通向类人 AI 的关键路径。该博文在 Hacker News 等社区尚未获得与其篇幅相称的讨论热度，但其核心论点仍值得梳理。

作者背景：从 GPT-3 时代就开始押注 scaling

Gwern 在 AI 圈并非新面孔。早在 2020 年 GPT-3 发布后不久，他就撰写了《The Scaling Hypothesis》一文，预见了后续两年掀起的「越大越强」算力竞赛与 LLM 浪潮，比 ChatGPT 引爆行业早了近两年。作者将 Gwern 与 2024 年写出《Situational Awareness》的 Leopold Aschenbrenner 相提并论，认为二人都在主流共识形成之前就准确预判了 AI 的发展方向。

核心概念：什么是 grokking？

Gwern 论点的基石是 2022 年 OpenAI 发表的一篇论文所揭示的「grokking」现象：在一个简单任务（如除法运算）上，如果模型在训练损失已停滞后仍继续训练，能力会突然出现跨越式提升。论文给出的解释是，前期训练类似「死记硬背」——模型把训练数据压进权重里；当训练继续进行，正则化压力会逼迫模型寻找更简洁的数据压缩方式，直到它突然「意识到」可以通过执行底层数学运算来表达数据，从而瞬间变强。OpenAI 以科幻作家 Heinlein 的生造词「grok」来命名这一过程，意指获得深刻的、直觉性的理解。

核心论点：LLM 尚未真正 grok

Gwern 将上述观察推广到现代 LLM 上，核心论点可归纳为三条：

• 现代 LLM 的泛化能力弱于人类，根源在于它们没有真正「领悟」核心数据；
• grokking 要求在相对较小的数据集上「过度训练」一个高度过参数化的模型，这恰好与当前前沿实验室的做法相反；
• 因此应当有人投入几百亿美元尝试这种路线，因为它可能直接带来真正类人的大模型。

文章特别强调第 (2) 点：在小数据上过训练大模型，本质上正是人脑的学习方式。文中的论证并不依赖「人脑与神经网络的类比」也能成立——只要神经网络具备一定的泛化能力，就没有先验理由断定它的泛化上限一定在当前位置。

LLM 是否已经 grok？

作者承认已有研究认为 LLM 已经「领悟」过：若把「已记忆的数据量」对「基准测试分数」画图，可以看到分数先小幅飙升、再大幅回落、最后又出现大幅跃升的曲线，这种模式与平滑增长的记忆曲线并不吻合，很难用纯记忆解释。作者认为这恰恰说明「领悟」与「泛化」很难区分——LLM 在训练过程中当然会学习泛化，但前期必须先积累足够多的死记硬背作为原料，才会发生类似于 grokking 的跃迁。在他看来，Gwern 以及其他人所说的「LLM 尚未真正领悟」，其实是指可能还有不止一次巨型泛化跃迁尚未发生。

人脑存在的「深度规则」也是 grokking 的有力佐证。grokking 的经典例子都依赖一个等待被发现的简单规则（某种数学运算），而语言是否同样具备这种深层结构仍是开放问题，但语言既存在内在结构，又与世界结构、人类心智结构深度耦合，这让作者倾向于给出肯定的答案。

现状反思：实验室仍在大模型上「灌」海量数据

过去几年，AI 研究社区的主流声音是「数据为王」——选定一种架构后，靠堆参数、堆算力、堆数据就能换来更强的模型。但 Gwern 的论点恰恰质疑了这条路线的天花板：当模型容量远超数据规模时继续训练，可能才是触发「领悟」、迈向类人智能的正确方向。换言之，瓶颈或许不在算力或数据总量，而在于「数据量与参数量的比例」以及「是否给模型足够时间真正消化这些数据」。

文章最后停留在问题层面：究竟应不应该用几百亿美元去验证这一猜想？如果方向正确，可能让人类提前数年迎来真正通用的 AI；如果错误，则又是一笔昂贵的失败实验。这一两难也折射出当前前沿 AI 研究面临的深层不确定性——我们可能仍未触及 scaling 范式的边界，也可能早已走在与真正智能失之交臂的路上。