下一个 token 预测是 AI 的「工作」,不是它的「物种」
文章从层次混淆的角度论证:AI 不只是下一个 token 预测器,正如人类不只是被进化优化的繁衍机器。
近期围绕大模型的讨论中,「下一个 token 预测器」「随机鹦鹉」等标签频繁出现,用以质疑大模型是否真的具备理解能力。一篇发表于技术社区的文章提出了不同的视角:把 AI 简单等同于「下一个 token 预测器」,是一种层次上的混淆。在最底层,人脑与 AI 都在做某种意义上的「下一信号预测」;而在更高的认知层次上,两者都远远超出了纯粹的预测本身。
人脑:嵌套优化塑造的预测机器
作者用两层优化循环来理解人脑的工作方式:
- 最外层是进化,优化人类的基因组,以利于生存、繁衍与养育后代。但基因组容量有限,无法编码母语词汇、母亲的面孔,甚至「如何走路」这类本能也被留给学习机制去完成。
- 第二层是学习算法,把神经元连接塑造成更能预测下一信号的形式。其中最关键的是「预测编码」(predictive coding)——大脑持续构建对环境的「心理模型」,不断预测下一个感官数据,再据此调整突触权重。
这一机制让人脑学会了构建「世界模型」。遇到老虎时,能预测它的外观、扑来的动作、被咬时的疼痛。这些能力来自关于老虎的抽象知识(「老虎是橙色的」「老虎喜欢扑人」),由我们尚未完全理解的神经回路实现。对你而言,这只是「想了想,意识到老虎会从那边扑过来」。
AI 公司扮演「进化」角色
文章将 AI 公司类比为「进化」:它们发现手工编码所有知识效率太低,于是转向深度学习。其中最强大的学习算法就是下一个 token 预测——给 AI 一串 token,让其内部参数朝着能更好预测下一个 token 的方向调整。
但这并不意味着 AI 运行时真的在显式地「思考下一个 token 是什么」。文章以人类进化作类比:人类是被优化为有利于生存繁衍的过程所设计的,但你在做数学题时,并不会想「我要如何与数字三交配」。进化过程「在思考」繁衍,而你做的每一道题可能与繁衍毫无关系。
同理,AI 在训练阶段「被设计」来预测下一个 token,但在运行时执行具体任务时,它只是直接给出结果,而不是在内部逐一枚举 token 的概率分布。
区分「设计目标」与「运行表现」
文章的核心主张是:必须区分「设计/训练过程中的优化目标」与「系统运行时实际在做什么」。AI 被设计来预测下一个 token,不等于它运行时只做这一件事;人类大脑被进化优化用于繁衍,也不等于每一个具体决定都在显式服务于繁衍。
作者援引「有机体是适应执行者,而非适应度最大化者」的论点:当一位僧侣发誓禁欲时,他使用的仍是进化为繁衍而优化的大脑——只是将其运行在一个远超原始分布的情境下,此时大脑已不再按原本的意图工作。
同样的逻辑适用于 AI:训练目标是下一个 token 预测,而运行时系统可能已经在解决数学题、写代码、规划路线,这些任务与训练目标之间存在巨大的层次落差。把 AI 简单标签化为「下一个 token 预测器」,正是混淆了这一落差。
