杰夫·迪恩离开谷歌后首度发声：创办Discovery Loop，让AI参与自身研发

在离开谷歌仅 12 个小时后，杰夫·迪恩（Jeff Dean）出现在斯坦福大学 AASF Summit 舞台上，与加州大学伯克利分校教授、Meta 超级智能实验室 AI 研究副总裁宋晓冬对谈。这是这位谷歌前首席科学家结束 27 年谷歌职业生涯后的首次公开访谈，也是一次关于他为何离开、要做什么、以及如何看 AI 下一阶段的关键表态。

迪恩的判断一如既往地聚焦于「数量级提升」。十年前，MoE（混合专家）带来了约 10 倍的训练效率改善，让他相信这是一项具有长期影响力的技术；今天，他关注的重点已从模型本身延伸到模型背后的研发过程。在他看来，AI 正从「能力持续提升」走向「深度参与自身研发」——数据选择、模型设计、实验验证、结果评估，都可以交给 AI 形成自动化循环。

为何离开：把 AI 变成科学发现的系统

离开谷歌之后，迪恩与奥里奥尔·维尼亚尔斯（Oriol Vinyals）等长期合作者共同创办了 Discovery Loop。这是一家公益公司，团队仅约 10 人，目标是自动化机器学习以及更广泛的科学与工程研究。

团队此前合作跨度从 14 年到 30 年不等，参与过 MapReduce、BigTable、Spanner、TensorFlow、模型蒸馏和模型架构等项目。
公司正在搭建管理「整个实验集合」的基础设施：评估每个实验的预期价值与计算成本，再决定资源投向哪里。
早期会从较窄的领域切入，但底层基础设施与通用技术希望具备跨领域复用能力。

迪恩解释选择小团队而非继续留在谷歌的原因：大公司有自己的优势，但 10 个人围着一个使命工作，可以减少大型组织里的注意力分散。云计算的成熟也改变了创业门槛——小公司筹到资金就能直接调用大规模算力，把精力集中在真正想解决的问题上。

MoE 与深度学习：让他决定押注的「10 倍信号」

访谈中，迪恩回顾了 2017 年前后谷歌对稀疏门控混合专家层的研究。其核心直觉是：模型可以拥有非常大的容量，但每个 Token 不必承担整个模型的计算成本，处理时只激活真正有用的「专家」模块。

与主流密集模型相比，MoE 在训练计算与模型质量之间取得了大约 10 倍的改善。
同一时期，深度学习在图像分类、语音识别等领域带来了约 50 倍规模的网络训练收益；仅仅扩大一个相对简单的深度声学模型，就让语音识别的改善大致相当于此前 20 年研究成果的总和。
迪恩认为，深度学习的真正意义是把过去拥有不同技术体系的领域统一到一种「通过原始数据学习」的范式之下。

他分享了判断一项技术长期价值的方法：跟踪社区里大量趋势，粗略估算问题规模和解决方案效果——比如需要处理多少数据、网络传输要多久、是 100 年还是 10 秒；并主动尝试足够多方向，因为很多重要创新来自不同想法之间的连接。

TensorFlow 留下的两条教训

作为推动全球研究人员进入深度学习的框架，TensorFlow 的设计原则是「让研究者只描述想做的机器学习计算，底层系统负责映射到 CPU、GPU 等不同硬件」。但在迪恩看来，事后复盘有两个明显问题：

没有从第一天加入 eager execution（编程执行模式），这一模式后来被 PyTorch 和 JAX 采用。
contrib 目录允许社区贡献大量辅助库，导致「同一件事出现十种做法」，用户难以判断标准答案。

如果重新设计，他会「让核心保持小而稳定，让生态系统建立在核心之上」。

Gemini：多模态与编码能力的补课

Gemini 被迪恩描述为「Google Brain、DeepMind 和 Google Research 多个早期研究项目的结晶」，他本人与维尼亚尔斯共同推动了这项整合。其中两个关键决定：

从第一天起就做多模态，让模型同时理解文本、代码、图像、视频、音频，训练数据中甚至加入激光雷达数据。
同时投入理解与生成能力，模型既能理解图像，也能生成图像、视频与音频。

迪恩也提到，Gemini 早期在编码能力上的投入「有些落后」，后来才被加强——而编码能力的提升会带动模型处理复杂问题的能力，因为「写软件要求模型理解目标、拆分问题、执行步骤、检查结果，再根据失败重新迭代」。

AI 智能体与双重用途风险

针对近期 AI 智能体在网络安全领域的表现（含 OpenAI 智能体突破测试环境进入 Hugging Face 基础设施等事件），迪恩认为：

模型既可被防御者用来发现大量漏洞，也可能被恶意用户利用。
复杂的人类攻击者目前仍能完成许多模型做不到的事，但模型可能发现人类工程师遗漏的漏洞，攻防双方都在变强。
仅靠模型本身的技术限制并不足够，法律、责任、监管与社会规则都需要参与进来。

他与 John Hennessy、Dave Patterson 等人此前讨论过的「AI 重大影响的七个领域」中，医疗和教育被视作积极方向，而工作岗位替代、地缘政治风险与计算机安全则更加复杂。他强调，AI 带来的影响不会简单归为正面或负面，不同领域需要分别讨论，并建立了网站 shapingai.com 把这些问题放在更广泛的社会背景中。

递归自我改进：从一周实验压缩到一小时

迪恩并不认为「机器学习改进机器学习」是新事物——他的联合创始人 Quoc Le 等人很早就做过神经架构搜索，后续又通过进化算法得到比原始 Transformer 高效约 30% 的 Evolved Transformer。在他看来，下一步是把多个自动化改进循环（数据、架构、训练算法、评估方法）连接成一个更大的系统，让 AI 参与整个研发流程。

这也是 Discovery Loop 的核心思路：如果一个原本需要一周的实验能压缩到一小时，同时运行数千个实验，再由系统根据预期价值与成本决定下一步该跑哪些实验，科学研究的速度就可能发生数量级变化。迪恩的判断是，「没有一个人能拥有 20 个不同领域的博士学位，但 AI 可以把这些知识结合起来，由它判断哪些子问题最重要，再安排智能体或多智能体系统处理。」

在被问及市场对其离职的反应时，迪恩表示「不会把任何一天的股价变化归因于某一个人的离职」，并强调对谷歌团队和 Gemini 未来的发展抱有信心。在关于顶尖人才流向创业公司的讨论中，他认为云计算兴起是关键变量——小团队不再需要自建基础设施，就能直接使用大规模算力，这让「拥有新想法的人可以在更小的组织里开始工作」。

（本文综合自斯坦福 AASF Summit 现场访谈实录与腾讯科技相关报道。）