WAIC 五位首席科学家激辩：多模态是 LLM 外挂还是下一代灵魂
WAIC 2026 圆桌论坛上，五位科学家围绕多模态与 LLM 关系、数据架构瓶颈及五年趋势展开深度交锋。
WAIC 2026 期间，由商汤科技承办的「基座大模型架构创新与生态合作论坛」上，五位首席科学家围绕多模态与大语言模型的关系展开了一场深度圆桌对话。对话由商汤科技首席科学家林达华主持，参与者包括复旦大学邱锡鹏教授、达摩院首席科学家赵德丽、阶跃星辰首席科学家张祥雨，以及新加坡南洋理工大学刘子纬教授。在 GPT-5.6 等国际最新模型陆续亮相的背景下，论坛直面了当前大模型行业最核心的焦虑：当 Scaling Law 逼近物理极限，多模态究竟是破局的「解药」，还是新瓶装旧酒的延伸？
多模态是「外挂」还是「灵魂」
林达华一开场便抛出核心问题：多模态到底只是大语言模型能力边界的自然延伸，还是下一代智能真正的起点？
邱锡鹏持鲜明观点：智能仍然依赖语言。他指出，多模态未来的发展重点不是取代语言，而是如何把多模态信息与语言真正对齐。在他看来，今天的大模型距离真正理解世界还相差很远，模型真正欠缺的，不只是多模态，而是对真实世界复杂情境（即 Context）的理解能力。未来需要构建一整套围绕现实环境的 Harness 以支撑模型理解真实世界。
赵德丽则持不同立场。他从更宏观的视角总结出通向智能的四条路径：大语言模型、走向开放空间的机器人、基于数字生命的模拟、基于神经信号的交互——四条路径都与人类产生智能的源头信号相关，且全部是多模态的。他强调，物理世界需要的是四维因果关系建模（物理空间、物理属性、因果关系、动作与运动），大语言模型只是一维的，因此「基于多模态的模型，是下一代智能的范式」。
张祥雨跳出语言与视觉的路线之争，把焦点转向「学习范式」：怎么让智能体学会自主学习，即后天学习、在线学习。他以 Codex 与实习生做对比，指出当前智能体缺少自我进化能力——这才是核心问题所在。
刘子纬从哲学层面引用了柏拉图洞穴比喻：语言是真实世界的低维投影，我们终归需要「迈出洞穴，走向真实的世界」。他把语言比作化石燃料，认为高价值任务（如制造业）一定脱离不了多模态，多模态才能涌现出下一代智能。
数据、架构、范式：多模态下一次跃迁缺什么
从第一性原理回到现实，多模态 AI 继续突破的首要因素究竟是什么？
刘子纬给出冷静判断：数据、模型结构、训练范式三方面都不足以推向下一个阶段。他指出，语言模型的成功有历史偶然性——互联网 20 年积累的语料与为游戏发展的 GPU 算力恰好齐备，而多模态数据多为静态，缺乏长程关联。在架构层面，当前整体仍以语言模型为核心，多模态能力以桥接方式进入，原生多模态架构尚未出现；学习范式则「是更大的问题，10 年来大家都在讲，依然没有被解决」。
张祥雨认为，自主学习虽已成共识，但当前模型上下文「还远远不够长」，且存在严重退化。多模态信息压缩率有限，塞满百万 token 的图也无法有效压缩。他将下一代自主学习拆解为三大问题：
- 怎么学（在线学习问题）
- 学什么（探索与好奇心建模）
- 怎么学得高效（效率问题）
其中在线学习最值得短期投入，其核心挑战在于层次化记忆建模与学习算法本身的革新。他进一步指出，RL 在推理时代的高效很大程度来自 On Policy 特性，世界模型则是解决效率问题的另一关键。
林达华追问 Memory 机制：Transformer 的 Context 从原理上更像工作记忆，无损但有效长度有限，用短期工作记忆机制承载长期结构化记忆功能，需要较大革新。张祥雨表示认同，并指出人类记忆是分层的（瞬时感知记忆、短期工作记忆、情境记忆、语义记忆），而 Transformer 在机制上不允许压缩视觉信号，这与人类主动选择、压缩、清除的机制存在根本差异。
赵德丽从产业角度补充：物理世界数据极其稀少，以机器人为例，去年十万小时数据已属顶尖，今年才达大几十万小时，远不足以支撑 GPT-3.5 水平的训练。但他指出，中国工业、服务业、家电场景的多样性和需求远大于欧美，在具身方向上具有天然优势。关于算法创新，他强调 PPO、GRPO、Sparse Attention、Sliding Window 以及 DeepSeek 底层的优化机制、InGram 等算法，每一个技术进步都推动着领域发展。
五年预言：高估了 Agent，低估了社会变迁
林达华分享感受：2023 年初大家最焦虑 AI 是否取代人类工作，但今天看，AI 更多是在改变工作方式而非消灭工作，这可能被高估；被低估的是范式变革的速度——没人能预料到强化学习会在 2025-2026 年重新成为核心方法，也没人预料到「测试时扩展」会成为独立竞赛维度。
邱锡鹏坦言预测很难，但给出判断：下一代范式变革可能是「AI for AI」，让 Agentic Model 去设计未来的多模态模型。他强调渐进式演化力量——ChatGPT 看似范式革新，实际上是一点一点走出来的，Transformer 还在其次，更前面的是 Seq2Seq 的统一范式。
赵德丽的预测更具体：被高估的可能是 Agent 在企业级、商业级场景落地时的自主化能力；被低估的则是 AI 对社会运作方式的改变。他以支付为例：当智能体之间产生交互，围绕人构建的支付体系将面临全面重构。
从「语言中心 vs. 世界中心」的思想碰撞，到数据、架构、记忆机制的层层拆解，五位科学家视角交错却指向一致：多模态正在从「辅助工具」走向「核心基础设施」，真正的驱动力是 AI 应用场景从数字空间向物理空间的不可逆迁移。