Mollick 质疑 Kimi K3 过早定论：基准已饱和，难题测试才是关键

沃顿商学院教授、AI 领域知名观察者 Ethan Mollick 近日在 X 平台发文，对 Moonshot（旗下拥有 Kimi）新模型 Kimi K3 收到的快速评价提出质疑。他指出，外界目前对 Kimi K3 的判断主要建立在已经"饱和"的基准测试和 ELO 评分之上，而不是真正用难题去实测。这种现象在他看来，折射出整个 AI 行业在衡量前沿进展时面临的方法论难题。

Kimi K3 遭遇的"过早定论"

Mollick 在推文中写道："A lot of swift conclusions are being drawn about Kimi K3 based on fairly saturated benchmarks and ELOs, rather than actually testing it on very hard problems."（关于 Kimi K3 的许多结论下得太快，它们更多基于已经饱和的基准和 ELO 分数，而不是真正去测难题。）

他的核心担忧在于：当基准本身已经被主流模型逼近上限时，分数差异很难再反映真实能力差距；用这样的指标去给新一代模型排名，容易得到失真甚至误导性的结论。

基准饱和与 ELO 的边界

• ELO 类对战式评分虽能反映模型之间的相对偏好，但在题库被反复训练"刷过"之后，区分度会快速下降。
• 常见的学术与公开基准（如 MMLU、HumanEval 等）在近几代模型中已普遍接近天花板，被业内多次批评为"不够用"。
• 真正能区分前沿模型的，往往是高难度、多步推理、需要工具配合或长上下文推理的任务，但这类评测的搭建与维护成本远高于标准化基准。

Mollick 的提醒与近年来学术界对"基准污染"、"数据泄露"以及"以刷分为目标训练"等批评的方向一致。

一个被高估的"未来感"

推文的最后一句点出了一个更宏观的现象："The AI frontier has already moved so far that a good model that is still months behind looks like the future to many."（AI 前沿已经走得足够远，以至于一款仍然落后几个月的好模型，在很多人眼里看起来像是未来。）

这句话隐含的意思是：

• 行业整体迭代速度极快，几个月前的"前沿"很快会变成"中端"。
• 当人们已经习惯落后于前沿的产品时，任何能力尚可的新模型都容易被赋予超出实际水平的期待。
• 这种认知偏差既会推高市场对中小厂商模型的估值，也可能让用户对模型真正的强项与短板产生误判。

评估方法的下一道关

尽管这条推文篇幅不长，但它指向一个正在被业界反复讨论的问题：当传统基准逐渐失效，行业需要建立怎样的下一代评测体系？包括 LMArena 团队在内的多个机构已经开始尝试用更难的题目、更长上下文的真实用户投票，以及专门设计的高难度子集来补充现有评分，但这些方法目前都仍处于探索阶段。

对开发者与企业用户而言，Mollick 的提醒也意味着：选型时不宜只看排行榜分数，结合自身业务场景的真实难题进行对照测试，往往比跑通一套公共基准更能反映模型的实用价值。