桃子桃子快讯
返回首页
研究论文

新模型不一定更划算:Sonnet 4.6 与 Sonnet 5 实测对比

在 150 个代理任务、15 个场景的对比中,更新的 Sonnet 5 token 消耗最高达 12 倍,部分任务质量反…

2026.07.08 · 周三5 分钟阅读

一位首席开发者布道师在 VS Code 中通过 GitHub Copilot Chat,使用 Claude Sonnet 4.6 与更新的 Claude Sonnet 5 分别执行了 150 个代理任务,覆盖 15 个场景。结果显示:尽管 Sonnet 5 在每个 token 类别上都便宜 33%,但其 token 消耗量大幅增加,导致部分任务总成本反而升高,输出质量却并未提升。

降价不省钱:token 消耗成倍增加

Sonnet 5 在官方价目表上全面低于 Sonnet 4.6:输入 2 美元/百万 token(缓存输入 0.20 美元)、输出 10 美元/百万 token。看似每行都赢了,但账单由实际消耗量决定。

  • 架构类任务(12 个场景,每模型 60 次运行)中,Sonnet 5 中位数 token 消耗约为 4.6 的 12 倍。
  • 单次极端运行消耗达典型值的 47 倍。
  • 代码升级类任务(3 个场景,每模型 15 次运行)中,差距达 10 倍。

折算成美元:在代码升级任务中,Sonnet 5 单次运行平均 2.01 美元,是 Sonnet 4.6(0.55 美元)的 3.7 倍;在架构任务中,Sonnet 5 平均 0.47 美元,反而比 4.6(0.54 美元)便宜 12%。换言之,33% 的单价折扣被 token 增量完全吞没,甚至反向放大,最终走向取决于具体任务。

质量不升反降

Sonnet 5 不仅更贵,许多场景下输出也更差。

  • 架构任务中,两模型 Select 门(代理是否尝试了正确任务)通过率均为 75%。
  • 在 9 个两者都产出可用结果的场景中,Sonnet 4.6 的 Idiomatic 维度(输出是否符合既定模式与惯例)得分为 90%,Sonnet 5 为 78%。
  • 9 个场景中有 8 个,Sonnet 4.6 的质量不低于 Sonnet 5。
  • 在 IoT 分析架构设计中,两模型每次都能完成任务,但 4.6 在 5 次运行中有 4 次通过 Idiomatic 检查,Sonnet 5 仅 1 次。

同样的提示词,可量化地得到更差的结果。

升级真正起作用的场景

代码升级任务呈现了相反的图景。测试涉及三个 SharePoint Framework(SPFx)项目升级场景,包括 gulp 到 Heft 的迁移以及旧版到 flat ESLint 配置的迁移。

  • Sonnet 4.6 的 Select 门通过率为 60%,Sonnet 5 为 100%。
  • 在 SPFx v1.21.1 升级到 v1.22.0 的任务中,Sonnet 4.6 5 次运行全部失败(始终采用 Microsoft Learn 文档中的 1.22.1),Sonnet 5 则每次都精准遵循指令。
  • Sonnet 5 表现出更深探索意愿:一次运行消耗 6900 万 token,完成 30 项评估标准中的 21 项,通过大量网页抓取发现了未记录的迁移步骤;Sonnet 4.6 完全没有尝试这种深度。

不过,4.6 与 5 在每个场景中各有 4/5 的运行并未达到该深度,突破性的单次表现无法复现。当任务要求代理严格遵循指令而非依赖上下文时,新模型更可靠。

真正的天花板是内容,不是模型

两模型在代码升级上都撞上了同一面墙:配置正确性在所有 SPFx 场景中均为 0%。两者都无法完成 gulp 到 Heft 或旧版 ESLint 到 flat config 的结构性工具链迁移。

迁移指南通常涵盖依赖升级与 API 变更,但构建系统切换、配置格式更替这类结构性变动散落在不同文档中。测试中识别出 7 项具体文件与配置变更,两模型都无法自主发现:构建工具标志位、清单文件重构、文件删除、配置格式迁移——全部具体、可枚举,却全部缺失于文档。

可见,模型无法发现未被记录的内容,花更多预算在新模型上也补不上内容缺口。

波动性成为成本风险

Sonnet 5 的 token 消耗不仅更高,也更不可预测。Sonnet 4.6 的运行分布紧凑,简单架构任务大多落在 1.4 万到 4.5 万 token 之间,预算易于估算。Sonnet 5 则大起大落:同一 IoT 分析场景,一次运行消耗 660 万 token,另一次仅 1.6 万。一次异常运行的成本就可能超过一批 Sonnet 4.6 的总和,使规模化部署的成本难以预估。

复杂任务上两模型都有高方差,但 Sonnet 4.6 的离群点偶发,Sonnet 5 的离群点成为常态。

测试方法

评估在自有平台上完成,覆盖 12 个 Azure 架构场景(共 120 次运行)与 3 个 SharePoint Framework 升级场景(共 30 次运行),每模型每场景运行 5 次。任务通过 GitHub Copilot Chat 在 Windows 版 VS Code 中执行,前者基于 Microsoft Learn 文档进行架构与设计推理,后者覆盖 SPFx 项目升级流程。

信源