Fireworks AI 呼吁：衡量 AI 成本应看「单次成功任务」而非单 token

AI 推理服务厂商 Fireworks AI 近日在 X 平台发文，呼吁业界跳出「每 token 成本」这一会计口径，把评估视角转向「每次成功任务所付出的成本」。该观点基于 Arize AI 团队（含 @seldo）在 2400 次实验运行中得出的结论：在不同难度任务之间进行智能路由，既能压低整体开销，也能提高任务覆盖度。

从「按 token 计费」到「按任务计价」

长期以来，开源模型与闭源模型之争常被简化为「每 token 价格」的横向比较。Fireworks AI 认为，这种会计指标掩盖了真正的用户体验：同样花掉一美元，有的请求顺利完成任务，有的则因模型能力不足而失败、需重试或人工兜底，整体成本远高于账面数字。把分子换成「成功完成任务数」，更能反映企业部署 AI 时的真实投入产出。

核心结论：按难度路由，双赢成本与覆盖

• Arize AI 实验规模：2400 次运行，覆盖多种任务与模型组合。
• 关键策略：依据任务难度将请求动态分配到不同模型，而非一律调用最强或最便宜的模型。
• 收益：在保持任务完成率（即覆盖度）的前提下，显著降低单次成功任务的综合成本。

这一思路与业内近年兴起的「模型路由」「级联推理」（cascade）等实践方向一致，即让小模型处理简单问题、复杂问题再升级到大模型。

待补充的细节

Fireworks AI 的发文属于观点性短帖，并未披露 Arize AI 原始研究的具体方法学、所用模型清单、任务类型分布与成本节省幅度等定量数据。要全面评估「路由策略」的实际收益，仍需回溯 Arize AI 的完整报告或论文，并以企业自身业务流量加以验证。