AI 「token 滥用」热潮退烧,企业开始精打细算
企业大量消耗 AI token 的风潮遇冷,账单飙升而回报有限,行业转向更理性的模型路由与开源替代方案。
几个月前还在硅谷高管之间被津津乐道的「tokenmaxxing」——尽可能多地消耗 AI 模型 token 以换取最大产出——正迅速降温。Moody's Ratings 最新报告与多位企业高管指出,AI 账单飙升并未带来对等的生产力提升,企业开始转向更克制、更精细的 AI 使用方式。
从热潮到反思:token 消耗曾是「身份象征」
今年春季,科技行业曾掀起一股鼓励高 token 消耗的风潮。OpenAI CEO Sam Altman 5 月公开表示,期待看到围绕 tokenmaxxing 涌现的创业公司;NVIDIA CEO 黄仁勋也曾放言「如果你的 50 万美元工程师没烧掉 25 万美元的 token,那就有问题了」;Meta 内部甚至举办过奖励高 token 用量的竞赛。这股风潮一度为 Anthropic、OpenAI 等头部大模型厂商贡献了显著营收。
然而风向很快转变。Microsoft CEO Satya Nadella 在近期博客中警告,客户实际上在为 AI 付两次钱——一次是 token 费用,一次是把专有数据喂给模型。Palantir CEO Alex Karp 接受 CNBC 采访时措辞更为激烈,称美国企业私下对高价低效的 token 消耗「怒不可遏」,直言「事情完全跑偏了」。
账单失控:成本每两个月翻一番
Moody's Ratings AI 分析主管 Vincent Gusdorf 在新报告中建议企业采取更克制的 AI 策略。他指出:「账单堆积起来后,大家意识到这些新工具相当昂贵,必须明智地使用。」
咨询公司 Bain & Company 的 Jue Wang 给出了更直观的数字:她所服务的大型企业 token 成本几乎每两个月翻一番,仅按每位开发者每月 200 美元、乘以 2 万名开发者计算,单家企业的年化 AI 支出就已远超预算。Wang 注意到,很多企业连撰写邮件这类轻量任务都在默认调用 Claude Opus 这类高端模型,「用大锤砸坚果」的现象普遍存在。
转向「模型路由」与开源替代
成本压力下,企业开始寻找更聪明的路径。所谓「模型路由」(model routing)方案应运而生——将简单查询自动分派给更便宜、更高效的模型,把复杂任务留给高性能模型。
与此同时,来自中国创业公司的开源模型成为另一条出路。Moonshot 的 Kimi、智谱的 GLM 等开源权重模型已能在能力上接近美国顶级模型,价格却低得多。开源模型服务商 Together AI 开发者体验负责人 Hassan El Mghari 表示,与其奖励高 token 用量,不如赋能员工按需使用。Mozilla CTO Raffi Krikorian 则将 tokenmaxxing 比作当年以代码行数衡量程序员生产力的做法,认为它终将被淘汰:「一年后我们回头看,会觉得这是个笑谈。」
