AI 推理成本决策：52% 利用率是自建与 API 的盈亏分水岭

围绕「自建 GPU 跑推理一定比调用 API 便宜」这一行业共识，36 氪 AI 频道发布的一篇深度分析提出了一个量化反驳：自建方案更便宜的前提，是 GPU 利用率必须超过约 52%；而绝大多数 AI 创业公司恰好落在 30%–50% 的低利用率区间，这意味着「自建更便宜」并不成立。文章给出五维成本模型、52% 盈亏临界点的推导、蒙特卡洛敏感性分析以及按利用率分层的决策树。

「自建更便宜」共识的逻辑漏洞

文章指出，「API 厂商要赚钱 → 定价高于成本 → 自建更便宜」的推导只在一种条件下成立：自建方的 GPU 利用率不低于 API 厂商。

• API 厂商通过跨客户调度，集群利用率通常在 90% 以上；
• 中等规模 AI 创业公司的推理利用率往往只有 30%–50%；
• 30% 利用率下，4×H100 每年约 $40,000 的 GPU 折旧中，$28,000 被浪费在空转上。

文章援引一个真实案例：某 AI 客服创业公司月流水 $50 万、日均 50 万次对话、API 调用成本占 36%。该 CTO 计划购入 8 张 H100 自建，但在测算后发现，以其当前利用率，自建并不比 API 便宜，最终放弃自建计划。

五维成本模型与 52% 临界点

文章将自建推理年成本拆解为五个维度：

• GPU 折旧（约 $40,000，权重最大）
• 服务器其他硬件（约 $15,000）
• 电力（约 $4,119）
• 带宽（约 $12,000）
• 机房与制冷（约 $18,000）
• 运维人力（约 $24,000）

基于该模型，自建每千 Token 成本随利用率单调递减，与 API 价格曲线相交于 52% 附近。文章给出的 4×H100 跑 70B 模型的测算如下：

• 利用率 80%：年成本 $113,119，每千 Token 约 $0.011
• 利用率 30%：年成本 $113,119，每千 Token 约 $0.045

蒙特卡洛敏感性分析显示，在 95% 置信度下临界利用率落在 48%–56% 区间（均值 52%），结论稳健。文章用 NVIDIA 官方数据校验，偏差约 4.7%。

多场景成本对比（2026 年 6 月数据）

文章对五种典型场景做了横向测算：

• 70B 以下 API：每千 Token $0.0002–0.01，70B 以下模型调用 API 比自建便宜 20%–50%。
• 700B MoE 自建：16×H200 配置，年成本 $431,144，每千 Token 约 $0.068；目前无 API 提供此级别服务，自建是唯一选择，MoE 推理成本约为稠密 70B 的 5–6 倍。
• 华为昇腾 910B（中国区）：8×910B 配置跑日均 50 万请求，年成本 $102,400，每千 Token 约 $0.0037，约为 H100 方案的 1/3。

按利用率的四层决策框架

文章将决策压缩为一棵流程树：

• 利用率 <30%：❌ 绝对不要自建
• 30%–52%：⚠️ 不建议自建
• 52%–80%：✅ 可以考虑自建

• 80%：✅✅ 强烈建议自建

落地步骤分三周完成：第一、二周测利用率（从云厂商账单拉取近三个月推理调用记录，统计请求量与 Token 分布）；第三周代入模型计算盈亏平衡点并跑蒙特卡洛模拟；第四周对比实际利用率与盈亏点再决策。

文章还给出三个反直觉结论：70B 以下 API 更便宜；52% 是自建「生死线」；API 厂商的定价本质是利用客户算不清利用率的「认知套利」。

中国市场变量与行业趋势

在中国电价叠加国产 GPU 的场景下，临界利用率降至 38%，综合成本可降低约 60%。

对行业趋势的判断：过去 12 个月推理成本下降 40%–60% 来自四股驱动力（硬件迭代、量化、模型蒸馏、厂商价格战），正在耗尽；未来 12 个月年降幅预计收窄到 15%–25%。文章认为，2026 年 DeepSeek 降价 30% 与 API 厂商推「预留实例 / 承诺用量折扣」同步出现，反映出推理市场正从「信息不对称」走向「完全竞争」，而 52% 这一数字正是这一转变的认知临界点。