桃子桃子快讯
返回首页
行业动态

Inkling 基准复盘:被忽略的 IFBench 与被误读的 Tinker 案例

Reddit 用户逐项解读 Inkling 模型卡与 Tinker 案例研究,指出媒体将「Tinker 微调能力」与「I…

2026.07.19 · 周日3 分钟阅读

近日有 Reddit 用户对 Thinking Machines 旗下 Inkling 模型的公开成绩单进行逐项梳理,结论与主流报道存在明显落差:媒体报道几乎都聚焦 97.1% 的 AIME 2026 准确率,但完整基准表呈现的是一幅更复杂的图景,且常被引用的 Bridgewater 案例所使用底座并非 Inkling。

AIME 2026:高分段拥挤,差距不显著

在 AIME 2026 这项数学基准上,Inkling 取得 97.1%,落后于 GLM 5.2(99.2%)以及 Fable 5 和 GPT-5.6 Sol(均为 99.9%),但领先其余所有模型。原帖指出,榜单前列选手分数都在 94% 以上,单凭这一项难以判断模型之间的真实差距。

HLE / SWEBench / Terminal Bench:相对靠前但不领先

更值得关注的成绩来自其他推理与编程类基准:

  • HLE 纯文本:Inkling 得 29.7%,超过 Nemotron 3 Ultra,但落后于 GLM 5.2、DeepSeek V4 Pro 以及两款 Kimi 模型。
  • SWE-bench Pro 与 Terminal Bench 2.1:能赢 Nemotron 3 Ultra 和 Kimi K2.5,但不及 Kimi K2.6、GLM 5.2 和 DeepSeek V4 Pro。

原帖将其总结为「胜得过部分开源选手、抵不过一线模型」,属于中上游水准。

IFBench:被忽略的亮点

在「指令遵循」类基准 IFBench 上,Inkling 反而以 79.8% 拿到榜首,仅次于 Nemotron 3 Ultra,是媒体几乎未提及的一项成绩。这一数据暗示 Inkling 在指令对齐方面可能具备一定优势,是其在所有基准中最突出的单项。

Bridgewater 案例:底座其实是 Qwen3-235B

常被引用作为「微调打败前沿模型」证据的 Bridgewater / Tinker 案例研究,原帖追溯后发现其使用底座为 Qwen3-235B-A22B,发表于 Inkling 出现前约两周。该案例在六项金融文档筛选任务上取得 84.7% 准确率,单任务推理成本约为被测前沿模型的 1/13.8。

原帖据此提出一个关键区分:

  • 可被公开证据支持的主张:Tinker 框架可以把开源模型训练成强专精模型。
  • 尚无公开证据支持的主张:Inkling 本身就是一个适合作为这种微调底座的选择。

讨论焦点:选 Inkling 还是 Qwen / Kimi

原帖向有 MoE 大模型微调经验的从业者提问:以 Inkling 的 IFBench 表现与 41B 激活参数规模,是否值得尝试?还是会因为 Qwen、Kimi 系列在微调文档与社区经验上的积累,仍然优先选择它们?这一讨论尚未形成定论,但提示开源微调社区在底座选择上仍有信息空白等待填补。

信源