开源模型「蒸馏」指控被指过度，中国厂商屡成靶子

每当一款开源强模型发布，社区中总会迅速出现一种声音：它不过是「从 GPT-4 或 Claude 蒸馏出来的」。在一篇发布于 r/LocalLLaMA 的讨论帖中，作者 UsedMorning9886 对这一论调提出反驳，认为「蒸馏」一词在公共讨论中被严重泛化，技术上并不成立。

合成数据生成 ≠ 真正的蒸馏

作者首先区分了两个常被混淆的概念。严格意义上的 token 级蒸馏需要获取教师模型在词表上的完整概率分布（logits），而通过公开 API 只能拿到最终生成的文本，这只是合成数据生成，而非技术意义上的蒸馏。所有主流实验室——包括闭源厂商——都会使用这种方式对自身历史模型的输出进行再训练。

API 输出的真实成色

即便不考虑蒸馏定义的问题，公开 API 输出的可用性也远低于想象。多数前沿模型的 API 在边界处会做安全过滤和路由，将敏感话题或专业领域请求导向旗舰模型并调整回复内容。在这样的数据上训练一个「蒸馏」模型，却在受限领域表现尤其出色，本身就是一个尚未被充分解释的矛盾。

身份混淆不能作为「实锤」

「模型说自己是 Claude」常被当作蒸馏的直接证据，但作者认为这只是数据污染的信号之一。当训练语料中混入了大量来源各异的 AI 生成文本时，身份混淆会在不同模型间普遍出现，并不指向对某一家具体厂商模型的复制。

指控的选择性倾向

作者最后指出，「蒸馏」指控在落地时往往带有明显的选择性：来自中国厂商的较强开源模型几乎会条件反射般地被贴上这个标签，即便模型在架构或迭代自改进上展现出独立变化。这种模式更像是一种解释竞争现象的简化叙事，而非严格的技术评估。

文章并未否认行业普遍存在的「用大模型生成数据训练小模型」的做法，而是强调这一行为与社区口中那种「偷走教师模型全部内部知识」的蒸馏并非同一回事。整体而言，这是一篇带有明显立场的技术评论，缺乏一手数据或基准对比支撑，更适合作为观察开源社区讨论氛围的参考。