研究称前沿大模型存在「文风指纹」,可借此区分厂商
一项试点研究发现,可用约 25 个文体特征区分 GPT 与 Claude,准确率 87–93%;但同厂商两版本 Clau…
一项发表于 Hacker News 的试点研究发现,前沿大语言模型(LLM)的输出存在可量化的「文风指纹」,且这种指纹更像是实验室(厂商)的签名,而非单个模型的特征。研究者在创意写作类提示上训练了一个基于约 25 项文体特征的分类器,结果显示 OpenAI 的 GPT-5.5 与 Anthropic 的 Claude 之间区分准确率可达 87–93%,远高于随机水平;但在 Anthropic 自家的 Opus 4.7 与 Opus 4.8 两个版本之间,准确率仅 53%,相当于随机猜测。
核心发现:跨厂商差异远大于同厂商版本差异
研究覆盖三个模型——GPT-5.5、Claude Opus 4.8,以及作为同厂商漂移参照的 Opus 4.7——在统一提示与各模型默认配置下各生成 5 次回答。文体特征分析显示:
- Claude 的破折号使用量约为 GPT 的 3 倍以上,缩写(如 don't、can't)使用量约为 GPT 的 4 倍;
- GPT 几乎从不在回答开头使用 Markdown 标题,而 Claude 在 60–70% 的回答中如此做;
- GPT 对分号的依赖显著高于 Opus 4.7,比例超过 20 倍,同时逗号密度也更高。
研究者将这些差异归类为「house style」(出版业术语,指一家刊物统一的写作惯例),而非能力差异。当输出形式被约束到一定程度(例如剥离注释的代码、「用五个形容词描述自己」),跨厂商的文体差异同样会坍缩到随机水平。
为何引入同厂商对照组
仅做跨厂商对比,无法回答「差异到底是厂商特异还是任何两个时间点的模型都会自然产生漂移」。因此研究保留了 Opus 4.7 作为参照:Opus 4.8 是其官方继任版本,发布于 2026 年 5 月 28 日,在基准成绩、Agent 协作能力以及「更愿意对自身工作标注不确定性」等方面均有变化。结果显示,版本更新带来了可观察的行为变化(如更频繁的拒绝、更倾向于先追问再写代码),但文体分类器在两个 Claude 版本之间仍接近随机。这表明,跨厂商的文体差距远大于同厂商版本间的差距,差异主要源自厂商层面的训练与对齐选择。
方法与局限
研究在数据收集阶段对所有模型身份标识进行了脱敏处理,并将智能引号、省略号等 Unicode 字符折叠为 ASCII,以避免身份泄漏干扰分类器。Claude 的 API 拒绝非默认的 temperature、top_p、top_k 参数,因此主分析条件只能省略这些字段;Opus 4.8 默认处于高推理强度,GPT-5.5 默认处于中等推理与中等输出详细度,研究者均未做覆盖。
需要注意的是,该研究目前为「Part I」试点阶段,提示集仅 6 个创意写作任务,规模有限;研究者在文中预先公开了 Part II 将要运行的确认性测试(包括 59 题分类器注册表、100 题 OR-Bench 拒绝行为测试及人类评审一致性验证),以实践「预注册」。换言之,现有数字与方法值得参考,但更稳健的结论有待 Part II 的全量数据。
意义与启示
主流基准衡量的是「能不能做到」,但在基准趋于饱和的情况下,两个能力相近的模型仍可能在包装答案的方式、措辞与默认拒绝策略上截然不同——而用户真正接触到的,恰恰是这些默认值。若默认值可被测量且稳定,那么选择厂商就意味着选择一套默认行为画像,而不仅是选择一份能力分数。该研究的提示是:在能力分数之外,文风与默认行为同样构成可被量化、可被比较的维度。
