研究者提出 AI 文本检测的碰撞熵下界框架

近日，Reddit r/MachineLearning 社区用户 H8Ball17 发文，提出基于 Rényi-2 熵（碰撞熵）的 AI 文本检测理论下界框架，认为任何相似度型检测器——无论是水印方案还是检索匹配方案——其假阳性率都受制于文本分布熵的下界。该工作目前为作者自验证状态，尚未经过同行评审，作者本人也在公开征求「挑刺」。

核心论点

作者将水印的绿名单计数、检索检测的 embedding 向量统一抽象为对候选文本计算某个统计量 T 并与参考比对的过程。对于任意确定性 T，若 X、Y 是来自同一分布 P 的独立同分布（i.i.d.）样本，则 T(X) 与 T(Y) 是来自 T*P 的 i.i.d. 样本，并满足：

• 由数据处理不等式，碰撞熵在粗糙化映射下不增，即 H₂(T*P) ≤ H₂(P)
• 任意离散分布 Q 下，i.i.d. 样本碰撞概率精确等于 2^(-H₂(Q))
• 因此任何基于 T 的检测器都满足 FPR_T(C) ≥ 2^(-H₂(原始文本 | C))

这个下界对所有可能的检测器设计同时成立，无法靠选取更好的 T 来规避。

约束收紧时 ROC 曲线为何塌缩

当约束 C 收紧——例如一份产品规格书只需要罗列固定事实——原始文本可承载的信息越少，H₂ 越趋近 0，下界随之向 1 逼近。由于 TPR 永远 ≤ 1，TPR − FPR → 0，任何碰撞型检测器的 ROC 曲线都会向机会线坍缩。作者强调，问题的根源不在阈值选择，而在低熵场景下人类与模型输出两类分布本身已趋同，调整阈值无法挽救。

与已有研究的关系

作者在文中明确划定了本文与既有工作的边界：

• 词元层级结论并非新意：Kirchenbauer 等 2023 年工作已指出低熵文本既难以打水印、也难以与人类写作区分（spike entropy）。
• 分类博弈层面的不可能性：Silva（2026, SSRN）通过全变距离给出更完整的分类不可能性框架，但在分类表中明确将水印检测排除在其作用域之外。
• 本文自定位的贡献：提出「匹配博弈」（matching game）形式化——给定一份参考文本，判定候选文本是否派生自该参考——并尝试建立与 Silva 分类框架的桥接：在参考文本随机抽取的条件下，匹配博弈的最优等于分类博弈固定参考优势的期望；进一步将下界拆分为互信息项（参考经释义信道后残存的信息量）与全变距离项（Silva 的量）。

未经验证的关键假设

作者坦承以下几处尚未验证，公开征求同行意见：

• 数据处理不等式在边缘案例（如参考退化为空集、约束 C 不规范）下是否仍成立
• 与 Silva 框架的桥接是否依赖过于方便的特例（点质量参考、严格派生假设）
• 是否存在尚未检索到的、专门针对 Rényi-2 / 碰撞熵用于检测的先期工作

现状与定位

本文以 Reddit 自帖形式发布，作者自我标注「Self-verified only so far, no external review」，未以正式论文提交，也未附带可下载的 PDF 链接。如作者本人在文末所述：词元层级基础结论归属 Kirchenbauer，分类博弈层面不可能性归属 Silva 与 Sadasivan，作者自陈可能属于自己贡献的，仅是匹配博弈形式化与两个框架间的桥接部分。