开源工具 worldproof：揭示像素指标为何难以排序世界模型

一位机器学习研究者在 Reddit r/MachineLearning 发布开源工具 worldproof，并附带一组关于「世界模型（world model）评估指标」的原创实验结果。她指出：在真实机器人视频上，像素级指标（SSIM、PSNR）在大多数预测步长区间内无法对模型优劣作出有效区分，只有特定步长窗口内才具备判别力。

核心发现：复制末帧基线「几乎无法被击败」

作者以「复制末帧」（即预测画面不变）作为最朴素的基线，在 SO-101 机械臂的 30 fps、三机位录制视频上做 64 次 rollout，仅在运动区域评分：

整体 SSIM = 0.983，PSNR = 53.9 dB；
但逐步观察时，SSIM 在 1–6 步之间分别为 0.972 / 0.923 / 0.893 / 0.943 / 0.920 / 0.950，几乎不随预测步长退化。

这意味着：只要场景变化幅度相对于帧率较慢，基线本身就「几乎全对」，真正有意义的预测反而难以被指标捕捉到。她强调，指标本身在受控数据上仍能通过排序测试，问题在于评估设置缺乏判别力。

在 DROID 上测量真正的「可用窗口」

为了找到指标仍能区分模型的步长区间，作者把同一基线放在 DROID 真实操作数据集（15 fps）上推到 48 步。结果呈三段式：

步 1–3：所有模型几乎并列，指标接近饱和；
步 4–24：SSIM 单调衰减（从 0.446 跌到 0.260），是模型之间唯一可分的区段；
步 28 之后：SSIM 在 0.20 附近、PSNR 在 10.3 dB 附近震荡，预测与真值完全去相关，再次全员并列。

她据此得出：对这类帧率 / 任务节奏的素材，「8–24 步」是评估世界模型预测质量的合理窗口，并强调这一数值取决于帧率乘以任务速度，因数据集而异，不应照搬论文默认值。

方法与统计

实验统一采用 64 次 rollout，聚合方式遵循 Agarwal et al. 2021，使用四分位均值（IQM）配合分层自助法（stratified bootstrap）置信区间，而非传统的均值 ± 标准差。所有像素指标都同时给出运动区域掩码版本，并为每个指标附带两类自检：

corruption test：指标必须对人工退化有响应；
ranking test：一个真实模型应击败朴素基线，而朴素基线应击败一个故意损坏的模型。

作者还提醒样本量的影响：在 SO-101 数据上，n = 8 时动态 PSNR 为 48.2 dB，置信区间宽到与 DROID 重叠；n = 64 才得到 53.9 dB。若停在 n = 8，结论会失真。

局限与作者标注的开放问题

LPIPS 在两种数据集之间未能给出非重叠置信区间，且在掩码版本上指向与 PSNR/SSIM 相反的方向，作者尚未给出干净解释。
「8–24 步」是「不做任何预测」的基线开始能被分开的区间；真实模型相关性衰减更慢，会把上界往后推，但具体上界未测。
把第 0 步纳入平均会显著抬升整体标量：30 fps 录制的 step 0 PSNR 高达 119.8 dB，把均值从约 32 dB 拉到 53.9 dB，使标量在奖励「帧率」而非「模型质量」。作者认为应优先报告曲线而非标量，并把标量定义列为该工具自身的待解决问题。

工具说明

许可证：Apache-2.0；安装方式：pip install worldproof。
核心依赖仅 numpy、torch、pillow，可在无 GPU 笔记本上运行（评估路径不调用任何模型推理）。
数据接口：直接读取 LeRobotDataset v3.0 的 parquet 与 mp4，可在不安装 lerobot 包的情况下加载 Hugging Face Hub 上的数据集；Python 3.10。
度量范围：PSNR / SSIM / LPIPS（含动态区域版本）、潜空间预测误差与动作可恢复性、ECE 与 MCE 校准、反事实散度、失败保真度、物体计数守恒与物体永久性、FVD（被显式标注为弱参考而非主指标）。
已知限制：场景跟踪器是 numpy 实现的简化版，难以处理杂乱真实视频；默认 FVD 抽取器并非发表 FVD 数值所用的 I3D，因此与论文数值不可直接比较。

项目地址：github.com/BuceaGeorgia/worldproof（当前 v0.1，README 中保留了「Not done yet」清单）。作者表示，如果「像素指标在某些区间无法排序世界模型」这一现象已在既有文献中被定量报告过，欢迎告知，以便修正自身结论。