PRX 数据策略全公开：Hugging Face 详解 7B 图像生成模型的预训练数据构建

Hugging Face 的 PRX 系列文章进入第 4 篇，这次把镜头对准「数据」——团队认为它是 PRX 质量背后最不耀眼却最关键的一环。文章系统披露了 7B 图像生成模型 PRX 预训练数据的来源、重写标注、存储格式与编码策略，并复盘了若干事后才看清的取舍。

核心原则：以广度为先

团队围绕三件事展开。其一是「广度胜过完美」：预训练阶段模型在学习世界的视觉构成——物体、场景、构图与光照——这是一道覆盖与多样性的题，而非单图精修的题。过度按美学过滤会收窄分布，丢掉模型事后难以找回的概念与组合多样性，抛光外观则交给后期精调与偏好对齐。其二是「站在既有筛选之上」：直接混用已做完质量过滤、去重与 NSFW / 个人信息清洗的公开数据集与内部数据，而非从零重建——务实、起步轻量，足以支撑 7B 规模预训练。其三是「长且忠实的图像描述」：由 VLM 对图像重写描述，这一点在系列第 2 篇中已验证显著优于短描述；只要描述忠实，截图、广告、Logo 等「噪音」反而成为模型学到的、可被条件化控制的属性。

数据格式：Lance 构建，MDS 训练

格式上走「双轨」：Mosaic Streaming / MDS 负责分布式训练流式读取，能直接对接 S3、GCS 并自由混洗来源，但改一列就要全量重写；Lance 是列式格式，自带廉价谓词下推、标量索引与向量检索，更适合做子集筛选与特征工程。两者的关系被团队概括为「Lance 来构建，MDS 来训练」。

文本潜变量与图像编码

文本编码器从 T5Gemma 换成了 Qwen3-VL，这次不再预先离线计算文本潜变量，而是把编码放进训练循环内。团队实测吞吐开销仅约 3–4%（约相当于 30 天训练多出 1 天），换来的是 MDS 分片大幅缩小，可整体放进 SLURM 集群 SSD 共享文件系统，并保留随时更换文本编码器的灵活性。图像侧统一以 JPEG 质量 92 编码，且并非凭直觉设定——团队对真实图像反复解码再编码测试：1–2 MP 与 0.25–0.5 MP 的素材在第一次重编码后几乎不可感知，再后续逐轮的损失也有限，因此在容量与画质之间取得可接受平衡。