NVIDIA Nemotron：开放合成数据如何驱动 AI 智能体

NVIDIA 在其 Nemotron 开放数据体系中，反复强调一个观点：构建真正可用的 AI 智能体（agent），不能只靠模型权重，还要靠开放、可检视的训练数据。智能体不仅需要调用工具，还必须在陌生 API 报错、未知工作流等现实场景中具备恢复能力，而这背后本质上是数据问题——软件工程轨迹、工具调用失败、多步推理、检索、安全、用户模拟、工作流执行，乃至物理世界交互，都离不开高质量、可解释的训练数据。

为什么只有模型权重不够

公开模型权重固然重要，但智能体的行为同样取决于训练数据、清洗策略、训练配方与评测方法。NVIDIA 在 ICML 2025 上获得近 145 篇论文引用其模型与数据集，Nemotron 系列已形成初步生态：

• Nemotron-CC：利用合成数据增强 Common Crawl，用于预训练。
• Nemotron-MATH：通过合成数学题目提升推理能力。
• Nemotron-CLIMB：包含专门的合成代码数据。

这些数据集的目标，是让智能体的工具调用、工作流执行、检索与跨系统行为变得可检视、可解释。

合成数据：保护企业「秘密」的折中方案

NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 提出了一个观察：每家公司都围绕一个「秘密」构建——独有的工作流、数据语料或客户行为模式。这些秘密让 AI 真正有用，但企业不应轻易直接暴露。合成数据提供了一种保留有用信号、同时隐藏原始来源的方式。

当所有模型都从同一片狭窄的数据池中学习，模型趋同也就不足为奇。而最有价值的数据，往往锁在无法或不愿公开发布的组织内部。以开源形式发布的合成数据，被视为改变这一博弈格局的途径之一。

Nemotron 数据全景：Prompt Atlas

截至目前，Nemotron 已发布超过 10 万亿预训练 tokens 和数百万条后训练样本，覆盖多种领域与数据形态，规模庞大但难以直观理解。为此，NVIDIA 推出了 Nemotron Post-Training v3 Prompt Atlas：一个交互式可视化地图，每个点代表一条 prompt 样本，按数据混合的真实比例进行体量采样。

地图支持按数据集、流水线阶段、领域或工具调用类型进行颜色叠加与筛选。语义相近的 prompt 会自然聚类，因此开发者可以放大到某一区域（如代码算法、安全、数学、智能体行为），检视代表性样本，并据此进行数据筛选、构建评测，或理解模型行为成因。

Nemotron-Personas：本地化的数据质量

数据质量往往不是普适的，而是「本地化」的。一个用英语互联网数据训练的有害内容分类器，可能漏掉韩语或日语中以礼貌程度而非明显用词表达的攻击。NVIDIA 通过 NeMo Data Designer 构建了 Nemotron-Personas：一套在本地语境下生成的合成人物数据集，力求反映各地区人口与地理统计的多样性。

其目标并非还原真实个体，而是帮助开发者检验系统是否真正覆盖了所宣称服务的用户、语言、地区与职业群体。上个月在巴黎 VivaTech 大会上，Nemotron-Personas 发布了第十个国家的数据，目前总计代表超过 24 亿人口。

「合成阈值」与数据治理

文章最后提出「合成阈值」（synthetic thresholds）的概念：当数据不再能被简单视为「真实」时所处的临界点。真实工作流、人工反馈、模型生成的轨迹、模拟用户与合成标签之间往往相互交织，处理方式不应是把合成数据当作完全虚假或无害，而是要明确记录：什么内容是生成的、什么内容有真实数据支撑、什么经过人工审核，以及数据意图测试什么。随着 AI 系统越来越依赖多源混合数据，建立清晰的谱系、人工判断与评测流程，正成为开放数据生态能否持续可信的关键。