腾讯 Hy3 正式开源：295B MoE 推理与智能体模型

腾讯混元（Tencent Hy）团队正式开源 Hy3 模型。这是一款 295B 参数的混合专家（MoE）大模型，每次推理激活 21B 参数，主打推理与智能体（Agent）能力。官方称其在多项任务上超越同规模开源模型，并可比肩参数量为自身 2–5 倍的旗舰开源模型。Hy3 是 4 月底 Hy3 Preview 之后基于 50 余款产品反馈、扩大后训练规模推出的完整版本。

模型规格

Hy3 采用 MoE 架构，总参数量 295B，激活参数量 21B，外加 3.8B 的 MTP（Multi-Token Prediction）层参数，具体配置如下：

• 架构：混合专家（MoE），共 192 个专家，top-8 激活
• 层数：80（不含 MTP 层），MTP 层 1 层
• 注意力：64 头，GQA，8 个 KV 头，头维度 128
• 隐藏维度：4096，中间层维度 13312
• 上下文长度：256K
• 词表大小：120832
• 支持精度：BF16

模型权重已在 Hugging Face、ModelScope、GitCode、CNB 同步开源，并同步发布 FP8 量化版本 Hy3-FP8。

智能体与生产力能力

相较 Hy3 Preview，团队在更高质量的后训练数据上做了扩展，并放大了强化学习训练规模。Hy3 在推理、智能体、长上下文任务上均取得明显进步，在编码、办公、金融建模、前端设计、游戏开发等生产力场景表现突出。

官方认为公开 benchmark 无法完整反映模型价值，因此邀请 270 位专家进行盲评，使用其日常工作中的真实任务：

• Hy3 平均得分 2.67/4
• GLM-5.1 平均得分 2.51/4
• 优势最显著的领域为前端开发、数据与存储、CI/CD

可靠性改进

基于产品反馈，Hy3 重点修复了三类稳定性问题：

• 工具调用与输出格式：在 CodeBuddy、Cline、KiloCode 等多种脚手架下，SWE-Bench Verified 上的准确率波动控制在 4% 以内，达到生产可用标准。
• 知识与防幻觉：通过细粒度数据清洗与训练约束，内部实测中幻觉率从 12.5% 降至 5.4%，常识错误率从 25.4% 降至 12.7%。
• 多轮上下文保持：经 SFT 与 RL 联合优化，复杂多轮对话的问题率从 17.4% 降至 7.9%，在 MRCR 等长对话评测上亦有明显提升，长程交互中的意图衰减与漂移得到缓解。

部署与推理

Hy3 推荐使用 vLLM 或 SGLang 部署，二者均提供官方配方。8 卡环境下建议使用 H20-3e 等大显存 GPU，可启用 MTP 推测解码（num_speculative_tokens=2）以加速推理。模型对外提供 OpenAI 兼容 API，调用时可通过 reasoning_effort 参数在「no_think」（直接回答）、低强度与「high」（深度思维链）之间切换；推荐参数为 temperature=0.9、top_p=1.0。