腾讯开源大模型 Hy4 Preview：770B 参数 MoE，支持百万级上下文

腾讯近日发布了一款名为 Hy4 Preview 的新一代开源权重大模型，采用 Apache License 2.0 协议开放权重。Hy4 Preview 被定位为腾讯的旗舰级 MoE 模型，在参数规模和上下文能力上均达到了当前开源大模型的前列水平。

模型规模与架构

根据公开信息，Hy4 Preview 总参数量达到 770B，单次推理激活参数为 49B，属于典型的「稀疏激活」MoE 架构设计。这一参数组合意味着模型在保持庞大知识容量的同时，能够通过稀疏激活机制控制单次推理的计算开销，从而在性能与成本之间取得平衡。

• 总参数：770B
• 激活参数：49B
• 架构：Mixture-of-Experts（MoE）

上下文能力

Hy4 Preview 配备了 100 万（1M）token 的上下文窗口，这使其在长文档理解、代码库级分析、多轮对话等需要长时间记忆的场景中具备明显优势。百万级上下文在当前主流开源模型中仍属较高配置，能够显著扩展模型在 RAG、长文档摘要等任务中的实用边界。

开源协议与意义

Hy4 Preview 以 Apache License 2.0 协议发布权重，对商业使用较为友好。相比部分开源模型所采用的仅限研究用途协议，Apache 2.0 允许企业在遵守协议条款的前提下进行二次开发和商业部署，降低了企业在本地化、私有化部署中的法律门槛。

后续关注点

目前公开披露的信息仍以核心规格为主，模型的 benchmark 表现、推理性能、训练数据构成以及正式版本发布时间等细节尚有待官方进一步说明。后续可重点关注以下几个方向：

• 官方是否发布完整技术报告与 benchmark 数据
• 推理框架（如 vLLM、SGLang、TensorRT-LLM 等）的适配进度
• 与同类开源 MoE 模型（如 DeepSeek、Qwen 等）的横向对比