桃子桃子快讯
返回首页
开源

dots3 家族首发开放权重预览模型:280B 总参数、16B 激活

dots3-note preview 作为 dots3 家族首个开放权重模型,采用 MoE 架构,支持 512K 上下文…

2026.08.14 · 周五2 分钟阅读

dots3 家族首个开放权重(open weight)预览模型「dots3-note preview」正式上线 Hugging Face。该模型采用混合专家(Mixture-of-Experts, MoE)架构,总参数量为 280B,每次推理激活 16B 参数,并支持最长 512K tokens 的上下文窗口,是家族中定位最轻量、面向能力与推理成本权衡的成员。

模型架构与基础规格

dots3-note preview 是 dots3 家族中首个开放权重的版本,整体架构采用 MoE 设计:

  • 总参数:280B
  • 激活参数:16B
  • 上下文长度:最高 512K tokens
  • 模态支持:可理解文本、图像、视频与音频,输出文本

相比动辄全参数激活的稠密大模型,16B 激活意味着推理时的算力开销显著降低,社区可在更友好的硬件条件下运行该模型。

能力范围

根据官方说明,dots3-note preview 针对多类任务做了优化,覆盖范围较为广泛:

  • 通用知识与指令遵循
  • 数学与逻辑推理
  • 工具调用与多步智能体(agent)工作流
  • 需要探索、记忆更新与自适应能力的交互任务
  • 代码生成与基于代码的问题求解
  • 图像、文档、图表、音频与视频理解
  • 超长上下文信息处理

其中,长上下文与多模态理解是该模型的两大亮点。512K 窗口使其能够处理整本书、长代码库或多轮长对话;多模态输入则让它可同时解析图像、音频、视频与文档结构。

家族定位与后续展望

dots3 家族被设计为一组在能力、延迟与推理成本之间具有不同权衡取舍的模型,dots3-note preview 是其中最轻量的成员。这意味着后续家族内有望推出更强大或更专注的版本,社区可以基于这一预览版先行评估其多模态与长上下文表现。

作为开放权重模型,dots3-note preview 的发布为开源与开放权重生态新增了一个具备多模态与超长上下文能力的选项,研究者与开发者可在 Hugging Face 上直接获取权重进行本地推理与微调实验。

信源