开源
dots3-note 开源权重亮相：280B MoE 多模态模型
llama.cpp 仓库新增 dots3-note 模型支持，为 dots3 系列首个开放权重的 MoE 模型，总参 2…
2026.08.22 · 周六约 2 分钟阅读
开源大模型推理框架 llama.cpp 近日合并了一项新增模型支持的 PR，正式加入对 dots3-note 模型的解析与运行能力。dots3-note 是 dots3 家族首个开放权重的预览版本，采用 Mixture-of-Experts（MoE）架构，总参数量达 280B，每次推理激活 16B 参数，原生支持最长 512K tokens 的上下文窗口，并在输入端具备文本、图像、视频与音频的多模态理解能力，输出仍以文本形式给出。
模型规格要点
- 架构：Mixture-of-Experts（MoE）
- 总参数：280B
- 激活参数：16B
- 最大上下文：512K tokens
- 输入模态：文本、图像、视频、音频
- 输出模态：文本
多模态与长上下文能力
dots3-note 在模型卡层面被标注为多模态模型，覆盖文、图、音、视四类输入，是目前同体量开源权重中支持模态较为齐全的一类。其 512K tokens 的上下文窗口也使其在长文档摘要、长代码库理解与多轮对话场景中具备一定适用空间。需要注意的是，该模型目前为预览版本，权重为首次开放，后续版本与评测数据尚未在本次 PR 中披露。
部署支持
随着该 PR 合并至 ggml-org/llama.cpp 主仓库，开发者可直接使用最新版本的 llama.cpp 在本地加载并推理 dots3-note 权重，无需额外适配层。结合 MoE 架构仅激活 16B 参数的设计，模型在单卡或少量高显存设备上的实际推理开销有望显著低于其总参数规模所暗示的水平，便于社区进行二次评测、微调与下游任务验证。