A.X K2 大型稀疏 MoE 模型登陆 Hugging Face

一款名为 A.X K2 的大规模稀疏 MoE 模型近日出现在 Hugging Face 平台，据原始推文披露，其总参数量为 688B、激活参数量为 33B，定位为「Large-Scale Sparse MoE」。

模型基本信息

根据目前可获得的公开信息，A.X K2 采用稀疏 Mixture-of-Experts 架构，总参数 688B，单次推理激活 33B。这意味着模型在保持极大规模的同时，将单次前向计算的算力开销控制在与中小稠密模型相当的水平，是典型的大容量、低激活 MoE 路线。

• 总参数：688B
• 激活参数：33B
• 架构：稀疏 MoE（Large-Scale Sparse MoE）
• 托管平台：Hugging Face

已知信息与局限

目前该模型仅由一条 X（Twitter）帖文进行披露，未附带官方技术博客、论文、模型卡详情或评测数据。Hugging Face 页面链接已在原帖给出，但本页编辑成稿时无法读取页面具体内容，因此模型的训练语料、上下文长度、许可证类型、是否支持多模态等关键信息尚不可知。

关注点

对于开源社区而言，600B 量级以上的 MoE 开源权重较为稀缺，A.X K2 若正式开放下载权重并附带可用的模型卡与推理示例，有望成为本地部署与学术研究的重要选项。建议开发者与研究者关注以下后续动向：

• 官方仓库或模型卡是否补充完整技术细节与许可证
• 是否同步发布评测基准（benchmark）成绩
• 推理端对显存与算力的实际要求

由于当前一手信息极为有限，本文仅就已公开的参数规模与托管平台进行整理，更多细节有待官方进一步披露后再行补充。