桃子桃子快讯
返回首页
开源

openPangu-2.0-Flash 接入 ik_llama.cpp,提供 GGUF 本地推理支持

社区 PR 将 92B-A6B 的 openPangu-2.0-Flash 模型接入 ik_llama.cpp,支持 5…

2026.07.19 · 周日2 分钟阅读

ik_llama.cpp(llama.cpp 的一个社区分支)近日提交了一条 PR,新增对 openPangu-2.0-Flash 模型的支持。该模型参数规模为 92B-A6B(即总参数量 92B、激活参数约 6B 的 MoE 架构),原生上下文长度达 512K,社区已同步发布对应的 GGUF 量化文件,方便本地部署。

模型基本信息

根据 PR 描述与 Hugging Face 模型卡,openPangu-2.0-Flash 由社区账号 openpangu 发布,仓库中提供了英文 README(README_EN.md)。开发者 joelfarthing 同步在 HF 上传了适配 ik_llama.cpp 的 GGUF 文件(openPangu-2.0-Flash-ik-llama-GGUF),供本地推理用户直接下载使用。

技术特性

PR 标题列出了该模型在推理端的几项关键特性:

  • MLA-latent cache:基于多头潜在注意力(Multi-Latent Attention)的缓存机制,可显著降低长上下文下的 KV 显存占用。
  • DSA / SWA:结合 DeepSeek 风格的稀疏注意力与滑动窗口注意力,用于优化长序列推理效率。
  • mHC:多 Head 压缩(multi-Head Compression)机制,用于进一步压缩 attention 状态。
  • multi-head MTP:多头多 Token 预测(Multi-Token Prediction),可一次生成多个 token,提升推理吞吐。

社区动态

该 PR 由 Reddit 用户 pmttyji 在 r/LocalLLaMA 板块发布,目的是通知本地推理社区该模型已在 ik_llama.cpp 中可用。由于原帖正文信息较为有限,具体推理速度、显存占用与量化档位的对比数据尚未披露,社区可关注后续 PR 进展与讨论区反馈以获取更多实测信息。

信源