桃子桃子快讯
返回首页
开源

Qwen3.8-27B 权重上线 Hugging Face,社区整理量化与适配

Qwen 团队在 Hugging Face 发布 Qwen3.8-27B 权重,社区快速跟进 GGUF、MLX 等量化与…

2026.08.15 · 周六2 分钟阅读

阿里巴巴 Qwen 团队在 Hugging Face 平台上线了 Qwen3.8-27B 模型权重,提供基础版与 FP8 量化版两个官方仓库。消息最先由 r/LocalLLaMA 社区以 megathread 形式整理,汇总了发布当天的量化、适配与讨论链接,便于用户集中获取资源。

官方权重版本

官方仓库目前提供两个核心文件:

  • Qwen/Qwen3.8-27B:完整 BF16 权重
  • Qwen/Qwen3.8-27B-FP8:FP8 精度版本,便于在支持的硬件上降低显存占用

相比 Qwen3 系列此前已知的尺寸档位,27B 这一规格属于新增档位,社区对参数规模、上下文长度、训练数据等具体细节仍在跟进中,官方模型卡暂未在原帖中披露更多技术指标。

社区量化与格式适配

发布当日,社区已快速产出多个适配本地推理的版本:

  • unsloth/Qwen3.8-27B-GGUF
  • bartowski/Qwen3.8-27B-GGUF
  • mlx-community/Qwen3.8-27B-MTP-bf16
  • mlx-community/Qwen3.8-27B-MTP-8bit
  • mlx-community/Qwen3.8-27B-MTP-4bit

上述仓库覆盖了 llama.cpp 生态(GGUF)与 Apple Silicon 的 MLX 框架,方便用户在 CPU、Apple 芯片及主流 GPU 上进行本地部署。

后续讨论方向

megathread 中预留了若干分区,用于集中收纳后续内容:

  • Quants:更多量化版本
  • Fine-Tunes & Abliterations:微调与去对齐变体
  • Chat Templates:对话模板配置
  • Inference Server Support & Configuration:推理服务端配置
  • Experiences, Benchmarks & Model Comparisons:使用体验、基准测试与模型对比

目前原帖未提供任何 benchmark 数据或能力对比,模型的实测表现仍需等待社区补充。建议关注官方模型卡更新以及后续的评测汇总,以获取完整的性能与适用场景信息。

信源