ISTA-DASLab 发布 Qwen3.8-27B 最优 GGUF 量化

ISTA-DASLab（ISTA Deep Algorithms and Systems Lab）发布了针对 Qwen3.8-27B 的最新 GGUF 量化版本，采用其自研的 GSQ 与 RCO 两项新技术，在 2.50–3.00 bpw 的低比特率下声称达到了该模型同尺寸下的最优精度。

量化方法：GSQ + RCO

本次发布将两项方法联合使用：

• GSQ（Gumbel-Softmax Quantization）：一种训练后标量量化方法，联合学习网格分配与缩放因子，在 2–3 比特区间内大幅缩小标量与矢量量化之间的精度差距，并保持 GGUF 格式兼容。
• RCO（黎曼约束优化）：在严格的体积预算下，通过梯度下降直接在任务损失上为每个张量分配最合适的量化类型，无需逐约束调参。

发布内容

实验室一次性放出三个 GGUF 文件，外加视觉投影器（vision projector）：

• 2.50 bpw（约 8.4 GB）
• 2.75 bpw（约 9.3 GB）
• 3.00 bpw（约 10.1 GB）

量化后的模型可直接在 llama.cpp、Ollama、LM Studio 等主流本地推理框架中加载运行，无需任何代码改动。

基准表现

实验室称，与 BF16 基线以及 Unsloth Dynamic（UD）量化方案相比，这批 GGUF 在所评估的体积下均匹配或超越最强的现有量化结果：

• 3.00 bpw（10.1 GB）：AIME25 取得 100.00 分（与 BF16 持平），GPQA-Diamond 为 88.89（基线 89.90），LiveCodeBench v6 为 84.57（基线 85.71），差距均在 1 分以内。
• 2.75 bpw（9.3 GB）：AIME25 仍为 100.00；零样本平均得分 75.70，反而略高于 BF16 基线的 74.34。
• 同体积（约 8.4 GB）对比：相对 UD-IQ2_S，AIME25 提升 10.0 分、GPQA-Diamond 提升 8.6 分、LiveCodeBench 提升 4.6 分。

完整对照表与各基准曲线已发布在模型卡片中。

后续计划

ISTA-DASLab 表示这是「系列发布」的首款，后续会陆续为更多模型家族提供 SOTA 级 GGUF 量化，并欢迎社区对模型选择、合作实验的反馈。

相关链接

• 模型：https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF
• GSQ 论文：https://arxiv.org/abs/2604.18556 ｜ 代码：https://github.com/IST-DASLab/GSQ
• RCO 论文：https://arxiv.org/abs/2605.00649 ｜ 代码：https://github.com/IST-DASLab/RCO