社区为新模型 Ornith 1.5 提供量化版本并发布对比数据

Reddit 社区 r/LocalLLaMA 上，用户「Fun-Meaning-6474」宣布为 Ornith Lab 近日发布的 Ornith 1.5 系列模型制作了「Atomic Dynamic（AD）」量化版本，并发布与 llama.cpp 官方量化版本的对比数据。作者在文末注明自己是 AtomicChat 的联合创始人。

关于 Ornith 1.5 模型

据发帖者介绍，Ornith Lab 此次发布了三款模型：

9B 稠密参数规模，带视觉能力（vision）；
35B-A3B 的 MoE 架构；
397B 的大模型版本（本次未做量化）。

据称所有版本均以 MIT 协议开源，并采用一种「自生成训练任务」的训练循环。作者未给出论文或官方发布链接的细节，模型的知名度与社区关注度均较低。

量化与对比方法

发帖者为 9B 模型制作了 14 个 AD 量化版本，为 35B-A3B 制作了 13 个版本，均在 Hugging Face 的 AtomicChat 集合页公开，包含 imatrix、per-tensor 布局等文件。评测方式是：以发帖者自己生成的 BF16 参考实现为基准，对比官方 llama.cpp Q8_0、Q5_K_M、Q4_K_M 等量化版本与 AD 系列量化版本的 mean KLD（KL 散度均值）和 top-1 精度。

主要数据

Ornith-1.5-9B

Q8_0：9.53 GB，mean KLD = 0.0022，top-1 = 97.94%
AD-Q8_0-Q6_K：8.55 GB，mean KLD = 0.0035，top-1 = 97.46%
Q5_K_M：6.47 GB，mean KLD = 0.0299，top-1 = 92.80%
AD-Q5_K-Q4_K：5.93 GB，mean KLD = 0.0255，top-1 = 93.10%
AD-Q4_K-IQ4_XS：5.61 GB，mean KLD = 0.0344，top-1 = 91.93%
AD-IQ3_S-IQ3_XXS：4.29 GB，mean KLD = 0.1441，top-1 = 83.44%

Ornith-1.5-35B-A3B

Q6_K：28.51 GB，mean KLD = 0.0167，top-1 = 94.63%
AD-Q6_K-Q5_K：26.25 GB，mean KLD = 0.0158，top-1 = 94.85%
Q5_K_M：24.73 GB，mean KLD = 0.0269，top-1 = 93.31%
AD-Q5_K-Q4_K：22.14 GB，mean KLD = 0.0251，top-1 = 93.52%
Q4_K_M：21.17 GB，mean KLD = 0.0477，top-1 = 91.01%
AD-Q4_K-IQ4_XS：20.13 GB，mean KLD = 0.0315，top-1 = 92.71%

在文件大小相近的档位上，AD 量化版本的 KLD 通常略低于对应的官方量化，top-1 略有提升，但优势幅度有限，且发帖者未与其他独立基准（如 perplexity、MMLU 等）进行交叉验证。

局限与说明

Ornith Lab 并非主流厂商，模型背景信息较少，缺乏官方技术报告或论文佐证；
评测完全由发帖者自行完成，未公布可复现脚本，外部校验难度较高；
文末带有产品链接（atomic.chat），带有一定的自我推广性质。

如需使用，建议先在 BF16 参考下独立验证关键 benchmark，再决定量化档位。