mistral.rs v0.9.0 发布：CPU 解码速度较 llama.cpp 最高提升 1.8 倍

本地大模型推理引擎 mistral.rs 近日发布 v0.9.0 版本，项目维护者 Eric Buehler 在 Reddit r/LocalLLaMA 板块公布了一组针对 CPU 解码性能的对比基准。官方数据显示，在 Qwen3 4B Q4_K 模型上，mistral.rs 在 x86（Intel Sapphire Rapids）与 ARM（NVIDIA GB10）两种平台上、各上下文深度下均优于主流推理引擎 llama.cpp，最高加速比达到 1.8 倍。

性能基准概况

维护者表示，为保证对比结果对双方引擎都尽可能公平，团队对 mistral.rs 与 llama.cpp 都做了配置扫描，并在每个测试点选取各自的最优配置进行对比。测试覆盖：

• 模型：Qwen3 4B（Q4_K 量化）
• 硬件：x86 Sapphire Rapids、ARM GB10
• 指标：各上下文深度下的解码速度

结果显示，mistral.rs 在所有被测上下文深度上均领先 llama.cpp。完整的基准表格、方法论说明以及复现脚本已发布在项目 GitHub 仓库的 release 报告页面。

优化范围与适配平台

mistral.rs 的优化在多个层级展开，旨在为各种模型带来通用加速，而非仅针对特定架构。优化覆盖的 CPU 范围较广：

• x86：支持 AVX2 与 AVX512 指令集
• ARM：支持 NEON 指令集

这意味着从消费级处理器到数据中心 CPU 都能受益。

安装与使用

新版本安装流程较为简便，官方提供了 macOS/Linux 与 Windows 一键安装脚本。安装完成后，用户可直接通过 Hugging Face 上的 ISQ（即时量化）系统运行多种主流模型，例如 Qwen 3.5/3.6、Gemma 4、LFM 2.5 等，并支持在运行时选择量化精度。

维护者表示，欢迎社区在未参与直接基准测试的硬件平台上进行复现，以进一步验证加速效果与适用场景。