Squish：面向 Apple Silicon 的本地 LLM 推理服务器

开发者近日发布了一款名为 Squish 的本地大语言模型推理服务器，专为 Apple Silicon（M 系列芯片）打造，运行依赖 macOS 13 及以上系统。根据作者在 Hacker News 上发布的实测数据，Squish 在不同提示词重复率场景下，速度可达 Ollama 的 1.15 到 14.7 倍。

缘起：从 API 限速到自建推理引擎

作者最初使用 Gemini API 为本地脚本自动生成 Git 提交说明，但免费额度每天都会触发速率限制。随后尝试在本地通过 Ollama 运行 Mistral 模型，却发现存在两个瓶颈：一是首次请求冷启动需要 20 到 30 秒加载权重；二是每一次新请求都要重建 KV 缓存，单次提交消息的端到端耗时在 7 到 10 秒，大型差异（diff）甚至超过一分钟，无法满足「5 秒以内、最好 3 秒以内」的目标。作者经过一个多月的尝试，认为只能自建一套轻量且快速的推理服务，于是有了 Squish。

技术架构：五个组件构成核心

Squish 本身不是模型，而是一套围绕 MLX 的本地推理框架，包含量化压缩、本地化内存格式与五个关键架构组件：

• 持久化守护进程：模型在守护进程启动时一次性加载并常驻内存，避免 Ollama 那种空闲后自动卸载、每次请求都重新加载的冷启动开销。
• 双层 KV 缓存：第一层是精确匹配的提示词缓存，命中时首个 token 返回时间（TTFT）可降至 4 到 11 毫秒，相比之下从零重建预填（prefill）约 800 毫秒；第二层是基于磁盘固定大小分块的缓存，能识别部分重叠的提示词，凡是已计算过的分块会被复用，适合智能体循环或多轮对话等场景。
• INT3 量化：在 Apple Silicon 上，生成每个 token 的瓶颈不在计算，而在权重从内存搬运；将参数量化到三位精度（INT3）能显著降低数据搬运量，从而提升每秒 token 数，但精度损失风险也随之放大，作者只在部分模型上验证可行。
• 内存治理机制：按层级监控统一内存使用，优先温和收缩缓存，必要时才采取激进策略，仅在压力极端时才拒绝新任务，权重始终保持驻留。

性能对比与适用边界

• 加速区间：作者给出的整体加速比为 1.15 到 14.7 倍，上限对应提示词高度复用（如长时间会话或智能体反复提交相同长系统提示词）的场景，下限则是几乎无复用的冷请求。
• 平台限制：仅支持搭载 Apple Silicon 的 Mac，且需要 macOS 13（Ventura）或更新系统；Intel Mac、Linux 与 Windows 用户无法使用，对应性能数字也不适用于这些平台。
• 自定义空间：项目以开源形式发布，用户可以克隆、修改或拆解源码以便本地适配或实验。

对希望在 Mac 上获得稳定、低延迟本地大模型推理体验，又不愿被云端速率限制约束的开发者而言，Squish 提供了一条值得尝试的路径；但其 INT3 量化的适用范围、KV 缓存命中率对实际体验的影响，仍需更多硬件与模型组合下的独立基准来验证。