ZML 发布跨平台 LLM 推理服务器 LLMD

ZML 近日发布了自研推理服务器 ZML/LLMD 的 alpha 版本，定位是一款自包含、可在 5 种硬件架构上透明运行主流大模型的推理服务。不同于多数推理框架只支持单一厂商硬件，ZML/LLMD 在同一套 API 下同时覆盖 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 与 Apple Metal，适合需要在异构环境中统一部署的团队。

核心特性与已支持模型

ZML/LLMD 具备现代推理服务常见能力，包括连续批处理（continuous batching）、Paged Attention、张量并行切分、前缀缓存（prefix caching）以及工具调用（tool calling），且所有特性在 5 个平台上行为一致。指标以 Prometheus 格式通过 /metrics 端点暴露，便于接入现有可观测性栈。

首发 alpha 已支持以下模型系列：

• Qwen 2、3、3.5、3.6（含 dense 与 MoE）
• Gemma 3、4（含 dense 与 MoE）
• LFM2.5 系列
• Mistral 3 与 Ministral 系列
• LLaMa 2、3 系列

官方透露 DeepSeek、Kimi、GLM、MiniMax、StepFun 等模型将在后续版本中加入。

存储与生态集成

ZML/LLMD 基于 ZML 自有 ML 框架构建，原生挂载 VFS 子系统，可通过 hf://、s3://、gs:// 前缀直接从 HuggingFace、S3、GCS 零拷贝加载模型权重，省去预先下载步骤，并支持各后端标准的环境变量与凭据路径鉴权。

部署形态上，官方针对每个平台预构建了精简的 Docker 镜像，CUDA 版约 1.7 GB，ROCm 版约 3.9 GB，TPU 版仅 280 MB，oneAPI 版 350 MB，Metal 版则通过 Homebrew 分发 140 MB。CUDA 镜像内置 CUDA Compatibility 层，可自动适配较老驱动版本，无需系统级安装。

DFlash 投机解码与性能

LLMD alpha 在 Gemma 4 系列上内置了 DFlash 投机解码支持，官方称在支持的模型上 tok/s/user 可提升最高 10 倍，后续将扩展到 Qwen 系列。DFlash 由 Z-Lab 发布，可作为 draft 模型搭配主模型启动。

官方公布的 Gemma 4 26B/31B 与 Qwen3.6 27B 在不同硬件上的吞吐数据节选（batch size 标注于表头）：

• Gemma-4-26B-A4B-it，bs=16：H100×2 总吞吐约 1318 tok/s；MI300X 约 859 tok/s；Intel B70×2 约 179 tok/s；M3 Max 约 110 tok/s。
• Gemma-4-31B-it + DFlash，bs=16：TPU v6e×4 约 944 tok/s；MI300X 约 732 tok/s。
• Qwen3.6-27B，bs=8（M3 Max）：约 33.5 tok/s，TTFT 中位约 6.4 秒，ITL 中位约 184 ms。

从数字看，H100 与 MI300X 在大批次下仍领先消费级 GPU 较大幅度，DFlash 在 TPU 上能将吞吐提升到接近同档 GPU 的水平。

技术栈与并行策略

ZML/LLMD 跑在 ZML 自家 ML 框架之上，底层使用 Zig、MLIR 与 OpenXLA，按 AOT 编译为单一独立产物，热路径上不发生隐式编译，延迟曲线因此更平坦。框架采用显式编译 pass 模型，方便在多平台间复用同一套优化。

并行方面，alpha 版本已支持张量并行与专家并行，模型会自动分片到多卡并透明处理卡间通信；pipeline parallelism 等更细粒度的并行控制被列入近期路线图。