Gepard 1.0 开源：主打实时对话的流式 TTS 模型

一支团队在 Reddit r/LocalLLaMA 上开源了 Gepard 1.0，这是一款以「流式优先」为设计目标的文本转语音（TTS）模型，主打实时对话场景，首个音频片段可在文本到达的瞬间开始生成，无需等待完整句子。模型采用 Apache 2.0 协议发布，配套提供了 Hugging Face 模型页面、推理代码、vLLM 服务化（兼容 Cartesia API 接口）以及训练代码，供社区直接部署或二次开发。

模型架构与规模

Gepard 1.0 总参数约 5.55 亿，主体由两层组件拼接而成：

骨干语言模型：Qwen3 0.8B，保留其中 14 层用于文本侧处理；
音频编解码器：Nemo NanoCodec，基于 FSQ（Finite Scalar Quantization），采样率 22.05 kHz。

这种「小 LLM + 神经声码器」的组合在当前开源 TTS 路线中较为常见，但 Gepard 强调把整个推理流程接入 vLLM，从而复用其序列调度能力。

性能与部署

作者给出的运行指标均基于消费级与工作站级显卡实测：

在单卡 RTX 5090 上实现约 20× 实时率（RTF） 与约 50ms 首包延迟（TTFA）；
单卡 RTX Pro 6000 Blackwell（96GB 显存）下可并发 最多 256 条语音流；
支持 零样本声音克隆，参考音频仅需几秒即可复刻音色；
目前覆盖四种语言：英语（美式/英式）、西班牙语（墨西哥）、葡萄牙语（巴西）、荷兰语。

流式输出意味着模型按帧推进音频合成，在对话 Agent、语音助手等需要低延迟打断与轮替的场景下具备实用性。

基准成绩与取舍

在 Seed-TTS-eval 上，作者将 Gepard 与 VoxCPM2、Fish-S2、OmniVoice、Qwen3-TTS、Echo-TTS、Chatterbox Turbo 在相同文本下做了对比：

NISQA-MOS 4.25，在感知质量维度领先被对比对象；
在噪声、色染、连续性三项副指标上表现最干净；
同时也坦承短板：说话人相似度 SIM 仅 0.585，词错误率 WER 0.036。

官方将其定位为「自然、实时、流畅优先」而非「精准音色复刻」的工具，因此更适合实时对话等场景，对严格匹配目标声纹的配音场景并不理想。

生态与可用性

项目方在官网 nine_ninesix.ai 上提供 vLLM 部署演示，并提供：

Hugging Face 上的模型权重与在线 Demo；
兼容 Cartesia API 的 vLLM serving 接口，便于在已有语音服务栈中替换或对比；
完整训练代码，供研究者复现或基于自有数据微调。

后续若社区开始大规模接入 vLLM 生态，Gepard 有可能成为语音 Agent、RTC 通话机器人等场景中的备选开源底座之一。