Pocket TTS：CPU 上跑 5 秒声音克隆的 MIT 开源模型

法国 AI 实验室 Kyutai 发布的 Pocket TTS 是一款约 1 亿参数的流式语音合成模型，其最大卖点是只需 5 秒参考音频即可在 CPU 上完成零样本声音克隆，并以 MIT 协议开源。Reddit 用户 gvij 对其与三款当下热门的 CPU TTS 模型——Kokoro 82M、Supertonic 3、Inflect-Nano-v1——进行了横向基准测试，共完成 180 次计时运行、36 个音频样本，并使用 UTMOS（utmos22_strong）给出客观 MOS 评分。

模型架构：把音频当作 token 的自回归流式生成

Pocket TTS 并不采用传统的「声学模型 + 声码器」两段式结构，而是基于 Kyutai 自有的 Mimi 神经音频编解码器，将音频视为离散 token，由自回归语言模型逐 token 生成，再解码为 24kHz 音频。这一架构带来两个直接结果：

延迟与文本长度几乎无关：在 12 字符到 1712 字符的输入区间内，RTF（实时因子）稳定在 0.69 至 0.76 之间，没有需要摊销的固定开销。相比之下，Kokoro PyTorch 在短文本上 RTF 为 0.49，长文本则升至 0.83。
原生支持流式输出，适合构建交互式语音应用。

5 秒零样本声音克隆：当前唯一选择

只要给 Pocket TTS 投喂一段 5 秒的参考音频，它就能以同样的口音、音色、节奏乃至麦克风质感说话，不需要微调，也不需要 GPU。MIT 许可证进一步允许商用。横向对比来看：

Kokoro、Inflect-Nano 仅提供固定预置声线；
Supertonic 同样不支持用户自定义声线；
在「CPU 上跑 + 用户自选声线」这一组合上，Pocket TTS 目前没有竞品。

为保证速度与音质对比公平，作者在基准测试中将 Pocket TTS 锁定为预设的 alba 声线，因此下表中的数字并不反映克隆能力本身。

基准测试结果

测试环境：Intel Xeon 8272CL，4 核，16GB 内存，无 GPU。

Supertonic 3（2-step）：平均 RTF 0.121，UTMOS 1.53，参数约 99M，许可证 OpenRAIL-M
Inflect-Nano-v1：平均 RTF 0.145，UTMOS 3.48，参数 4.6M，许可证 Apache 2.0
Supertonic 3（5-step）：平均 RTF 0.240，UTMOS 4.32，参数约 99M，许可证 OpenRAIL-M
Kokoro 82M（ONNX）：平均 RTF 0.641，UTMOS 4.44，参数 82M，许可证 Apache 2.0
Kokoro 82M（PyTorch）：平均 RTF 0.665，UTMOS 4.46，参数 82M，许可证 Apache 2.0
Pocket TTS：平均 RTF 0.714，UTMOS 4.10，参数约 100M，许可证 MIT

Pocket TTS 在六组配置中速度最慢，但 UTMOS 4.10 已与 Kokoro 处于同一档位。需要特别说明的是 Inflect-Nano-v1：UTMOS 给出 3.48，但人耳听感是「嗡鸣且机械」，属于 UTMOS 对小型 HiFi-GAN 声码器偏清洁不偏自然的已知偏差；此外它在长输入下存在约 15 秒输出上限，RTF 数值因此被推高。

选型建议与许可证差异

需要 CPU 端声音克隆：Pocket TTS 是当前唯一可行项；
固定声线，追求最高音质：Kokoro 82M；
延迟敏感、可接受音质让步：Supertonic 3（5-step）；
短文本、超小体积：Inflect-Nano-v1（需容忍 15 秒上限与嗡鸣感）；
仅做原型验证：Supertonic 3（2-step）。

许可证方面，Kokoro 为 Apache 2.0，Inflect-Nano-v1 同样是 Apache 2.0；Supertonic 采用 OpenRAIL-M，存在商用限制；Pocket TTS 则是 MIT，几乎可以无限制商用。安装上也最省心：pip install pocket-tts 即可，无需 CUDA 构建或 Hugging Face 仓库路径配置，首次加载时自动下载权重。

作者已公开包含 180 行原始数据、36 个 WAV 样本以及基准脚本的资源链接，并计划后续在带口音英语、非英语乃至歌唱等场景下进一步验证 Pocket TTS 的克隆效果。