Exo Labs 集群方案宣称 4.8 TB/s 内存带宽

Exo Labs 近期声称，其基于 RDMA 的集群方案可以让多台搭载 M5 Ultra 芯片的 Mac Studio 实现线性内存带宽扩展，聚合峰值可达 4.8 TB/s，远超单台设备的本地带宽上限。该说法目前在本地大模型推理社区引发关注，但尚未见独立基准测试予以验证。

Exo Labs 的核心主张

根据 Exo Labs 员工的介绍，这套方案的关键并不在于带宽数字本身，而在于延迟。在他们看来，RDMA 集群在跨节点访问内存时延迟足够低，使用户在实际推理场景中可获得接近本地内存的体验。官方宣传的 4.8 TB/s，是在多台 Mac Studio 通过 Thunderbolt 5 互联后聚合得出的理论上限。

与本地社区既有建议的冲突

此前在 r/LocalLLaMA 等本地推理社区，多数用户在比较单台 256 GB M5 Ultra Mac Studio 与两台 96 GB 设备集群方案时，通常推荐前者，主要原因是 Thunderbolt 5 的带宽瓶颈。这一建议在 Exo Labs 公布方案之前已形成，因此部分用户当初并未把集群方案纳入考量。

尚未验证的关键点

4.8 TB/s 的数字目前仅来自 Exo Labs 官方与员工的对外口径，缺少第三方基准测试。
RDMA 在 Thunderbolt 5 上的实际延迟、吞吐稳定性尚无公开数据。
主流推理框架（如 llama.cpp、vLLM、MLX）对集群内存的支持程度未明确说明。

用户的实际权衡

对本地部署大模型的个人用户而言，选择仍取决于具体工作负载：

单台 256 GB：配置简单、延迟最低，但升级路径有限。
两台 96 GB 集群：理论扩展性强，但依赖 Exo Labs 方案的可靠性与生态成熟度。

目前多数倾向单台方案的用户仍维持原有判断，但 Exo Labs 的说法让「集群路线」重新进入讨论范围。