36 卡 DGX Spark 集群：玩家把家庭机房堆到 4.6TB 统一内存

一位 Reddit 用户（u/Kurcide）在 r/LocalLLaMA 板块更新了其「All Spark」家用 AI 集群的搭建进展：将原有 16 节点 DGX Spark 扩展至 36 节点，统一内存达到 4.6TB。这套配置据其描述是目前已知规模最大的 DGX Spark 集群搭建尝试之一。

集群硬件配置

扩容后的「All Spark」核心规格如下：

• 36 × DGX Spark 节点
• 1 × 200Gbps FS 交换机（24 × 200Gb QSFP56 + 8 × 400Gb）
• 24 × QSFP56 DAC 直连电缆
• 6 × 400Gb 转 2 × 200Gb breakout 线缆

用户计划在此之外再加入 2 套 RTX 6000 Pro 系统（4 × Max-Q 低功耗版与 8 × 企业版），用于替换此前的 H100 与 GH200，整机柜将形成 DGX Spark + RTX 6000 Pro 的异构推理布局。

用途：模块化推理与智能体编排

过去四个多月，该集群跑过了几乎所有值得关注的新模型。值得关注的是，用户不再把集群当作单一的大推理机，而是按「推理模块」进行划分：

• 计划保留 16 节点用于 Kimi K3 等 SOTA 模型推理
• 剩余节点分别承担 rerank、embedding、视频生成、图像生成、音频处理等任务
• 通过 Hermes 框架结合自研的「记忆 sidecar」系统，把多个推理模块统一编排为持久化的智能体

也就是说，集群的定位从「一台大机器」演化为「一个智能体能力集群」。

为什么不上 B200 / B300

用户解释了不直接采购 B200 或 B300 的原因，主要权衡如下：

• 散热与能耗：放在家庭机房中，B200/B300 级别的散热和电力压力过大
• 数据主权：整套机柜要求完全自托管，不依赖任何数据中心或第三方存储
• 扩展灵活性：Sparks + 6000 Pro 在配置、功耗和未来脱手变现上更灵活
• 统一内存价值：Sparks 仍是当前扩展统一内存性价比最高的方案，未来 M5 Ultra Mac Studio 上市后计划尝试「分解式推理」架构

小结

这一项目展示了 DGX Spark 在爱好者手中的极限堆叠方式，也为统一内存架构在小型化场景中的多模块编排提供了一种参考实现。但作为个体项目，其硬件选型与推理编排细节仍主要服务于作者自身的实验需求，对行业整体格局影响有限。