微软 Maia 200 加速卡架构细节在 Hot Chips 2026 公开
Hot Chips 2026 上微软深入披露第二代自研 AI 加速芯片 Maia 200 的架构设计、内存与互连规格。
在 Hot Chips 2026 大会上，微软对其第二代自研 AI 加速芯片 Maia 200 进行了迄今为止最深入的技术披露。该芯片采用台积电 3nm 工艺，集成了 1400 亿个晶体管，将被部署在 Azure 数据中心中，承接推理负载。整片 SoC 面积约 820 平方毫米，TDP 为 750 瓦，并搭配 6 颗 HBM3e 显存，提供 7 TB/s 的内存带宽与 10,000 TFLOPS 的 FP4 计算吞吐。
面向推理的架构取舍
微软在 Maia 200 的设计上明确把推理作为首要目标，包括 prefill 与 decode 两个阶段的差异化工作负载，以及 MoE 架构带来的负载多样性。与 Maia 100 相比，新一代芯片在芯片规模上「克制」了一些——晶体管数虽仍十分可观，但内存堆栈数量更少，整卡功耗控制在 750 瓦，更适合大规模集群部署。
SDLA 数据流与计算单元
Maia 200 的核心架构被命名为 SDLA（Software Defined Local Access），微软沿用经典的 Flynn 分类法两个维度加以定义：数据访问完全本地化，数据流由软件定义。这使得数据流在编译期即可确定，具备高确定性，同时减少了对跨芯片带宽与 fabric 的需求。
片上基本计算单元为「tile」，每个 tile 包含：
- TTU（Tile Tensor Unit）：矩阵运算引擎
- TVP（Tile Vector Processor）：SIMD 引擎
- TCP（Tile Control Processor）：控制处理器
- TDMA 与 L1 cache：数据搬运与缓存
DMA 与处理单元各自维护硬件指令队列，控制、I/O 与计算彼此独立运行，通过信号量（semaphore）显式同步。
层次化存储与 I/O
内存采用层次化结构，tile 级 L1 cache 与 cluster 级 L2 cache 之上才是 HBM 层，数据仅在需要时在各层之间流动。I/O 方面，微软采用自研 NIC 与互连协议，以最小化的芯片面积开销实现了硬件级可靠性恢复机制。每片 SoC 提供 8 条 Ethernet lane，分属 4 个网络平面。
全以太 scale-up 拓扑
Maia 200 不支持 scale-out 网络，仅做 scale-up。机架内通过 tier-0 交换机连接各节点，跨机架则经由 tier-1 交换机互联，整套网络采用统一以太网协议。微软展示的系统拓扑可扩展至 128 个机架、共约 6000 颗芯片，通过全连接四元（fully connected quad）拓扑实现，并强调软件定义负载均衡以应对大域部署。
软硬件协同栈
微软同步披露了配套软件栈。核心通信库为 MCCL（Microsoft Collective Communication Library），整条链路从芯片、系统到软件均经过联合设计。SDLA 的硬件特性要求内核针对该架构进行专门调优，例如批处理 GEMM 工作流中，权重从 HBM 加载后通过中央 GNOC 做 gather，最终输出固定到 L1 SRAM。分布式 GEMM 则面向跨芯片 scale-up 域进行了专门的 kernel 设计，注意力等需要高数据复用的算子也是重点优化对象。