模型架构膨胀叠加国产算力崛起，AI Infra 该如何解题

模型架构的膨胀速度正在甩开工具链的进化节奏，与此同时，国产算力的规模化落地让异构管理从“可选项”变成了“必答题”。在 InfoQ《极客有约》× AICon 直播栏目中，华为 AI 开源生态总监黄之鹏与 Inferact vLLM committer 莫梓峰、第四范式系统研发专家杨守仁，围绕 AI Infra 从「可用」走向「高效可规模化」的关键路径展开了一场深度对话。

模型架构为何越来越难伺候

莫梓峰回顾了过去几年推理框架适配工作的演进：早期 LLaMA 只是 dense Transformer 加 MLP，工程实现相对简单；DeepSeek V1、V2 引入 MoE，V3 又加入了 index，到了 V4，团队花了近半年时间适配，光是 transformer 里 compress 部分的 kernel 就写了好几个月。在他看来，架构复杂化的趋势在多模态方向上更为明显——从两年前只支持图片输入的 LLaVA，到千问三模态模型支持音频、视频、图片，再到 Cosmos V 直接演进为「全模态」模型，输出端也涵盖图片、视频甚至机器人机械臂的 action。架构不再局限于 AR，AR + DiT 以及各种辅助模型混杂出现，迫使 vLLM 团队专门开辟了 vLLM Omni 这一独立仓库来处理多模态工作负载。

多模态推理的工程攻坚

针对千问 Omni 的适配工作，莫梓峰介绍了 vLLM Omni 的核心设计：千问 Omni 包含 AR、把 AR 文字输出转为 hidden states、再把 hidden states 转为 codec wave 输出音频三个部分，每个部分对 KV cache 等资源的需求完全不同。框架将每一部分充分解耦，并在 codec wave 输出时做异步调度，从而避免任何一段闲置。第一版框架经过多次重构后仍留有约 20% 的优化空间，主要瓶颈在 P2P 传输的通信 bubble 上。

谈到 encoder-free 架构对推理的影响时，莫梓峰提到 Fuyu-8B 三年前就采用了这一思路，对 AR 调度相对友好；而像 Gemma-4 这样对图片部分做双向注意力、且不同层 hidden size 和 head size 差异巨大的模型，KV cache 管理才会真正成为灾难。

国产算力带来的异构管理难题

杨守仁从工作负载与算力调度角度指出，异构算力管理已成为客户面对的核心痛点。除 NVIDIA GPU 和昇腾 NPU 外，第四范式的客户还使用寒武纪、昆仑芯、天数、沐曦等多种加速卡，每家行为并不一致。他举例称某国产 GPU 在特定 tensor shape 下输出结果错误，最终只能通过 offload 到 CPU 的方式绕过。一致性、集群效率、模型在不同卡上的迁移适配，构成了当下异构部署的现实挑战。

杨守仁还提到 K8s 生态的相关进展：传统 Device Plugin 体系表达能力有限，DRA 在去年下半年进入 GA，但高阶特性目前仍依赖 ResourceClaim 中的 key-value 和 capacity 描述，动态能力不足。HAMi 项目从 GPU 虚拟化切入，已实现显存与算力共享，并和 Volcano 联动支持国产设备。在他看来，K8s 社区正在担心错过 AI Workload 这一波浪潮，HAMi 今年的频繁曝光正是为了弥补 K8s 在设备管理上的 gap。

社区治理与 Infra 的未来

圆桌中，黄之鹏也抛出了关于 agent 写 PR 浪潮的问题。莫梓峰直言，社区现在每天会收到大量 agent 生成、未经人工 review 的 PR，description 冗长、代码不干净，对 reviewer 造成沉重负担。vLLM 社区的折中做法是要求提 PR 者留下活人邮箱，机器人账号一律直接 close；同时也在用 agent 反向承担部分机械化任务，如每次 vLLM 大版本更新后让 agent 刷接口兼容代码。

黄之鹏在总结中抛出观点：随着模型能力越来越强，软件工程未必继续走向「屎山」，未来 Infra 工程师的角色可能更像高阶 SRE——定义好 SLA、SLO 与成本预算，剩下的交给模型。这场讨论没有给出最终答案，但清晰勾勒出多模态推理工程化与异构算力调度两条主线交织的当下图景。