研究论文系统性测量 LLaMA 推理能耗，覆盖 32 卡多节点场景
论文在 V100 与 A100 上对不同规模 LLaMA 模型推理的算力与能耗进行了基准测试，是早期大规模量化 LLM…
一篇发表于 arXiv 的研究论文系统性地测量了大语言模型推理阶段的算力与能耗，以 LLaMA 系列为对象，覆盖单卡到 32 卡多节点多 GPU 的推理场景。论文指出，相较于训练阶段，LLM 推理因其极高的调用频次，实际产生的能耗问题往往被低估，有必要从资源利用角度建立更清晰的基准。
研究动机
随着 LLM 在法律、金融、医疗等领域的广泛部署，推理调用量持续攀升。然而围绕训练成本的讨论远多于推理成本。作者认为，理解推理阶段的资源占用对成本控制、扩展性能、硬件选型以及部署策略都至关重要。
实验设计
论文以 Meta AI 发布的 LLaMA 为代表模型，选取两种主流 GPU 硬件：
- NVIDIA V100：上一代数据中心 GPU。
- NVIDIA A100：当前主流推理硬件。
数据集选用 Alpaca（指令微调类）和 GSM8K（数学推理类），以覆盖不同任务类型。模型规模覆盖 LLaMA 不同参数档位，并通过模型分片（model sharding）扩展到最多 32 张 GPU 的多节点推理。
主要发现
论文给出推理吞吐量、时延以及对应能耗的多组测量结果，并对比了不同模型规模与硬件组合下的能效差异。总体趋势是：模型参数越大，单次推理的绝对能耗越高；A100 相较 V100 在能效上有明显优势；在多卡分片场景下，扩展效率受通信开销影响。
意义与局限
作者在文中明确表示，这是较早以大规模、多 GPU 视角量化 LLM 推理算力与能耗的研究之一。不过该工作完成于 2023 年 10 月，所测对象为 LLaMA 第一代，硬件仅覆盖 V100 与 A100，对当前常见的 70B 以上模型以及 H100 等新硬件的能效情况并未涉及，结论的时效性存在一定局限。对于关注绿色 AI、推理部署成本与硬件选型的研究者，这篇论文仍可作为基础参考。