研究论文
边缘端 LLM 推理实测：手机、NPU、笔记本 GPU 性能与散热对比
一篇论文对 Qwen-2.5-1.5B 在树莓派、iPhone、三星及笔记本上的推理表现进行基准测试。
2026.07.08 · 周三约 3 分钟阅读
近日，一篇题为《LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load》的论文在 Reddit r/LocalLLaMA 板块被讨论。该研究对当前主流边缘设备运行大语言模型的性能、功耗与散热表现进行了系统性基准测试，为端侧 LLM 部署提供了难得的横向参考。
测试设置与设备选型
研究选用 Qwen-2.5-1.5B 的 4bit 量化版本，测试负载为单用户单 prompt、2048 token 输入，共进行 20 轮测试（未设置最大生成 token 数）。覆盖的硬件平台包括：
- RPi5 + Hailo-10H NPU 加速模块
- iPhone 16 Pro（A19 Pro）
- 三星 Galaxy S24 Ultra（骁龙 8 Gen 3）
- 配备 RTX 4050 的笔记本
不同平台分别采用了 MLC LLM、vLLM、Hailo-ollama 与 MLX 等推理引擎，作者也指出引擎差异本身是实验的一个局限。
关键结果
- RPi5-Hailo：在热稳定性、功耗与吞吐方面表现最一致（变异系数约 0.04%），无降频；但延迟较高，生成 564 token 耗时约 72 秒，不适合对话场景。瓶颈部分来自树莓派仅支持 PCIe Gen2 x1（~400 MB/s，Hailo Hat 实际可达 1 GB/s），也与 hailo-ollama 的 CPU-NPU 数据流编排有关——并非所有层都在 NPU 上执行。
- iPhone 16 Pro：在智能手机类别中取得最高的 tok/sec（prefill+decode 合计），但首尾数轮迭代出现明显波动，从约 42 tok/sec 降至 23–24 tok/sec，主要源于热活动。
- S24 Ultra：直接使用 MLC LLM 时出现资源尖峰，触发 DVFS 与频率地板效应；改用 128 chunk 的分块 prefill 后，生成 646 token 耗时 56 秒，吞吐 10.8 tok/sec（CV 4.2%），GPU/CPU 温度稳定在 64 ± 1.9 °C。
- RTX 4050 笔记本：系统平均功耗 34 W，已超过 TGP，但整体效率仍是四者中最佳。
局限与讨论
作者归纳了论文的几项不足：不同设备的功耗指标口径不统一（总系统瓦数 vs. 各组件瓦数），未做频率、DVFS 或后台负载下的对照研究；建议后续以变异系数（CV）作为统一指标进行跨设备比较，而非仅在设备内部做稳定性分析。
总体而言，该论文是当前少有同时覆盖手机 NPU/GPU、树莓派 NPU 与笔记本 GPU 的端侧 LLM 推理基准研究，对关注本地化部署与硬件选型的开发者具有一定参考价值。