Gemma 4 WebGPU 推理内核达 255 tok/s，本地大模型实用化再进一步

近日，AI 开发者社区流传出一条关于 Gemma 4 本地推理性能的消息：开发者 xenovacom 在 X 平台展示，其基于 WebGPU 的 Gemma 4 推理内核达到了约 255 token/秒 的生成速度。这一数字在 r/LocalLLaMA 等本地大模型社区引发了讨论，被认为是在浏览器或消费级硬件上运行中等规模密集模型的代表性成绩。

速度意味着什么

该帖子的核心观点是：当密集模型在本地能够稳定跑到 100 token/秒以上时，用户体验会发生质变——从「必须调用 Claude 或 Codex 等云端模型」转变为「日常任务交给本地私有模型，只在需要前沿能力时再调用云端」。255 tok/s 远超这条「可用性门槛」，说明 WebGPU 这条路径在性能上已经具备替代部分云端推理的潜力。

技术背景与边界

• WebGPU 是浏览器和跨平台 GPU 加速接口，可在不依赖 NVIDIA CUDA 的环境下利用显卡算力。
• 帖子并未披露测试所用 Gemma 4 的具体规模（如 2B、9B 还是 27B）、量化精度、硬件配置（是否为 Apple Silicon、独立显卡还是集显）以及 batch size 等关键参数。
• 255 tok/s 属于「生成速度」，与「首 token 延迟」是不同指标；浏览器场景下用户更关心后者，帖子中未提供对比。

可信度与待验证项

消息来源为个人开发者推文与 Reddit 讨论转贴，并非 Google 官方博客或论文发布，因此以下信息仍需社区交叉验证：

• 是否使用了定制 kernel（如 llama.cpp 的 WebGPU 后端、MLC LLM 或自研方案）。
• 速度指标是否为预填充 + 解码的平均值，还是纯解码速度。
• 在不同浏览器（Chrome、Edge、Safari）和不同显卡上的稳定性如何。

对本地 AI 生态的意义

如果该速度能够在主流消费硬件上复现，意味着 Gemma 4 系列——尤其是其较小的密集变体——有望成为浏览器内或离线场景下的首选本地模型之一。对于重视数据隐私、不愿将代码或文档上传云端的开发者而言，这是一条值得关注的工程进展；但在官方发布完整技术报告或基准对比之前，建议将其视为「社区信号」而非成熟结论。