开发者用 700 行 C 代码实现 Gemma 4 推理，单文件即可跑
开发者发布 gemma4.c 项目，仅用 700 行 C 代码实现 Gemma 4 E2B 的 CPU 推理，支持 in…
一名开发者近日在 GitHub 上开源了名为 gemma4.c 的项目，仅用单个 C 源文件（约 700 行代码）便实现了对 Google 最新开源模型 Gemma 4 E2B 的 CPU 推理。该项目的核心理念是：用户下载模型权重后，只需编译一个 C 文件，即可在普通 CPU 上生成文本，同时可以从头到尾逐行阅读代码，理解模型逐 token 生成的全过程。
项目设计思路
与传统推理框架不同，gemma4.c 没有依赖任何推理框架或外部库，分词器、Transformer 前向计算、KV 缓存、采样逻辑以及 CPU 算子内核全部由这份 700 行的 C 代码自行处理。开发者表示，这一设计主要是为了把 LLM 推理从「图表与公式」落地到「实际代码」，便于读者从 main() 出发，逐层追踪每个缓冲区分配、每次激活变换以及从输入到新 token 的完整流转。
为了保持代码紧凑，项目刻意做了功能裁剪：
- 仅支持 Gemma 4 E2B 这一款模型；
- 仅支持 CPU 推理；
- 不提供通用推理框架所附带的大量辅助功能。
性能优化与实测数据
为了让单文件实现具备实用性，作者在 CPU 端投入了大量优化工作，具体包括：
- 权重与激活均使用 int8 量化；
- 利用 OpenMP 进行多线程并行；
- 支持 AVX2 指令集；
- 在支持的硬件上启用 AVX-512 VNNI 指令加速。
在 Ryzen 7 7700 处理器上的实测结果显示，512 token 的 prefill 阶段可达约 639 tok/s，文本生成阶段约为 25.9 tok/s。作者宣称这一速度超过了 llama.cpp。不过由于该项目不支持 GPU 推理且仅适配单一模型，实际适用范围有限。
意义与局限
gemma4.c 的价值更多体现在教学与研究层面：它为希望深入理解 LLM 推理底层机制的学习者提供了一份可逐行阅读的最小实现，对研究模型压缩、量化算子以及轻量化推理引擎的开发者也具备参考意义。但在生产环境中，受限于仅支持 CPU 与单一模型，它难以替代 llama.cpp、vLLM 等通用推理框架。项目代码已在 GitHub 开源，地址为 github.com/ryanssenn/gemma4.c。