工具
1Cat-vLLM 项目让 V100 显卡重获推理性能
Reddit 用户推出 1Cat-vLLM 分支，针对 V100 显卡优化大模型推理，并以 Qwen3 35B 对比 S…
2026.09.26 · 周六约 2 分钟阅读
近日，Reddit r/LocalLLaMA 社区用户 Miserable-Dare5090 分享了一项针对 NVIDIA V100 显卡的推理优化项目「1Cat-vLLM」。该项目是主流推理框架 vLLM 的分支版本，专门为这款已有约十年历史的 GPU 做了适配和性能调优，让老卡也能承担大模型推理任务。
项目背景
V100 是 NVIDIA Volta 架构的代表产品，曾是数据中心训练和推理的主力 GPU。随着新架构（A100、H100 等）陆续登场，社区中仍有不少用户在继续使用 V100 跑大模型。vLLM 作为当前主流的高吞吐推理引擎，默认并未对 V100 做深度优化。1Cat-vLLM 的出现填补了这一空白，通过修改和适配代码让 vLLM 能够在 V100 上更高效地运行。
性能对比方式
作者在帖子中分享了基于 llama-benchy 的原始跑分，对比了以下两种方案在 Qwen3 35B 上的表现：
- Strix Halo（AMD 平台）搭配经过高度优化的 llama.cpp 分支（pwilkin）；
- V100 显卡运行 1Cat-vLLM。
作者特别指出，这并不是严格的「同条件」对比（apples to apples），但希望通过展示真实数字，让读者对 V100 跑大模型的能力有直观感受。
社区反馈与意义
对于仍持有 V100 硬件的用户而言，该项目提供了一条继续利用旧卡运行大模型推理的可行路径。原帖作者也欢迎社区补充其他针对老硬件的优化建议。从行业角度看，这类工作体现了开源社区在延长硬件生命周期、降低本地大模型部署门槛方面的持续努力。
整体而言，1Cat-vLLM 的影响面相对有限，主要服务于仍使用 V100 的小众群体，但其思路对其他老架构 GPU（如 P40、T4）的优化也具备一定的参考价值。