用户微调 Gemma 12B，16GB 显存下工具调用提升 2.7 倍

近日，Reddit 社区 r/LocalLLaMA 用户 /u/TheOneWhoWil 发布了一项针对 Gemma 12B 的个人微调工作，重点优化模型的「工具调用（tool calling）」能力以及命令行（CLI）使用表现，并将 Q4_K_M 量化权重开源，供 llama.cpp 或 Ollama 用户直接加载。

微调动机与目标场景

作者在原帖中表示，Gemma 12B 虽然基座能力强，但在 agentic 编码场景下表现一般：在 GitHub Copilot 调用工具时常出错，命令行环境下的可靠性也偏低。由于手头硬件仅有 16GB 显存的限制，无法舒适运行更大的模型，因此选择对 12B 规格进行微调，兼顾显存占用与工具调用可用性。

主要结果

作者称微调后模型在工具调用任务上取得了约 2.7 倍 的提升，同时模型主动发起工具调用的次数也增加了约 15.7%，意味着模型更倾向于通过调用工具推进任务，而非陷在推理链中。需要注意的是，原帖未披露具体的评测基准、基线模型版本、对照测试方法以及样本数量，2.7 倍与 15.7% 这两个数字的统计口径尚不清晰。

已发布的资产

• 模型权重：fp16 训练权重，以及面向消费级显卡的 Q4_K_M 量化版本。
• 推理框架：兼容 llama.cpp 与 Ollama，适合 16GB VRAM 的本地部署。
• 用途方向：偏 agentic coding、CLI 任务、工具调用密集的轻量级本地工作流。

局限性

作为社区个人项目，作者未提供训练数据集构成、训练超参、评测脚本或可复现的训练流程，也未与同尺寸主流模型（如 Qwen2.5、Llama 3.x、Mistral 等）在统一基准上做横向对比。因此，该结果更适合作为「个人实验参考」，而非可据以判断模型整体能力提升的客观证据。如需用于生产环境，建议自行验证效果。