本地小模型技术问答实测：RAG 加持下准确率显著提升

一名开发者在 Reddit r/LocalLLaMA 板块分享了其实测结果：本地运行的小模型在回答技术类问题时，若不接入 RAG 表现一般，而接入 RAG 后准确率有显著提升。测试覆盖了 Unsloth 的 Gemma QAT 模型、Qwen 系列以及 Apple Intelligence。

测试方法

• 从 Node、Langchain.js、TypeScript、transformers.js、Vue 等项目的 GitHub 仓库下载 Markdown 文档作为知识源。
• 使用 deepseek-v4-flash 根据每份文档自动生成多选题。
• 在关闭「思考」模式下，对 Gemma QAT 模型进行两轮基准测试：一轮不附加文档，一轮附加正确答案所在文档（Oracle 列）。
• 搭建 RAG 系统，注入检索到的前若干条文档后再让模型作答，RAG 不限定只检索「正确文档集」，以模拟真实使用场景。
• 后续追加了 Qwen 系列模型以及 Apple Intelligence 的对比。

主要发现

• 不使用 RAG 时，本地小模型在技术问答上的准确率较低。
• 启用 RAG 后，模型表现明显改善，作者认为「非常出色」。
• 开启「思考」模式带来的提升有限（仅约 +1 个百分点），且推理耗时大幅增加，导致 e2b 与 e4b 之外的测试尚未跑完。
• Apple Intelligence 上下文长度约 4k，远小于其他模型使用的 32k，且因多数 Oracle 文档和 RAG 前 5 条结果超过 4k 长度，被迫只取前 3 条注入。在如此受限的条件下，Apple Intelligence 仍取得约 86% 的得分，作者认为对一款端侧小模型而言是相当不错的结果。

局限与说明

• 测试由个人开发者自行搭建，题库由另一个模型自动生成，题目的质量与覆盖范围未经独立验证。
• 缺少完整的分数表与模型规模、量化精度等关键参数对比。
• 结论与业界对「RAG 能显著提升本地模型在专业领域表现」的普遍认知一致，并未提出新的机制或方法。

整体来看，这是一份偏向个人实践记录的端侧 LLM 体验报告，对正在评估本地模型 + RAG 方案的开发者有一定参考价值，但并不构成行业级别的技术或产品突破。