Reddit 用户实测：32GB 显卡跑 Qwen 27B/35B，前沿模型仍更可靠

近日，Reddit r/LocalLLaMA 社区用户 WSTangoDelta 分享了一组针对本地大模型与前沿 API 模型在「困难集成编程任务」上的实测对比，核心结论是：在 32GB 单卡环境下，Qwen 27B Q8 相较 35B Q6 在正确性上略占优势，但单纯增大模型规模并不能显著提升可靠性；即便是 70B–72B 级别的本地模型，面对需要维护仓库级不变量的任务时仍然力不从心，而前沿 API 模型虽然显著更可靠，也并非完美无缺。

测试方法与任务设计

作者表示，测试并非 LeetCode 式的函数题，而是围绕实际工程场景构建的六道「故意做难」的集成任务，涵盖：

乐观并发控制
持久化重试与幂等性
依赖图失效传播
批量恢复
混合 schema 保留
多文件仓库状态一致性

每道题都带有隐藏测试用例与隐藏不变量，模型仅有一次作答机会，不允许在看到测试结果后修复。作者强调，结果表中「hidden-test 通过率」需结合「完整提交数」一列阅读，原文将 PASS、FAIL、INCOMPLETE 三类结果分开记录。

本地模型表现：27B Q8 略胜，速度与正确性需权衡

在第一组对比中，Qwen 27B Q8 与 35B Q6（MoE）各完成若干任务，27B 完整通过三道，35B 通过两道；但 35B 推理速度快约 6 倍。作者认为这并非「27B 完胜」，而是一个需要权衡速度与正确性的真实取舍。

进一步增大模型规模并未带来可靠性的同步提升：

Qwen 72B Q4：耗时近 52 分钟，六题中完整通过一题
Llama 3.3 70B：耗时 43 分钟，六题无完整通过
DeepSeek R1 Distill 70B：推理超过五小时，仅两题完成提交，且均未完全正确

作者指出，失败原因多非 Python 语法问题，而是模型难以在持久化边界、并发、重试、schema 等场景下维护较为隐式的仓库级不变量。专门面向代码的模型也并未自动胜出。

前沿 API 模型：更可靠但非万能

作为对照，作者将相同 prompt 提交给两款前沿 API 模型：

GPT-5.6 Sol：5/6 通过，最难一题上漏掉一个隐式不变量
Claude Opus 5：5/6 通过，在任务 020 上消耗近全部 16K 输出额度仍未收敛，提交被截断

作者特别说明，Opus 在任务 020 上的不完整带星号：标准运行将输出限制在 16K tokens，而该模型支持更大的最大输出；但它在前述预算内花费 14,959 个 tokens 思考仍未给出完成答案，因此未给予重试或更大预算。

作者结论：把「做事」与「验收」分开

作者的实用结论并非「本地模型不可用」，而是：

在 32GB 单卡条件下，Qwen 27B Q8 看起来非常实用；时间紧张时可考虑 35B
本地模型适合草稿、迭代、解释、重构、常规调试等失败代价可控的场景
在正确性尚无确定性测试、类型检查、静态分析或人工评审兜底的关键集成工作中，建议用独立模型做最终校验
不要在无法接受失败的任务中直接接受任何模型的输出，「信任但需验证」

作者也明确表示，这只是六道难题、单机环境下的有限实验，不构成通用排行榜；他自己仍倾向先用本地模型，仅在需要时调用 API 对照，并暂缓升级到双 5090 的计划。整组 API 调用约花费 0.75 美元。