CSTutorBench：面向积木式编程的小语言模型教学评测基准
研究者发布 CSTutorBench 基准，在 VEX VR 积木式机器人场景中评测 11 个 4B–120B 模型的教…
arXiv 最新论文《CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming》提出了一项专门面向积木式编程（block-based programming）教学场景的小语言模型评测基准。研究指出，将大语言模型部署到 K-12 课堂作为 AI 辅导老师时，会面临隐私、成本以及对闭源模型的依赖等问题；小语言模型（SLM）虽然具备部署优势，但在具体教育场景中如何选型仍是难题，尤其是像积木式编程这类在训练语料中极少出现的目标领域。
基准设计与评估流程
CSTutorBench 针对 VEX VR 这一积木式机器人环境构建评测集，包含 17 道情境化教学问题，每道题都基于既有辅导与反馈研究总结出的教学法评分细则进行打分。评估流程采用人在回路的「LLM-as-judge」管线，由人类审核者参与校验模型评判结果，以保证评分与教学法标准的对齐。研究团队在 4B 到 120B 参数区间内选取了 11 个不同规模的模型进行初步实验，覆盖多种模型家族与指令微调路径。
主要发现
实验结果呈现出明显的「表层强、深层弱」特征：
- 模型在词汇使用、语气等表层教学标准上得分较高。
- 在更关键的教学行为上表现不佳，尤其是避免直接泄露答案、与学生调试历史进行有效互动这两个维度。
- 在实验样本范围内，模型所属家族和指令微调方式对辅导质量的预测能力强于参数规模本身，但受样本量限制，这一结论的统计强度有限。
此外，研究团队基于近期教育提示工程文献对提示词进行了针对性修订，结果在 11 个模型中有 10 个模型的评分得到改善，提示在教育场景下提示设计的重要性被普遍低估。
意义与局限
作者强调，CSTutorBench 的价值在于为教育部署中的小语言模型选型提供一个领域特定、教学法可解释的评估工具，避免仅凭通用基准或参数规模做出判断。该工作的局限同样明确：评测样本模型数量有限，问题数量为 17 道，结论的统计强度与可推广性仍需更大规模验证；对于「人在回路 LLM-as-judge」管线本身与真实教学效果之间的一致性，论文也并未给出系统性对照。整体而言，这是一项面向具体教育场景的细粒度基准工作，对教育 AI 与 SLM 选型研究者具有参考价值，但对通用大模型格局影响有限。