KnowSim：用可学习的用户模拟器评估 LLM 知识校准能力
arXiv 新论文提出 KNOWSIM 框架，通过显式建模用户知识状态来评估大模型在知识密集型任务中的信息校准能力。
arXiv 上线一篇题为《KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn》的研究论文，针对大语言模型在知识密集型任务中的「信息校准」能力，提出了一套名为 KNOWSIM 的评估框架。该研究指出，现有的用户模拟器在评估与训练 LLM 时并未显式建模用户知识，难以真实反映不同知识水平下的交互过程，也无法刻画用户认知随交互推进而演化的过程。
核心思路：用知识图谱模拟用户认知
KNOWSIM 的关键创新在于其用户模拟器维护一组「显式知识状态」，并以有先决关系的信息单元图（graph of Information Units）来表示。当交互推进时，知识状态依据「学习理论」启发的更新规则进行演化。基于这条知识状态轨迹，框架直接计算三项指标：
- Knowledge Gain（知识获取量）
- Delivery Calibration（传递校准度）
- Cognitive Overload（认知负荷）
这三项指标分别对应信息校准过程中三个机制层面的关键维度。
验证方式与主要结果
研究团队在两个领域、共 705 段人–AI 真实会话上对 KNOWSIM 进行了验证，并按用户知识水平分层。结果显示，KNOWSIM 产生的排名与人类判断之间具有显著一致性，符号一致率达到 73%–74%，优于文中提及的三种基线用户模拟器。
随后，研究者将 KNOWSIM 应用于 9 个 LLM，发现「最佳模型」会随用户知识水平而变化，暴露出标准评测难以捕捉的能力–用户匹配交互（aptitude-treatment interactions）。换言之，对入门用户最优的模型未必对高级用户同样最优。
研究意义与局限
这项工作的意义在于：把「用户知识状态」这一常被忽略的维度显式纳入评估流程，使 LLM 在教学、辅导、知识传递类场景下的表现能够被更细致地量化。其局限主要在于目前仅覆盖两个领域、9 个模型，且用户模拟器的知识更新规则仍依赖理论假设，尚未在更大规模的真实用户群中复核。整体而言，KNOWSIM 为 LLM 评测提供了一个新的视角，对智能教育、知识型 Agent 等方向的研发具有参考价值。