研究论文
FirstResearch：用结构化证书提升 LLM 科研问题的可审计性
论文提出 FirstResearch 框架，通过「研究问题证书」让 LLM 生成的首个科研问题可被审查，实验显示其显著优…
2026.07.08 · 周三约 3 分钟阅读
近期，LLM 已被广泛用于辅助科学发现中的构思、文献综合、实验规划与报告撰写。然而，这些系统提出的「第一个研究问题」往往听起来合理，却难以让人类研究者直接审视其背后机制、可证伪条件或关键假设。arXiv 上发表的 FirstResearch 论文正是针对这一缺口，提出一种基于第一性原理的科研问题形成框架。
核心思路：研究问题证书
FirstResearch 的核心产物是一份结构化的「研究问题证书」（Research Question Certificate）。该证书显式记录以下要素：
- 原始定义（primitive definitions）
- 关键假设（assumptions）
- 机制模型（mechanism model）
- 张力或矛盾（tension / contradiction）
- 可证伪假设（falsifiable hypothesis）
- 最小决定性测试（minimal decisive test）
- 失败更新规则（failure update rule）
通过将这些要素显式化，研究者在下游执行之前即可对 LLM 所提问题进行结构化审查。
实验设置与结果
研究团队在 10 个 LLM Agent 科研选题上，将 FirstResearch 与受 AI co-scientist、Agent Laboratory 和 AI Scientist-v2 启发的 prompt 级基线进行对比。
- 主评测采用 DeepSeek 盲评协议。
- 独立 Gemini-2.5-Flash 对同一 40 个基线包进行复评，系统级排序保持一致。
- FirstResearch 得分 4.86/5，最强基线 4.38/5。
- 平均得分的 Pearson 一致性为 0.865。
消融实验：以证书为核心
为验证各组件贡献，研究者进行了一轮重复消融检查点测试：
- 仅使用证书进行评分：DeepSeek 判 4.90/5，Gemini 判 4.88/5。
- 移除证书后：两个裁判下的得分均降至 1/5 以下。
这表明证书结构是 FirstResearch 性能提升的关键驱动力，而非简单的 prompt 工程增益。
局限与展望
作者明确指出本工作仍属初步探索，存在两点限制：
- 评测依赖 LLM 裁判，而非人类领域专家。
- 实验范围有限，结果的泛化性有待进一步验证。
尽管如此，论文提出了一个明确且可量化的科学发现子主张：显式的推导约束是让 LLM 生成的科研问题更可审计的一条有前景路径。代码、提示词、运行产物与复现脚本已开源（github.com/louiswang524/FirstResearch），便于社区后续验证与扩展。