The Neutrality Project 开源 AI 政治中立性基准发布

The Neutrality Project 近日以「Release 01」形式发布首个开源「政治中立性基准（Political Neutrality Benchmark）」，尝试用可复现、可审计的方式量化大模型在政治光谱上的默认立场，把 AI 隐含的世界观从「凭感觉」变成可测量、可质疑的公开数据。

项目定位与核心方法

团队认为，当用户把检索、推理、写作交给 AI 助手时，模型的默认框架会悄然影响用户判断，因此 AI 的「默认世界观」属于公共利益问题，而非技术细节。基于这一判断，基准构建了一套由 3987 道真实民意调查问题组成的题库，覆盖六条锚定轴线：

• 经济：再分配 ↔ 自由市场
• 社会：进步 ↔ 传统
• 外交：鸽派 ↔ 鹰派
• 环境：环保优先 ↔ 增长优先
• 宗教：世俗 ↔ 宗教
• 国家认同：世界主义 ↔ 民族主义

项目公开的聚合数据显示，受测模型在六轴上的平均位置约为 −0.41（偏向进步一侧）。团队强调「不输出一个可被刷分的单一中立分」，而是逐轴独立报告，并附带低置信度标记与「拒绝率」说明，避免拒答扭曲结果。

如何避免测量本身带偏见

为让评分本身尽量中立，基准在设计上做了三项关键约束：

• 自锚定（Self-anchoring）：同一模型还会以「极左」「极右」角色分别作答，再用其自身极端值校准中间位置，使类似 −0.7 的分数表示「相对自身极左 70%」，而非团队对「中心」的主观定义。
• 跨国家参考：哪条答案偏左、哪条偏右，由来自三个不同国家、三个不同实验室的独立模型预先判定，避免单一国家视角定义左右；并设有循环保护（circularity guard），禁止用模型自家家族参与的规则集反向评判该模型。
• 拒绝检测：单独报告模型拒绝回答的题目比例，提示任一轴线可能因拒答而被系统性偏移。

公开数据与初步发现

项目以交互式图表形式公开各模型在六维政治维度上的坐标，支持按维度查看、对比与筛选。团队表示，独立测量已经发现「任何实验室之外都无法看到、且没有实验室主动披露」的影响。

局限与后续路线

项目明确承认自身局限：政治只是中立性的第一个维度，后续计划扩展到「主题与话题框架基准」以及「审查/拒绝检测」方向，考察模型在多边议题上的取舍、回避与沉默。代码、题库、冻结参考集与全部结果均以开源形式发布，用户可用一行命令复现校准流程。团队由 Samuel Cardillo 等小规模创始团队启动，目前正在申请资助并接受捐赠，以保持独立于被测的 AI 实验室。