arXiv 论文：Transformer 强化学习智能体在隐藏规则博弈中的概念迁移研究

arXiv 上线了一篇题为《AI Learning and Conceptual Transfer in the Game of Hidden Rules》的预印本文章，研究聚焦于一个被称为「隐藏规则博弈（Game of Hidden Rules, GOHR）」的自定义环境中，智能体如何通过试错反馈推断环境中的潜在规则，并实现概念的迁移与泛化。原文摘要信息较为简略，未给出具体的实验数据、基准结果或对比数字，下文仅基于公开摘要可获取的事实进行概述。

研究背景与问题设定

文章将「隐藏规则博弈」作为研究载体，关注强化学习智能体在只能观察到部分反馈的情况下，对环境底层规则进行推断的能力。

• 环境设定：智能体通过反复试错获取反馈，而非直接获得规则描述。
• 核心任务：从交互轨迹中归纳隐藏规则，并据此调整决策策略。

方法框架

研究采用基于 Transformer 的 A2C（Advantage Actor-Critic）强化学习框架，并引入两种不同的表征设计进行对比：

• Feature-Centric 表征：以特征维度为中心组织观测输入。
• Object-Centric 表征：以对象维度为中心组织观测输入。

作者通过这两类表征考察智能体对环境结构的归纳能力差异，以及不同难度规则下的学习曲线。

迁移与泛化

文章的另一重点是「概念迁移」，即智能体在一个或一组隐藏规则上学到的归纳能力，能否泛化到新的、未见过的规则组合。摘要中提到，研究涉及：

• 规则难度分析：对不同复杂度的隐藏规则进行分级。
• 迁移学习实验：评估在已学规则上预训练后，在新规则上的表现。
• 人类学习数据分类：借助伪机器人（pseudo-bot）辅助分析人类在该环境下的学习行为数据。

局限与说明

需要指出的是，公开摘要中并未披露具体的成功率、基准分数、参数量或与其他方法的定量对比，也未说明该论文是否经过同行评审。因此，本文更适合作为方向性参考，而非可直接引用的实验结论。