RHT:面向医疗多表数据的超图Transformer架构
研究者提出 Relational Hypergraph Transformer,以超图表示关系型数据库并学习五维嵌入,在…
关系型数据库在医疗等复杂信息系统中的多表学习一直是机器学习领域的难点。这类数据兼具大规模、高维变量、高基数类别特征、表间复杂依赖以及重复的时间观测等多重复杂性,传统模型往往难以兼顾表达力与计算效率。近日发表于 arXiv 的一项研究提出了 Relational Hypergraph Transformer(RHT),试图用统一的架构处理这一类问题。
核心思路:把关系库建模为超图
RHT 将整张关系型数据库视为一个超图(hypergraph),其中节点代表实体,超边代表表与表之间的多对多关系。在此基础上,模型学习一种被作者称为「五维嵌入」(Pentadimensional Embedding, PentE)的表示,用于同时刻画实体在多个关系维度上的语义信息。
为缓解标准 Transformer 自注意力对实体数量的二次依赖,RHT 引入了稀疏关系注意力机制。作者在论文中推导出该注意力机制的计算复杂度与平均关系度(average relational degree)成正比,而非随实体总数的平方增长,从而在保持建模能力的同时提高了可扩展性。
基准实验:在 Synthea 上对比多种基线
研究团队在公开的 Synthea 合成电子病历数据集上对 RHT 进行了评估,任务为针对每次就诊(encounter)进行 SNOMED CT 条件编码的多标签预测。该任务典型特征是类别基数极高且标签分布长尾(long-tailed),是检验多表学习能力的合适场景。
实验中,作者将 RHT 与多种基线进行比较,覆盖:
- 表格类模型(如经典表格学习方法)
- 关系型学习模型
- 时序图模型
对比结果显示:
- 在稀有编码的召回率(rare-code recall)指标上,XGBoost 表现最佳;
- 在嵌入语义一致性方面,RHT 取得最强结果;
- 整体上 RHT 在表达力与计算可扩展性之间取得了较好的平衡。
此外,论文还通过消融实验(ablation study)量化了 RHT 各架构组件的贡献,进一步说明了超图结构、五维嵌入和稀疏关系注意力各自的作用。
开源与未来工作
作者随论文提供了开源的参考实现与实验协议,便于其他团队复现与扩展。需要指出的是,论文中的临床验证计划在 MIMIC-IV 真实电子病历数据集上进行,但该工作目前仍在等待 PhysioNet 凭证审核,因此尚未给出真实临床环境下的最终结果。
小结
RHT 的贡献主要在于提出了一种将关系型数据库统一为超图、并以稀疏注意力提升可扩展性的端到端架构。它更适合需要融合多张表、处理高基数类别与时间序列的工业级场景,对于关注结构化数据深度学习的从业者具有参考价值。
