实证研究：现有预条件器难以提升 TabPFN 生物医学微调表现

一项发表于 arXiv 的实证研究系统评估了多种预条件（preconditioning）策略对 TabPFN v2.5 在生物医学表格数据上进行微调的影响。研究覆盖 59 个数据集，涵盖阿尔茨海默病、乳腺癌、精神分裂症、显著记忆担忧（SMC）、KEEL 生物医学数据集以及 UCI 生物医学基准。结果显示，默认的 AdamW 优化器在整体性能和统计排序上稳定优于其他方案，而现有的曲率感知型预条件器并未在跨场景比较中带来可靠增益。

研究背景

表格基础模型（Tabular Foundation Models）是面向结构化数据的一类新兴预训练模型，TabPFN 凭借在小样本表格分类任务中的表现受到关注。然而，先前工作多聚焦于通用表格任务，面向生物医学场景的微调优化策略研究仍较为稀缺，尤其不同优化器和预条件器的选择对下游预测性能与计算效率的影响尚不明晰。

实验设计

模型与微调对象：TabPFN v2.5 表格基础模型。
优化器配置：在 AdamW 基础上加入 5 种预条件策略进行对比。
数据集：共 59 个生物医学相关数据集，覆盖神经退行性疾病（阿尔茨海默病、SMC）、肿瘤（乳腺癌）、精神疾病（精神分裂症），以及 KEEL 与 UCI 中的生物医学基准。
评估维度：预测性能、计算效率与统计显著性分析。

主要发现

在 5 种预条件策略与默认 AdamW 的横向比较中，原始 AdamW 在整体排名和统计显著性上均取得最佳结果。
曲率感知类预条件器并未在不同生物医学学习场景下提供稳定提升，提示通用型预条件方法难以充分刻画生物医学表格学习的优化特性。
研究还观察到现有预条件方案在部分数据集上带来的收益并不具备跨任务一致性。

结论与启示

该工作从经验层面表明，对于面向医疗的表格基础模型，盲目引入通用预条件器并不一定能换来性能提升。作者据此提出，未来需要设计专门面向生物医学场景、能够捕捉其数据特性与优化特征的「生物医学感知型」预条件器，以进一步释放表格基础模型在医疗结构化数据上的潜力。