桃子桃子快讯
返回首页
研究论文

TILT:无需训练的扩散模型组合生成增强框架

研究者提出 TILT,一种基于测试时奖励对齐的无训练框架,通过模型内在奖励提升文生图的组合一致性,在 T2ICompBe…

2026.07.27 · 周一2 分钟阅读

围绕文生图模型在处理复杂组合提示时常见的属性错配、对象遗漏等问题,来自 arXiv 的最新论文提出了名为 TILT 的解决方案。研究者认为,组合生成失败本质上源于联合概念分布与单一概念分布之间的重叠模式,并据此设计了一种无需额外监督、来自基础模型自身的内在奖励,用以引导采样过程兼顾所有概念的同时出现。

核心思路:模型内在奖励

TILT 全称为 Test-time Intrinsic reward alignment,核心在于把组合对齐拆解为一个可控的采样问题,而非依赖外部分类器或奖励模型:

  • 将组合失败建模为联合分布与单概念分布之间的「重叠模式」。
  • 奖励信号偏向所有概念联合出现的样本,且仅依赖模型自身,无需外部奖励模型监督。
  • 在 KL 散度约束下导出具有闭式解的「倾斜」目标分布,并给出原理清晰的扩散采样引导步骤。

两种引导策略与混合方案

研究者指出,不同概念分布之间的相互作用会自然催生两种不同的引导策略,而将两者以混合方式平衡则可获得更强的实际表现。该设计使得 TILT 在不重训基础模型的前提下,对组合提示的对齐效果进行针对性增强。

实验与结果

论文在 T2ICompBench 基准上对 TILT 进行了评估,结果显示其在组合对齐指标上较此前方法有提升,同时保持了图像整体质量。具体实验配置、参数量与定量数字仍需查阅正文与附录以确认,但摘要给出的定性结论表明,TILT 已具备替代或补充现有测试时干预方法的潜力。

价值与局限

TILT 的最大优势是无需任何额外训练或外部奖励模型,部署门槛低,适合作为现有扩散模型推理流程的「插件」。其局限在于当前的实验主要围绕公开的 T2ICompBench 提示集展开,在更复杂、更长上下文的真实用户提示上的表现,以及对不同基础模型(如 SDXL、Flux 等)的迁移效果,仍有待进一步验证。

信源