生成式图像模型微调:综合考量偏好与类别体系

14 十一月 20263 视图

本文介绍了一种面向开放领域的 text-to-image 模型后训练方法:该方法在人工偏好信号的基础上,结合基于评分标准的提示词符合度和期望属性检查。结果表明,加权平均奖励的表现不及所提出的方案;在 Arena 快照中,经过微调的 Flux2dev 和 Ideogram-4 的 Elo 评分均显著提升。

生成式图像模型微调:综合考量偏好与类别体系

任务:开放域与两种信号

开放域文本生成图像需要兼顾不同要求,包括与提示词的一致性和人类偏好。单一奖励信号无法覆盖这两类要求。论文《Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards》提出通过组合互补信号进行后训练。

该方法结合了偏好奖励和基于量规的奖励。第一种信号反映人类偏好。第二种信号评估与提示词的一致性及其他期望属性。两者的组合覆盖了请求中的不同方面。结论:在开放域场景中,选择标准是采用相互补充的信号,而非单一信号。它们应兼顾主观选择和任务完成情况。

奖励系统的构成

该系统包含两个主要组件。偏好奖励通过大规模人类偏好数据进行训练,训练时采用 Bradley-Terry objective。这种信号反映人们的选择。

量规用于评估与提示词的一致性及其他期望属性。它们也能防止奖励黑客行为。两个组件各司其职,彼此互补。

组件依据评估内容作用
偏好奖励大规模人类偏好数据、Bradley-Terry objective人们比较结果时的选择优化偏好
基于量规的奖励含有评估标准的量规与提示词的一致性及其他期望属性防止奖励黑客行为

作者提出了对有效奖励的要求:它们应广泛覆盖用户意图,并能抵御优化过程中的利用行为。

结论:选择标准是让量规补充偏好,而不是取代偏好。缺少量规的系统会失去防止奖励黑客行为的保障。缺少偏好的系统则没有以人类选择为依据。

组合而非简单平均

作者指出,朴素的加权平均存在问题。这种平均方式在优化时会导致非最优行为。论文提出了一种奖励组合策略,能够更有效地平衡偏好优化和量规要求的满足。

方法优化时的表现
朴素加权平均行为变得非最优
组合策略更有效地平衡偏好优化和量规要求的满足

组合策略本身成为该方法的一个独立部分。结论:选择标准是采用组合策略,而不只是拥有一组奖励。没有策略,仅靠信号权重并不能保证获得所需行为。

Arena text-to-image 排名结果

在 Arena text-to-image 排名中,模型 Flux2dev 的 Elo 比基线高 69 分。该模型经过了 RL 训练。Ideogram-4 经过后训练后,超过了所有开源模型,其 Elo 为 1223.5。

这些数据展示了后训练在该排名中的效果,并未描述其他应用场景。

模型结果比较对象
经 RL 训练的 Flux2devElo 高出 69 分基线模型
经后训练的 Ideogram-4Elo 1223.5所有开源模型

结论:评估标准是同时考察基线模型和训练条件。对于 Flux2dev,作者给出了相对于基线的提升;对于 Ideogram-4,他们报告了其在开源模型中的排名。

排名快照与数据的局限

关于前沿表现的说法基于 2026 年 9 月 4 日的 Arena 快照。该快照记录了截至该日期的排名情况。作者发布了 Arena-T2I-Training,这是一个规模为 1K 的训练数据子集。

该子集可以复现完整训练带来的一部分提升,另有一些提升不在该子集的复现范围内。验证该方法时,必须区分完整结果与可复现的部分。

结论:选择标准是考虑快照日期和可复现性的边界。不注明这些范围的说法并不完整。

常问问题

生成式图像模型微调:综合考量偏好与类别体系