生成式图像模型微调:综合考量偏好与类别体系
本文介绍了一种面向开放领域的 text-to-image 模型后训练方法:该方法在人工偏好信号的基础上,结合基于评分标准的提示词符合度和期望属性检查。结果表明,加权平均奖励的表现不及所提出的方案;在 Arena 快照中,经过微调的 Flux2dev 和 Ideogram-4 的 Elo 评分均显著提升。

任务:开放域与两种信号
开放域文本生成图像需要兼顾不同要求,包括与提示词的一致性和人类偏好。单一奖励信号无法覆盖这两类要求。论文《Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards》提出通过组合互补信号进行后训练。

该方法结合了偏好奖励和基于量规的奖励。第一种信号反映人类偏好。第二种信号评估与提示词的一致性及其他期望属性。两者的组合覆盖了请求中的不同方面。结论:在开放域场景中,选择标准是采用相互补充的信号,而非单一信号。它们应兼顾主观选择和任务完成情况。
奖励系统的构成
该系统包含两个主要组件。偏好奖励通过大规模人类偏好数据进行训练,训练时采用 Bradley-Terry objective。这种信号反映人们的选择。
量规用于评估与提示词的一致性及其他期望属性。它们也能防止奖励黑客行为。两个组件各司其职,彼此互补。
| 组件 | 依据 | 评估内容 | 作用 |
|---|---|---|---|
| 偏好奖励 | 大规模人类偏好数据、Bradley-Terry objective | 人们比较结果时的选择 | 优化偏好 |
| 基于量规的奖励 | 含有评估标准的量规 | 与提示词的一致性及其他期望属性 | 防止奖励黑客行为 |
作者提出了对有效奖励的要求:它们应广泛覆盖用户意图,并能抵御优化过程中的利用行为。
结论:选择标准是让量规补充偏好,而不是取代偏好。缺少量规的系统会失去防止奖励黑客行为的保障。缺少偏好的系统则没有以人类选择为依据。
组合而非简单平均
作者指出,朴素的加权平均存在问题。这种平均方式在优化时会导致非最优行为。论文提出了一种奖励组合策略,能够更有效地平衡偏好优化和量规要求的满足。
| 方法 | 优化时的表现 |
|---|---|
| 朴素加权平均 | 行为变得非最优 |
| 组合策略 | 更有效地平衡偏好优化和量规要求的满足 |
组合策略本身成为该方法的一个独立部分。结论:选择标准是采用组合策略,而不只是拥有一组奖励。没有策略,仅靠信号权重并不能保证获得所需行为。
Arena text-to-image 排名结果
在 Arena text-to-image 排名中,模型 Flux2dev 的 Elo 比基线高 69 分。该模型经过了 RL 训练。Ideogram-4 经过后训练后,超过了所有开源模型,其 Elo 为 1223.5。
这些数据展示了后训练在该排名中的效果,并未描述其他应用场景。
| 模型 | 结果 | 比较对象 |
|---|---|---|
| 经 RL 训练的 Flux2dev | Elo 高出 69 分 | 基线模型 |
| 经后训练的 Ideogram-4 | Elo 1223.5 | 所有开源模型 |
结论:评估标准是同时考察基线模型和训练条件。对于 Flux2dev,作者给出了相对于基线的提升;对于 Ideogram-4,他们报告了其在开源模型中的排名。
排名快照与数据的局限
关于前沿表现的说法基于 2026 年 9 月 4 日的 Arena 快照。该快照记录了截至该日期的排名情况。作者发布了 Arena-T2I-Training,这是一个规模为 1K 的训练数据子集。
该子集可以复现完整训练带来的一部分提升,另有一些提升不在该子集的复现范围内。验证该方法时,必须区分完整结果与可复现的部分。
结论:选择标准是考虑快照日期和可复现性的边界。不注明这些范围的说法并不完整。
常问问题
相关材料
所有材料
Zero2Repo 基准测试:从空目录自主构建项目的极限
研究建议在完整的仓库构建任务中评估编码智能体:输入包括规格说明、接口契约和空白环境,评估则通过隐藏测试进行,不使用 LLM 评判。即使是领先的智能体,也很少能通过所有检查;大多数失败都源于遗漏了个别需求项。
13 十一月 2026
FedSocket:多模态异构环境下可交换模型须确保接收方可执行
提出了 FedSocket:一种要求交换的模型必须能在接收方一侧计算的方法,并通过统一的预测接口 Q 连接异构的私有模型。文章介绍了基于成员归属的聚合、仅转发 Q 的参数及计数器,并在六个数据集上进行了实验,展示了在模态缺失时准确率的提升,以及 Joint 推理相较于独立集成的优势。
13 十一月 2026
CyberArena:AI 智能体对战揭示静态网络安全基准测试的局限性
该基准测试将两个智能体置于服务持续变化的沙盒中,并在多轮对战后将它们的行动汇总为进攻和防御能力的多维评分。在 466 场比赛、12 个现代模型的测试中,它能够区分单边测试达到上限时难以辨别的能力,包括多步规划和后门创建。
13 十一月 2026