Ajuste fino de modelos generativos de imagens: consideração conjunta de preferências e rubricas

14 novembro 20263 visualizações

O artigo descreve um método de pós-treinamento de modelos text-to-image em domínio aberto, no qual o sinal das preferências humanas é complementado por verificações baseadas em rubricas de conformidade com o prompt e de propriedades desejadas. Os resultados mostram que a média ponderada das recompensas tem desempenho inferior ao esquema proposto e que, no snapshot do Arena, os modelos Flux2dev e Ideogram-4 pós-treinados apresentam um aumento expressivo no Elo.

Ajuste fino de modelos generativos de imagens: consideração conjunta de preferências e rubricas

Tarefa: domínio aberto e dois sinais

A geração de imagens a partir de texto em domínio aberto exige ter em conta diferentes requisitos. Entre eles estão a correspondência com o prompt e as preferências humanas. Um único sinal de recompensa não abrange os dois tipos de requisitos. O trabalho «Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards» propõe o pós-treino com uma combinação de sinais complementares.

O método combina a recompensa por preferências e as recompensas baseadas em rubricas. O primeiro sinal reflete as preferências humanas. O segundo verifica a correspondência com o prompt e outras propriedades desejáveis. A combinação abrange diferentes aspetos do pedido. Conclusão: em domínio aberto, o critério de seleção é a presença de sinais complementares, e não de apenas um. Devem abranger tanto a escolha subjetiva como a execução da tarefa.

Estrutura do sistema de recompensas

O sistema inclui dois componentes principais. A recompensa por preferências é treinada com dados de preferências humanas em larga escala. Para o treino, é utilizada a função objetivo Bradley-Terry. Este sinal reflete as escolhas das pessoas.

As rubricas avaliam a correspondência com o prompt e outras propriedades desejáveis. Também oferecem proteção contra reward hacking. Os componentes desempenham funções diferentes e complementam-se.

ComponenteEm que se baseiaO que verificaFunção
Recompensa por preferênciasDados de preferências humanas em larga escala, função objetivo Bradley-TerryEscolhas das pessoas ao comparar resultadosOtimização das preferências
Recompensas baseadas em rubricasRubricas com critériosCorrespondência com o prompt e outras propriedades desejáveisProteção contra reward hacking

Os autores definem os requisitos para recompensas eficazes. Devem abranger amplamente as intenções dos utilizadores. Devem ser resistentes à exploração durante a otimização.

Conclusão: o critério de seleção é que as rubricas complementem as preferências, em vez de as substituírem. Um sistema sem rubricas perde a proteção contra reward hacking. Um sistema sem preferências não se baseia nas escolhas humanas.

Combinar em vez de calcular uma média simples

Os autores referem um problema com a média ponderada ingénua. Durante a otimização, esta média conduz a um comportamento não ideal. O trabalho propõe uma estratégia de combinação de recompensas. Esta equilibra de forma mais eficaz a otimização das preferências e o cumprimento das rubricas.

AbordagemO que acontece durante a otimização
Média ponderada ingénuaO comportamento torna-se não ideal
Estratégia de combinaçãoA otimização das preferências e o cumprimento das rubricas ficam mais bem equilibrados

A estratégia de combinação passa a ser uma parte independente do método. Conclusão: o critério de seleção é a existência de uma estratégia de combinação, e não apenas de um conjunto de recompensas. Os pesos dos sinais, sem uma estratégia, não garantem o comportamento pretendido.

Resultados no ranking Arena text-to-image

No ranking Arena text-to-image, o modelo Flux2dev obteve um Elo 69 pontos acima do modelo de base. O modelo foi submetido a treino por RL. Após o pós-treino, o modelo Ideogram-4 superou todos os modelos de código aberto. O seu Elo foi de 1223.5.

Estes dados mostram o efeito do pós-treino no âmbito do ranking. Não descrevem outros cenários de utilização.

ModeloResultadoComparação
RL-trained Flux2devElo 69 pontos acimaModelo de base
Post-trained Ideogram-4Elo de 1223.5Todos os modelos de código aberto

Conclusão: o critério de avaliação é considerar o modelo de base e as condições de treino. Para Flux2dev, os autores apresentam o aumento em relação ao modelo de base. Para Ideogram-4, indicam a posição entre os modelos abertos.

Limitações do instantâneo do ranking e dos dados

As afirmações sobre resultados de ponta dizem respeito ao instantâneo do Arena de 4 de setembro de 2026. O instantâneo regista o estado do ranking nessa data. Os autores lançaram o Arena-T2I-Training. Trata-se de um subconjunto de 1K dos dados de treino.

Permite reproduzir parte das melhorias do treino completo. Parte das melhorias não está incluída no subconjunto. Para verificar o método, é importante distinguir o resultado completo da parte reproduzível.

Conclusão: o critério de seleção é ter em conta a data do instantâneo e os limites da reprodutibilidade. Uma afirmação sem estes limites fica incompleta.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio
Notícias

Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio

O estudo propõe avaliar agentes de programação numa compilação completa do repositório: a entrada é uma especificação, um contrato de interface e um ambiente vazio; a verificação é feita com testes ocultos, sem um avaliador baseado em LLM. Mesmo os agentes líderes raramente passam em todas as verificações, e a maioria das falhas deve-se a requisitos específicos que não foram cumpridos.

13 novembro 2026
FedSocket: modelos intercambiáveis com executabilidade obrigatória no destinatário perante a heterogeneidade multimodal
Notícias

FedSocket: modelos intercambiáveis com executabilidade obrigatória no destinatário perante a heterogeneidade multimodal

É proposto o FedSocket — uma abordagem em que o modelo partilhado tem de poder ser executado no lado do destinatário, enquanto modelos privados heterogéneos são ligados por uma interface comum de previsões Q. O artigo descreve a agregação que tem em conta a pertença, o envio apenas dos parâmetros Q juntamente com os contadores e experiências em seis conjuntos de dados, que demonstram um aumento da precisão quando faltam modalidades e a vantagem da inferência conjunta sobre conjuntos independentes.

13 novembro 2026
CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança
Notícias

CyberArena: confrontos entre agentes de IA revelam os limites dos benchmarks estáticos de cibersegurança

O benchmark coloca dois agentes em ambientes isolados com serviços em constante mudança e, após uma série de rodadas, resume as suas ações em avaliações multidimensionais de competências ofensivas e defensivas. Em 466 partidas com 12 modelos de ponta, distinguiu capacidades onde os testes unilaterais atingem o seu limite, incluindo o planeamento de vários movimentos e a criação de backdoors.

13 novembro 2026
Ajuste fino de modelos generativos de imagens: consideração conjunta de preferências e rubricas