Fita

80 materiais

Ordenação
Notícias30 outubro 2026

Método GoldiMask para o ajuste fino de modelos de linguagem de difusão: seleção de contexto e ponderação dos alvos

O trabalho apresenta o GoldiMask — uma abordagem de ajuste fino supervisionado para modelos de linguagem com difusão discreta, que seleciona tokens visíveis por meio da maximização aproximada de uma função submodular e atribui pesos aos objetivos restantes com base na sua utilidade para o treino. As experiências com vários modelos e conjuntos de dados demonstram um aumento da precisão média, ganhos em tarefas de raciocínio lógico e programação, bem como menos iterações de descodificação paralela no GSM8K e no MATH-500, com qualidade semelhante.

Método GoldiMask para o ajuste fino de modelos de linguagem de difusão: seleção de contexto e ponderação dos alvos
Ler
Como-fazer10 outubro 2026

MSEB da Google Research: implementação de codificadores de áudio segundo o contrato do benchmark e avaliação em quatro classes de tarefas

Análise prática do pacote mseb==0.1.0: arquitetura em camadas types, encoder e evaluators, dois encoders de demonstração num corpus sintético e chamada direta das métricas de classificação, clustering, pesquisa e segmentação. O material mostra como adaptar o seu próprio modelo ao MultiModalEncoder abstrato, interpretar o formato SoundEmbedding e criar TaskMetadata para posterior envio para o benchmark.

MSEB da Google Research: implementação de codificadores de áudio segundo o contrato do benchmark e avaliação em quatro classes de tarefas
Ler
Notícias5 outubro 2026

LoRA de base nula para ajustar LLMs após o RL sem perder competências de raciocínio

Os autores propõem um método de adaptação eficiente em termos de parâmetros para modelos treinados por reforço, no qual as atualizações LoRA são projetadas num espaço nulo aproximado das ativações de raciocínio. Esta abordagem permite preservar a precisão do raciocínio ao nível anterior ao ajuste fino, sem comprometer a qualidade da adaptação em comparação com a LoRA convencional.

LoRA de base nula para ajustar LLMs após o RL sem perder competências de raciocínio
Ler