Ribbon

80 materiales

Clasificación
Noticias30 octubre 2026

Método GoldiMask para el ajuste fino de modelos de lenguaje de difusión: selección del contexto y ponderación de objetivos

Este trabajo presenta GoldiMask, un enfoque de ajuste fino supervisado para modelos de lenguaje con difusión discreta que selecciona los tokens visibles mediante la maximización aproximada de una función submodular y asigna pesos a los objetivos restantes según su utilidad para el entrenamiento. Los experimentos con varios modelos y conjuntos de datos muestran un aumento de la precisión media y mejoras en tareas de razonamiento lógico y programación, además de menos iteraciones de decodificación paralela en GSM8K y MATH-500 con una calidad similar.

Método GoldiMask para el ajuste fino de modelos de lenguaje de difusión: selección del contexto y ponderación de objetivos
Leer
¿Cómo10 octubre 2026

MSEB de Google Research: implementación de codificadores de audio conforme al contrato del benchmark y evaluación en cuatro clases de tareas

Análisis práctico del paquete mseb==0.1.0: arquitectura por capas de types, encoder y evaluators, dos codificadores de demostración sobre un corpus sintético y llamada directa a métricas de clasificación, agrupamiento, búsqueda y segmentación. El material muestra cómo adaptar un modelo propio al MultiModalEncoder abstracto, interpretar el formato SoundEmbedding y crear TaskMetadata para enviarlo posteriormente a un benchmark.

MSEB de Google Research: implementación de codificadores de audio conforme al contrato del benchmark y evaluación en cuatro clases de tareas
Leer
Noticias5 octubre 2026

LoRA de base cero para el ajuste fino de LLM tras el RL sin perder las capacidades de razonamiento

Los autores proponen un método de adaptación paramétricamente eficiente para modelos entrenados mediante aprendizaje por refuerzo, en el que las actualizaciones de LoRA se proyectan en un espacio nulo aproximado de las activaciones de razonamiento. Este enfoque permite conservar una precisión de razonamiento comparable a la del modelo antes del ajuste fino, sin sacrificar la calidad de adaptación de la LoRA convencional.

LoRA de base cero para el ajuste fino de LLM tras el RL sin perder las capacidades de razonamiento
Leer