Aprendizaje en contexto de datos tabulares con expertos dispersos: OrionMoE-Small-v1.0, un modelo compacto
Se presenta un modelo básico y compacto para tareas tabulares que predice nuevas observaciones a partir de una tabla de referencia etiquetada, sin ajustar parámetros adicionales. La selección adaptativa de expertos en función del conjunto de datos y de las representaciones de características ofrece resultados competitivos, especialmente con poco contexto y alta dimensionalidad.

Aprendizaje en contexto con tablas: en qué consiste el modo
El modelo predice observaciones no vistas a partir de una tabla de soporte etiquetada. No actualiza sus parámetros para una tarea específica. El artículo describe OrionMoE-Small-v1.0, un modelo base compacto para tablas diseñado para el aprendizaje en contexto.

Elementos clave del modo:
- entrada: una tabla de soporte etiquetada;
- objetivo: predecir observaciones no vistas;
- adaptación: sin actualizar los parámetros para una tarea específica;
- modo: aprendizaje en contexto.
Criterio práctico: la tarea permite hacer predicciones a partir de una tabla de soporte etiquetada. No se necesita adaptación de gradiente a la tarea.
Arquitectura: transformer de doble eje y expertos dispersos
OrionMoE-Small-v1.0 se basa en una arquitectura de transformer de doble eje. El modelo combina representaciones que tienen en cuenta la distribución de los datos con cálculos dispersos de una mezcla de expertos. Estos cálculos están condicionados por el conjunto de datos. La selección de los expertos activados tiene en cuenta las representaciones de las celdas individuales y el contexto del conjunto completo.
Estructura del modelo:
- arquitectura: transformer de doble eje;
- representaciones: tienen en cuenta la distribución de los datos;
- cálculos: mezcla dispersa de expertos condicionada por el conjunto de datos;
- selección de expertos: basada en las representaciones de las celdas y el contexto del conjunto;
- distribución del cómputo: adaptativa para tareas tabulares heterogéneas;
- ruta de cómputo: compartida entre distintas tareas.
Criterio práctico: las tareas tabulares heterogéneas requieren una distribución adaptativa del cómputo. El modelo mantiene una ruta de cómputo compartida para distintas tareas.
Entrenamiento: tareas de clasificación sintéticas
El modelo se preentrenó exclusivamente con tareas de clasificación sintéticas. Estas tareas se basan en una distribución previa causal estructurada. Para las tareas posteriores, el modelo realiza predicciones sin adaptación de gradiente. La anotación indica el nombre OrionMoE-Small-v1.0.
Autores del artículo: Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu. Los autores enviaron el artículo el 14 de octubre de 2026. La última revisión se publicó el 18 de octubre de 2026. La versión del artículo es v2.
Lo que se sabe sobre el entrenamiento:
- datos: exclusivamente tareas de clasificación sintéticas;
- base: una distribución previa causal estructurada;
- tareas posteriores: sin adaptación de gradiente.
Criterio práctico: la fuente describe un preentrenamiento realizado solo con tareas de clasificación sintéticas. No aporta datos sobre otros tipos de tareas.
Resultados y criterios de aplicación
OrionMoE-Small-v1.0 obtuvo resultados competitivos en varios benchmarks tabulares. Se comparó con modelos base considerablemente más grandes. El análisis destacó unos resultados especialmente sólidos en conjuntos de datos con poco contexto y alta dimensionalidad. Un análisis adicional mostró resultados relativos favorables en presencia de desequilibrio de clases.
| Escenario | Qué mostró el análisis |
|---|---|
| Comparación con modelos base considerablemente más grandes | resultados competitivos |
| Poco contexto y alta dimensionalidad | resultados especialmente sólidos |
| Desequilibrio de clases | resultados relativos favorables |
| Composición de características | el análisis destacó su importancia |
Criterio práctico: el poco contexto y la alta dimensionalidad son condiciones en las que se obtuvieron resultados especialmente sólidos. El desequilibrio de clases y la composición de características son aspectos distintos del análisis.
Preguntas frecuentes
Material similar
Todos los materiales
Reparación limitada de tácticas en Lean 4 basada en el diagnóstico del compilador
Se propone un módulo paso a paso que, en lugar de descartar una táctica rechazada, pide al modelo corrector que la revise hasta R veces teniendo en cuenta el error de Lean; con K candidatos, esto aumenta la proporción de problemas resueltos. Los experimentos con LeanDojo y Lean Workbook muestran que la mejora se debe principalmente a fallos de ejecución poco profundos, a costa de un mayor tiempo de búsqueda.
16 noviembre 2026
Método Genesis Steering: control de activaciones en los datos utilizados durante el ajuste fino
El método extrae un vector de control a partir de ejemplos contrastivos presentes en los datos de ajuste fino y, si estos no están disponibles, selecciona posibles muestras de entrenamiento mediante inferencia de pertenencia y crea un conjunto proxy. La parte teórica describe el desplazamiento óptimo hacia el límite de decisión y la evaluación con datos proxy; empíricamente, los datos internos de Tülu-3-8B producen un efecto más pronunciado que los conjuntos externos, mientras que la utilidad del proxy MIA en Llama-3.1-8B-Instruct está limitada por la relación entre los desplazamientos de dirección.
16 noviembre 2026
Búsqueda local de cambios en las covariables para perfiles con predicciones poco fiables
El artículo describe un flujo de diagnóstico que primero identifica grupos de pacientes interpretables en los que el modelo tiene poca confianza y, después, comprueba si existe un cambio perjudicial de covariables dentro de esos grupos. En los experimentos con MIMIC-IV, tres tareas clínicas y tres cambios artificiales en subgrupos, el enfoque permitió localizar un cambio relacionado con la edad que apenas se apreciaba en la evaluación agregada.
15 noviembre 2026