Aprendizagem em contexto para dados tabulares com especialistas esparsos: a compacta OrionMoE-Small-v1.0

15 novembro 20261 visualizações

É apresentado um modelo base compacto para tarefas tabulares, que prevê novas observações a partir de uma tabela de referência rotulada, sem ajustar parâmetros. A seleção adaptativa de especialistas, tendo em conta o conjunto de dados e as representações das características, produz resultados competitivos, sobretudo com pouco contexto e elevada dimensionalidade.

Aprendizagem em contexto para dados tabulares com especialistas esparsos: a compacta OrionMoE-Small-v1.0

Aprendizagem tabular em contexto: essência do regime

O modelo prevê observações não vistas com base numa tabela de suporte anotada. O modelo não atualiza os parâmetros para uma tarefa específica. O artigo descreve o OrionMoE-Small-v1.0 — um modelo-base tabular compacto para aprendizagem em contexto.

Elementos-chave do regime:

  • entrada — uma tabela de suporte anotada;
  • objetivo — prever observações não vistas;
  • adaptação — sem atualização dos parâmetros para uma tarefa específica;
  • regime — aprendizagem em contexto.

Critério prático: a tarefa permite fazer previsões com base numa tabela de suporte anotada. Não é necessária uma adaptação à tarefa por gradiente.

Arquitetura: transformer de eixo duplo e especialistas esparsos

O OrionMoE-Small-v1.0 assenta numa arquitetura de transformer de eixo duplo. O modelo combina representações que têm em conta a distribuição dos dados com computação esparsa de mistura de especialistas. Esta computação é condicionada pelo conjunto de dados. A seleção dos especialistas ativados tem em conta as representações de células individuais e o contexto do conjunto completo.

Estrutura do modelo:

  • arquitetura — transformer de eixo duplo;
  • representações — com consideração pela distribuição dos dados;
  • computação — mistura esparsa de especialistas, condicionada pelo conjunto de dados;
  • seleção de especialistas — com base nas representações das células e no contexto do conjunto;
  • distribuição da computação — adaptativa entre tarefas tabulares heterogéneas;
  • percurso de computação — comum a diferentes tarefas.

Critério prático: as tarefas tabulares heterogéneas exigem uma distribuição adaptativa da computação. O modelo mantém um percurso de computação comum para diferentes tarefas.

Treino: tarefas de classificação sintéticas

O modelo foi pré-treinado exclusivamente em tarefas de classificação sintéticas. Estas tarefas assentam numa distribuição prévia causal estruturada. Para tarefas subsequentes, o modelo faz previsões sem adaptação por gradiente. A anotação indica o nome OrionMoE-Small-v1.0.

Autores do artigo: Mohamed Bouadi, Nassim Bouarour, Aditya Tanna, Vinay Kumar Sankarapu. Os autores submeteram o artigo a 14 de outubro de 2026. A última revisão foi publicada a 18 de outubro de 2026. A versão do artigo é a v2.

O que se sabe sobre o treino:

  • dados — exclusivamente tarefas de classificação sintéticas;
  • base — uma distribuição prévia causal estruturada;
  • tarefas subsequentes — sem adaptação por gradiente.

Critério prático: a fonte descreve o pré-treino apenas em tarefas de classificação sintéticas. Não são apresentados dados sobre outros tipos de tarefas.

Resultados e critérios de aplicação

O OrionMoE-Small-v1.0 apresentou resultados competitivos em vários benchmarks tabulares. A comparação foi feita com modelos-base substancialmente maiores. A análise destacou resultados especialmente fortes em conjuntos de dados com contexto reduzido e elevada dimensionalidade. Uma análise adicional revelou resultados relativos favoráveis perante o desequilíbrio de classes.

CenárioO que a análise revelou
Comparação com modelos-base substancialmente maioresresultados competitivos
Contexto reduzido e elevada dimensionalidaderesultados especialmente fortes
Desequilíbrio de classesresultados relativos favoráveis
Composição de característicasa análise destacou a sua importância

Critério prático: contexto reduzido e elevada dimensionalidade são condições em que os resultados são especialmente fortes. O desequilíbrio de classes e a composição de características são pontos de análise distintos.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
Reparação limitada de táticas em Lean 4 com base no diagnóstico do compilador
Notícias

Reparação limitada de táticas em Lean 4 com base no diagnóstico do compilador

É proposto um módulo passo a passo que, em vez de descartar uma tática rejeitada, pede ao modelo de correção que a corrija até R vezes, tendo em conta o erro do Lean; com K candidatos, isso aumenta a proporção de problemas resolvidos. As experiências no LeanDojo e no Lean Workbook mostram ganhos sobretudo graças a falhas de execução pouco profundas, à custa de um aumento do tempo de pesquisa.

16 novembro 2026
Método Genesis Steering: direcionamento de ativações com dados usados no ajuste fino
Notícias

Método Genesis Steering: direcionamento de ativações com dados usados no ajuste fino

O método extrai um vetor de controle a partir de exemplos contrastivos presentes nos dados de fine-tuning e, quando estes não estão disponíveis, seleciona prováveis amostras de treino através de inferência de membership e cria um conjunto proxy. A parte teórica descreve o desvio ótimo em direção à fronteira de decisão e a avaliação com dados proxy; empiricamente, os dados internos do Tülu-3-8B produzem um efeito mais acentuado do que os conjuntos externos, enquanto a utilidade do proxy MIA no Llama-3.1-8B-Instruct é limitada pela relação entre os desvios de direção.

16 novembro 2026
Busca local de deslocamentos de covariáveis para perfis com previsões não confiáveis
Notícias

Busca local de deslocamentos de covariáveis para perfis com previsões não confiáveis

O artigo descreve um pipeline de diagnóstico que primeiro identifica grupos interpretáveis de pacientes para os quais o modelo apresenta baixa confiança e, em seguida, verifica a presença de um deslocamento prejudicial de covariáveis dentro desses grupos. Em experimentos com o MIMIC-IV, três tarefas clínicas e três deslocamentos artificiais de subgrupos, a abordagem ajudou a localizar um deslocamento relacionado à idade, pouco perceptível na avaliação agregada.

15 novembro 2026
Aprendizagem em contexto para dados tabulares com especialistas esparsos: a compacta OrionMoE-Small-v1.0