MaRK: modulação contextual dos parâmetros recorrentes em SSM pré-treinados

14 novembro 20262 visualizações

É proposta uma abordagem que adapta ao contexto o operador recorrente de um modelo de espaço de estados congelado por meio de alterações de parâmetros de baixo posto, influenciando o núcleo «entrada—saída» em cada etapa da geração. A comparação entre três geometrias de adaptadores mostra a vantagem dos polinómios de Chebyshev em termos de erro de validação, enquanto a parametrização restrita permite uma verificação analítica da estabilidade.

MaRK: modulação contextual dos parâmetros recorrentes em SSM pré-treinados

Objetivo e essência de MaRK

MaRK (Markov-adapted Recurrent Kernels) é uma estrutura de condicionamento dinâmico de operadores. Mapeia vetores de contexto em modulações limitadas de operadores de recorrência.

  • Na representação LPV-SSM, MaRK define uma família de sequências de parâmetros de Markov indexada pelo contexto.
  • A abordagem foi concebida para SSM pré-treinadas.
  • Os mecanismos de condicionamento comuns mantêm inalterada a dinâmica temporal de base. Entre eles estão a introdução de informação na entrada e a modulação das ativações.

Critério prático: MaRK é necessária quando se pretende alterar a dinâmica temporal da SSM, e não apenas os dados de entrada ou as ativações.

Que parâmetros da SSM são modulados

MaRK modula cinco grupos de parâmetros de uma SSM congelada:

  • A — recorrência;
  • B — leitura na entrada;
  • C — leitura na saída;
  • D — ligação de bypass;
  • Δ — discretização.

Critério prático: MaRK altera A, B, C, D e Δ. Se a tarefa exigir a alteração destes parâmetros, a abordagem abrange-os.

Adaptadores e treino com a base congelada

MaRK utiliza um modelo de base Hydra SSM congelado, com 111 milhões de parâmetros. O estudo abrange três geometrias de adaptadores:

  • Hypernet;
  • polinómios de Chebyshev;
  • núcleos de Transformada Discreta do Cosseno (DCT).

Os adaptadores alteram a sequência de parâmetros de Markov através de mapeamentos auxiliares de baixo posto. O modelo de base permanece congelado.

A transição de uma função objetivo bidirecional para um modo de difusão iterativa requer 6,3–11 milhões de parâmetros auxiliares treináveis. Critério prático: apenas os mapeamentos auxiliares precisam de ser treinados, mantendo-se a SSM de base congelada.

Resultados experimentais e escolha da geometria

Em experiências sintéticas de reconstrução de LPV e diagnóstico de operadores de Markov, MaRK reconstrói operadores temporais invariantes às coordenadas, quando as hipóteses coincidem. O método gera perfis de memória distintos e estáveis, condicionados pelo passo temporal.

Geometria do adaptadorPerda de validação
Chebyshev2.55
DCT2.59
Hypernet3.77

A melhor perda de validação entre as três opções é 2.55, obtida com Chebyshev. DCT obteve 2.59 e Hypernet, 3.77. Critério prático: se a escolha se basear na perda de validação nas experiências descritas, Chebyshev obteve 2.55, DCT — 2.59 e Hypernet — 3.77. A escolha da geometria do adaptador influencia o resultado.

Estabilidade e limites de aplicabilidade

A parametrização limitada da recorrência fornece um certificado analítico de Estabilidade Quadrática Afim para a recorrência modulada. MaRK destina-se à geração iterativa com SSM pré-treinadas. Cada passo de difusão pode alterar o núcleo de memória de entrada-saída do modelo.

Critério prático: MaRK é adequada quando se necessita de um certificado analítico de estabilidade e da alteração do núcleo de memória em cada passo de difusão.

Estado da publicação e versão

  • Autores do trabalho: Syed Ibrahim Omer, Ginny Y. Wong, Xiangyu Zhao.
  • O artigo arXiv:2610.09092 contém a versão v1, de 6 de outubro de 2026.
  • A última revisão é de 18 de outubro de 2026 (versão v3).
  • A referência da revista indica NeurIPS 2026 Submission.

Critério prático: uma referência correta aos resultados inclui a versão v3, de 18 de outubro de 2026, e o estado NeurIPS 2026 Submission.

Perguntas mais frequentes

Materiais semelhantes

Todos os materiais
B-PINN e viés de colisão: causas, diagnóstico e uma alternativa em cadeia
Notícias

B-PINN e viés de colisão: causas, diagnóstico e uma alternativa em cadeia

Os autores mostram que o esquema B-PINN amplamente utilizado, no qual parâmetros a priori independentes são ligados por verosimilhanças virtuais dos resíduos das equações diferenciais, pode enviesar sistematicamente as estimativas posteriores de grandezas físicas. Em alternativa, propõem um modelo hierárquico de cadeia, com discretização da dinâmica estocástica e amostragem por particle MCMC, além de apresentarem critérios para diagnosticar a fiabilidade da abordagem padrão.

14 novembro 2026
Ajuste fino de modelos generativos de imagens: consideração conjunta de preferências e rubricas
Notícias

Ajuste fino de modelos generativos de imagens: consideração conjunta de preferências e rubricas

O artigo descreve um método de pós-treinamento de modelos text-to-image em domínio aberto, no qual o sinal das preferências humanas é complementado por verificações baseadas em rubricas de conformidade com o prompt e de propriedades desejadas. Os resultados mostram que a média ponderada das recompensas tem desempenho inferior ao esquema proposto e que, no snapshot do Arena, os modelos Flux2dev e Ideogram-4 pós-treinados apresentam um aumento expressivo no Elo.

14 novembro 2026
Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio
Notícias

Benchmark Zero2Repo: os limites da construção autónoma de um projeto a partir de um diretório vazio

O estudo propõe avaliar agentes de programação numa compilação completa do repositório: a entrada é uma especificação, um contrato de interface e um ambiente vazio; a verificação é feita com testes ocultos, sem um avaliador baseado em LLM. Mesmo os agentes líderes raramente passam em todas as verificações, e a maioria das falhas deve-se a requisitos específicos que não foram cumpridos.

13 novembro 2026
MaRK: modulação contextual dos parâmetros recorrentes em SSM pré-treinados