Séries temporais irregulares: por que o MSE está ultrapassado?
A previsão de séries temporais irregulares é uma tarefa que aparece em todos os lugares: de transações financeiras a dados de sensores médicos. Nessas séries, as observações não chegam em intervalos regulares, mas de forma caótica, com lacunas e aglomerações. À primeira vista, pode parecer que o principal problema aqui é construir um modelo inteligente capaz de lidar com a irregularidade dos dados. No entanto, como mostra um trabalho recente de pesquisadores do arXiv (pré-print 2608.17293), existe um problema mais fundamental: simplesmente avaliamos a qualidade desses modelos de forma incorreta.
O erro de medição invisível
Por muitos anos, o padrão de facto para avaliar a qualidade da previsão tem sido o erro quadrático médio (MSE). A lógica é simples: quanto menor a diferença entre a previsão e o fato, melhor. Mas essa lógica desmorona quando se trata de séries temporais irregulares.
O diabo está nos detalhes: o MSE mede o erro apenas nos momentos em que há observações reais nos dados. Em séries irregulares, esses momentos são distribuídos de forma extremamente desigual. O resultado é que a métrica final depende fortemente não de quão bem o modelo entende o processo, mas de como exatamente os pontos de medição foram distribuídos em uma amostra específica.
Imagine dois médicos medindo a pressão arterial de um paciente. Um faz medições a cada 15 minutos, o outro, algumas vezes por dia. Enquanto isso, a própria pressão muda constantemente. Se avaliarmos a precisão das previsões comparando-as apenas com os pontos de medição, os resultados variarão muito simplesmente devido à diferente frequência das medições, e não pela qualidade real da previsão. Os autores do artigo chamam isso de estimativa enviesada — um modelo pode apresentar um MSE excelente em um conjunto de dados e um péssimo em outro, simplesmente porque os carimbos de tempo estão distribuídos de forma diferente.
É por isso que o MSE, nesse contexto, mede não tanto o "poder preditivo" do algoritmo, mas a configuração específica dos carimbos de tempo no conjunto de teste.
CSE: uma tentativa de enxergar além dos carimbos de tempo
A solução proposta no estudo é chamada de Continuous-time Squared Error (CSE). A ideia da métrica é elegante: em vez de comparar previsões e fatos apenas em pontos discretos de observação, o CSE tenta estimar o erro do modelo em tempo contínuo.
Como funciona? O mecanismo-chave é a ponderação por importância (importance weighting). Cada ponto de observação recebe um peso inversamente proporcional à densidade da amostragem dos carimbos de tempo em sua vizinhança. Se houver muitas medições em um determinado intervalo de tempo, cada medição específica contribui menos para a estimativa geral. Se as medições forem raras, seu peso aumenta. Isso permite "suavizar" a influência da irregularidade e obter uma estimativa justa de como o modelo se comporta em todo o intervalo de tempo, e não apenas nas áreas densamente povoadas.
Os autores não se limitaram a uma explicação intuitiva — eles forneceram uma prova teórica. De acordo com seus cálculos, o erro assintótico da estimativa do CSE em relação ao risco "verdadeiro" contínuo no tempo não é maior do que o do MSE clássico. Em termos simples, o CSE garante matematicamente uma representação mais precisa de quão bom é o modelo, com um volume de dados suficientemente grande.
Experimentos e realidade
Para testar sua métrica, os pesquisadores criaram um benchmark sistemático. Ele abrange dados sintéticos, semissintéticos (mistos) e oito conjuntos de dados reais. Essa abordagem permitiu não apenas verificar que o CSE funciona em exemplos simulados, onde o resultado verdadeiro é conhecido, mas também observar como a nova métrica se comporta em dados reais e "sujos".
Os resultados foram reveladores. O CSE recupera o risco contínuo (ou seja, o erro real do modelo) de forma significativamente mais precisa do que o MSE. A principal conclusão dos profissionais: orientar-se exclusivamente pelo MSE pode enganar.
Em cenários reais, um modelo que parece ser o melhor pelo MSE pode, na prática, perder para concorrentes se sua qualidade for avaliada em todo o intervalo de tempo. E vice-versa. Essa descoberta força a revisão dos resultados de muitas pesquisas anteriores, onde as conclusões sobre a superioridade de certas arquiteturas podem ter sido consequência de um artefato da métrica, e não de uma superioridade real do algoritmo.
O que isso significa na prática?
A adoção do CSE não é apenas uma diversão acadêmica. É uma mudança de mentalidade. Para pesquisadores, isso significa a necessidade de revisar benchmarks e padrões de comparação de modelos. A nova métrica permite separar o "joio do trigo": entender quais modelos realmente preveem bem a dinâmica do processo e quais apenas se ajustaram à estrutura da amostra.
Já os desenvolvedores que usam bibliotecas de previsão prontas devem lembrar: rankings e indicadores habituais podem ser enganosos. Ao escolher um modelo para trabalhar com dados irregulares, vale a pena observar não apenas o MSE declarado, mas também como ele se comporta em diferentes modos de chegada de dados. Talvez em breve vejamos a implementação do CSE em bibliotecas populares — pelo menos, os autores já disponibilizaram o código de sua implementação.
A conclusão é simples: se você trabalha com séries temporais irregulares, está na hora de se perguntar — será que a métrica que você está observando realmente reflete o que você quer medir? Muito provavelmente, a resposta será negativa.
