Series temporales irregulares: ¿por qué el MSE está obsoleto?
Pronosticar series temporales irregulares es una tarea que aparece en todas partes: desde transacciones financieras hasta datos de sensores médicos. En estas series, las observaciones no llegan a intervalos regulares, sino de forma caótica, con huecos y agrupaciones. A primera vista, podría parecer que el principal problema aquí es construir un modelo inteligente capaz de manejar la irregularidad de los datos. Sin embargo, como muestra un trabajo reciente de investigadores de arXiv (preprint 2608.17293), existe un problema más fundamental: simplemente estamos evaluando mal la calidad de estos modelos.
El error de medición invisible
Durante muchos años, el estándar de facto para evaluar la calidad de los pronósticos ha sido el error cuadrático medio (MSE). La lógica es simple: cuanto menor sea la diferencia entre la predicción y el valor real, mejor. Pero esta lógica se derrumba cuando hablamos de series temporales irregulares.
El diablo está en los detalles: el MSE mide el error solo en los momentos en que hay observaciones reales en los datos. En series irregulares, estos momentos están distribuidos de forma extremadamente desigual. Resulta que la métrica final depende en gran medida no de lo bien que el modelo entiende el proceso, sino de cómo se colocaron exactamente los puntos de medición en una muestra concreta.
Imagina a dos médicos que miden la presión arterial de un paciente. Uno toma mediciones cada 15 minutos, el otro varias veces al día. Mientras tanto, la presión en sí cambia constantemente. Si evaluamos la precisión de las predicciones comparándolas solo con los puntos de medición, los resultados variarán enormemente simplemente por la diferente frecuencia de las mediciones, y no por la calidad real del pronóstico. Los autores del artículo llaman a esto estimación sesgada: un modelo puede mostrar un MSE excelente en un conjunto de datos y uno pésimo en otro, simplemente porque las marcas de tiempo están distribuidas de manera diferente.
Por eso, en este contexto, el MSE no mide tanto el «poder predictivo» del algoritmo, sino la configuración concreta de las marcas de tiempo en la muestra de prueba.
CSE: un intento de mirar más allá de las marcas de tiempo
La solución propuesta en la investigación se llama Continuous-time Squared Error (CSE). La idea de la métrica es elegante: en lugar de comparar predicciones y valores reales solo en puntos discretos de observación, el CSE intenta estimar el error del modelo en tiempo continuo.
¿Cómo funciona? El mecanismo clave es el ponderación por importancia (importance weighting). Cada punto de observación recibe un peso inversamente proporcional a la densidad de muestreo de las marcas de tiempo en su vecindad. Si en un intervalo de tiempo hay muchas mediciones, cada medición concreta aporta menos a la estimación general. Si las mediciones son escasas, su peso aumenta. Esto permite «suavizar» el impacto de la irregularidad y obtener una evaluación honesta de cómo se comporta el modelo en todo el intervalo temporal, no solo en las zonas densamente pobladas.
Los autores no se limitaron a una explicación intuitiva: proporcionaron una demostración teórica. Según sus cálculos, el error asintótico de la estimación CSE con respecto al riesgo «verdadero» continuo en el tiempo no es mayor que el del MSE clásico. En términos simples, el CSE garantiza matemáticamente una representación más precisa de lo buena que es una modelo, con un volumen de datos suficientemente grande.
Experimentos y realidad
Para verificar su métrica, los investigadores crearon un benchmark sistemático. Este cubre datos sintéticos, semisintéticos (mixtos) y ocho conjuntos de datos reales. Este enfoque permitió no solo comprobar que el CSE funciona en ejemplos simulados donde se conoce el resultado verdadero, sino también ver cómo se comporta la nueva métrica con datos reales y «sucios».
Los resultados fueron reveladores. El CSE recupera el riesgo continuo (es decir, el error real del modelo) de manera significativamente más precisa que el MSE. La principal conclusión para los profesionales: orientarse exclusivamente al MSE puede ser engañoso.
En escenarios reales, un modelo que parece el mejor según el MSE puede, en realidad, ser inferior a sus competidores si se evalúa su calidad en todo el rango temporal. Y viceversa. Este hallazgo obliga a reconsiderar los resultados de muchas investigaciones anteriores, donde las conclusiones sobre la superioridad de ciertas arquitecturas podrían ser consecuencia de un artefacto de la métrica, y no de una ventaja real del algoritmo.
¿Qué significa esto en la práctica?
La transición al CSE no es solo un juego académico. Es un cambio de mentalidad. Para los investigadores, significa la necesidad de revisar los benchmarks y los estándares de comparación de modelos. La nueva métrica permite separar el «grano de la paja»: entender qué modelos realmente predicen bien la dinámica del proceso y cuáles simplemente se han adaptado a la estructura de la muestra.
Los desarrolladores que utilizan bibliotecas de pronóstico ya preparadas deben recordar: las clasificaciones y los indicadores habituales pueden ser engañosos. Al elegir un modelo para trabajar con datos irregulares, conviene mirar no solo el MSE declarado, sino también cómo se comporta ante diferentes modos de llegada de datos. Quizás pronto veamos la integración del CSE en bibliotecas populares; al menos, los autores ya han abierto el código de su implementación.
La conclusión es simple: si trabajas con series temporales irregulares, ha llegado el momento de preguntarte: ¿la métrica que estás mirando realmente refleja lo que quieres medir? Lo más probable es que la respuesta sea negativa.
