Les séries temporelles irrégulières : pourquoi la MSE est-elle obsolète ?
La prévision de séries temporelles irrégulières est une tâche que l'on rencontre partout : des transactions financières aux données des capteurs médicaux. Dans de telles séries, les observations n'arrivent pas à intervalles réguliers, mais de manière chaotique, avec des lacunes et des regroupements. À première vue, on pourrait penser que le principal problème ici est de construire un modèle intelligent capable de gérer l'irrégularité des données. Cependant, comme le montre un récent travail de chercheurs sur arXiv (prépublication 2608.17293), il existe un problème plus fondamental : nous évaluons simplement mal la qualité de ces modèles.
L'erreur de mesure invisible
Pendant de nombreuses années, la norme de facto pour évaluer la qualité des prévisions a été l'erreur quadratique moyenne (MSE). La logique est simple : plus la différence entre la prédiction et le fait est petite, mieux c'est. Mais cette logique s'effondre lorsqu'il s'agit de séries temporelles irrégulières.
Le diable se cache dans les détails : la MSE ne mesure l'erreur qu'aux moments où des observations réelles existent dans les données. Dans les séries irrégulières, ces moments sont répartis de manière extrêmement inégale. Il s'avère que la métrique finale dépend fortement, non pas de la capacité du modèle à comprendre le processus, mais de la manière dont les points de mesure ont été placés dans un échantillon donné.
Imaginez deux médecins qui mesurent la tension artérielle d'un patient. L'un prend des mesures toutes les 15 minutes, l'autre plusieurs fois par jour. Or, la tension elle-même change constamment. Si nous évaluons la précision des prédictions en les comparant uniquement aux points de mesure, les résultats varieront fortement simplement à cause de la différence de fréquence des mesures, et non à cause de la qualité réelle de la prévision. Les auteurs de l'article appellent cela une estimation biaisée — un modèle peut afficher une excellente MSE sur un ensemble de données et une mauvaise sur un autre, simplement parce que les horodatages y sont répartis différemment.
C'est précisément pour cela que la MSE, dans ce contexte, mesure moins la « puissance prédictive » de l'algorithme que la configuration spécifique des horodatages dans l'échantillon de test.
CSE : une tentative de regarder au-delà des horodatages
La solution proposée dans l'étude s'appelle Continuous-time Squared Error (CSE). L'idée de la métrique est élégante : au lieu de comparer les prédictions et les faits uniquement à des points d'observation discrets, la CSE tente d'estimer l'erreur du modèle en temps continu.
Comment cela fonctionne-t-il ? Le mécanisme clé est la pondération par importance (importance weighting). Chaque point d'observation reçoit un poids inversement proportionnel à la densité d'échantillonnage des horodatages dans son voisinage. Si, dans un intervalle de temps donné, il y a beaucoup de mesures, chaque mesure particulière contribue moins à l'estimation globale. Si les mesures sont rares, leur poids augmente. Cela permet de « lisser » l'effet de l'irrégularité et d'obtenir une évaluation honnête de la façon dont le modèle se comporte sur tout l'intervalle de temps, et non seulement dans les zones densément peuplées.
Les auteurs ne se sont pas limités à une explication intuitive — ils ont fourni une preuve théorique. Selon leurs calculs, l'erreur asymptotique de l'estimation CSE par rapport au « vrai » risque continu dans le temps n'est pas supérieure à celle de la MSE classique. En termes simples, la CSE garantit mathématiquement une représentation plus précise de la qualité d'un modèle, avec un volume de données suffisamment important.
Expériences et réalité
Pour vérifier leur métrique, les chercheurs ont créé un benchmark systématique. Il couvre des données synthétiques, semi-synthétiques (mixtes) et huit ensembles de données réels. Cette approche a permis non seulement de vérifier que la CSE fonctionne sur des exemples simulés où le vrai résultat est connu, mais aussi d'observer comment la nouvelle métrique se comporte sur des données réelles et « sales ».
Les résultats se sont révélés éloquents. La CSE reconstitue le risque continu (c'est-à-dire l'erreur réelle du modèle) de manière nettement plus précise que la MSE. La principale conclusion pour les praticiens : se fier uniquement à la MSE peut induire en erreur.
Dans des scénarios réels, un modèle qui semble le meilleur selon la MSE peut en réalité être inférieur à ses concurrents si l'on évalue sa qualité sur toute la plage temporelle. Et inversement. Cette découverte oblige à reconsidérer les résultats de nombreuses études antérieures, où les conclusions sur la supériorité de certaines architectures pouvaient être la conséquence d'un artefact de la métrique, et non d'une réelle supériorité de l'algorithme.
Qu'est-ce que cela signifie en pratique ?
Le passage à la CSE n'est pas qu'un simple amusement académique. C'est un changement de mentalité. Pour les chercheurs, cela signifie la nécessité de revoir les benchmarks et les normes de comparaison des modèles. La nouvelle métrique permet de séparer le bon grain de l'ivraie : comprendre quels modèles prédisent réellement bien la dynamique du processus, et lesquels se sont simplement adaptés à la structure de l'échantillon.
Quant aux développeurs qui utilisent des bibliothèques de prévision prêtes à l'emploi, ils doivent se rappeler : les classements et indicateurs habituels peuvent être trompeurs. Lors du choix d'un modèle pour travailler avec des données irrégulières, il convient de ne pas se fier uniquement à la MSE annoncée, mais aussi à la façon dont le modèle se comporte sous différents régimes d'arrivée des données. Peut-être verrons-nous bientôt l'intégration de la CSE dans les bibliothèques populaires — en tout cas, les auteurs ont déjà ouvert le code de leur implémentation.
Le bilan est simple : si vous travaillez avec des séries temporelles irrégulières, il est temps de vous poser la question — la métrique sur laquelle vous vous appuyez reflète-t-elle vraiment ce que vous voulez mesurer ? Il y a de fortes chances que la réponse soit négative.
