Dixième anniversaire de l'AI City Challenge : de la surveillance des véhicules à la compréhension de la ville
La dixième édition de l'AI City Challenge n'est pas qu'un simple tableau de classement. La compétition, lancée en 2017 avec des objectifs très appliqués — détecter, classifier et suivre des véhicules sur des enregistrements de caméras — s'est transformée en huit ans en une vaste plateforme de recherche sur l'IA physique. Cette année, le challenge est organisé conjointement avec la conférence ECCV 2026, et ses organisateurs ont dressé un bilan symbolique d'une décennie de benchmarking dans le domaine des villes intelligentes et du transport intelligent.
Qu'est-ce qui a changé ? Si les premières années étaient centrées sur « voir et compter » les voitures, il s'agit désormais de faire comprendre à la machine le contexte : qui enfreint les règles, ce que le piéton s'apprête à faire, quel épisode routier est dangereux et pourquoi. Ce n'est plus simplement de la vision par ordinateur, mais un hybride de perception, de raisonnement et de prédiction — ce que l'on appelle aujourd'hui l'IA physique.
Une ampleur record
La saison anniversaire a attiré nettement plus de participants que la précédente. Cette année, 325 équipes issues de 26 pays et régions se sont inscrites — contre 245 équipes de 15 pays en 2025. Une croissance de près d'un tiers en nombre d'équipes et presque le double en termes de géographie montre que les défis du challenge intéressent désormais non seulement les spécialistes de la vision appliquée au transport, mais aussi un large éventail de chercheurs en IA — du travail sur les modèles multimodaux à la modélisation générative.
Une telle diversité de participants est naturelle : les pistes de la compétition couvrent plusieurs directions rarement réunies dans un même benchmark.
Six pistes — six défis
Le programme principal de 2026 se compose de six directions :
- Perception 3D multi-caméras — reconstruction de la scène en trois dimensions à partir de données de plusieurs caméras, essentielle pour le transport autonome et la vidéosurveillance urbaine.
- Légendes et VQA pour la sécurité des transports — génération de descriptions textuelles de situations routières et réponses à des questions les concernant, afin que le système puisse expliquer ce qui se passe sur la route.
- Raisonnement sur les anomalies du trafic routier — identification d'événements inhabituels et potentiellement dangereux et compréhension de leurs causes.
- Recherche textuelle d'anomalies chez les piétons — recherche dans des enregistrements vidéo de fragments présentant des comportements inhabituels de piétons à partir d'une requête en langage naturel.
- Prédiction générative de flux vidéo de transport — synthèse d'images futures de scènes routières, utile pour les simulateurs et l'entraînement de modèles.
- Détection d'objets inter-villes — transfert d'un modèle entraîné sur les données d'une ville vers les caméras d'une autre sans perte de qualité.
Pistes bonus hors domaine
Au sein de la troisième piste, les organisateurs ont dissimulé deux classements compétitifs supplémentaires — officiellement considérés comme les pistes 7 et 8, mais utilisant des données hors du domaine principal. La première est consacrée à la compréhension des infractions au code de la route sur des images de caméras « fisheye » — de tels objectifs équipent de nombreuses villes, mais les modèles sont généralement entraînés sur des caméras de rue classiques. La deuxième piste bonus est un VQA sur les intentions situationnelles des piétons : il faut répondre non pas à des questions sur ce que la personne fait actuellement, mais sur ce qu'elle s'apprête probablement à faire. C'est nettement plus difficile que la reconnaissance d'actions et exige du modèle une compréhension profonde de la scène.
Pourquoi les systèmes gagnent
L'analyse des solutions des participants révèle une tendance intéressante. Aucune des meilleures équipes ne s'appuie uniquement sur une seule architecture. Les approches gagnantes sont une combinaison de grands modèles fondamentaux avec des techniques plus classiques :
- justification géométrique — utilisation des relations de projection entre caméras et espace 3D ;
- recherche et réordonnancement — sélection de fragments vidéo ou de candidats pertinents avant la réponse finale ;
- conception de données synthétiques — génération d'exemples d'entraînement supplémentaires pour les scénarios rares ;
- adaptation de domaine — par exemple, transfert de modèles entre villes ou types de caméras ;
- inférence contrôlée — limitation de la sortie du modèle par des règles ou un vocabulaire définis.
En d'autres termes, le nouveau benchmark a montré que l'IA physique ne se résume pas à « prendre un gros modèle et le lancer sur des données ». La fiabilité s'obtient par des schémas hybrides, où les réseaux de neurones sont complétés par la géométrie, des connaissances externes et un post-traitement soigné.
Dix ans — de la détection à la compréhension
Si l'on considère l'évolution de l'AI City Challenge dans son ensemble, l'essentiel est visible : le benchmark a cessé d'être un simple terrain d'essai pour améliorer la précision des détecteurs. C'est désormais une plateforme pour tester des systèmes intelligents complets, capables de percevoir, raisonner et prédire dans un environnement urbain réel. Et la précision et la vitesse ne sont pas les seuls critères importants — la confidentialité joue également un rôle clé, avec tout un pan de tâches liées à l'évaluation de modèles sans divulgation de données personnelles.
Les organisateurs ont publié un article détaillant la configuration de la compétition, tous les ensembles de données, les protocoles d'évaluation, les résultats des classements et les supports de l'atelier. Pour les chercheurs et les ingénieurs, c'est en somme un état des lieux prêt à l'emploi du domaine du transport intelligent et de l'IA physique — et en même temps une invitation à tenter leur chance lors de la prochaine saison.
