Exécution sémantique de la tâche : un nouveau regard sur la génération vidéo
Les modèles modernes de génération vidéo excellent avec les requêtes courtes comme « un chat joue avec une pelote de laine » — le résultat est beau et semble réaliste. Mais le système comprend-il vraiment quel résultat l'utilisateur attend ? Des chercheurs chinois ont proposé le benchmark SemComp-Bench, qui teste non pas la simple qualité visuelle, mais la réalisation sémantique de la tâche.
Le groupe d'auteurs dirigé par Keyu Tu (huit chercheurs au total) a présenté sur arXiv un article décrivant SemComp-Bench. Les travaux ont été publiés le 18 août 2026 et relèvent des domaines de la vision par ordinateur et de l'intelligence artificielle. Un nouveau concept est introduit — Semantic Task Completion Video Generation, c'est-à-dire la génération vidéo avec exécution sémantique de la tâche. Le succès ici n'est pas déterminé par la fluidité des mouvements des objets ni par la correspondance image par image avec la référence, mais par l'atteinte du résultat demandé et le maintien du lien sémantique avec l'exemple.
L'idée clé est l'« ancrage sémantique » (semantic grounding). Le modèle ne doit pas simplement copier l'image, mais comprendre le sens de haut niveau de la tâche : par exemple, si l'image de référence montre une table dressée et que l'instruction demande « ajouter une théière », alors dans la vidéo finale, la théière doit apparaître sur la table. Il n'est pas nécessaire de montrer chaque étape intermédiaire ni de créer une copie image par image de l'exemple — seule la scène finale et sa conformité à la tâche comptent.
Comment sont conçues les données et l'évaluation de SemComp-Bench
Pour une vérification systématique, les auteurs ont créé le jeu de données SemComp-Data. Il comprend des exemples issus de six domaines différents — les auteurs ont ainsi cherché à couvrir le spectre le plus large possible de scénarios. Chaque élément du jeu de données contient :
- une image de référence (ce qui doit être obtenu au final) ;
- une instruction détaillée avec des précisions ;
- une instruction courte — la variante la plus susceptible de se présenter dans une requête réelle ;
- un clip vidéo final démontrant le résultat attendu.
Pour préparer les données, les chercheurs ont mis en place un pipeline en quatre étapes. Il transforme les vidéos brutes en instances standardisées de SemComp-Data. Cette automatisation a permis de faire évoluer le jeu de données sans annotation manuelle de chaque vidéo.
L'évaluation dans SemComp-Bench est construite autour d'un modèle vision-langage (VLM). Le modèle répond à des questions binaires structurées — c'est-à-dire que chaque question a une réponse sans ambiguïté « oui » ou « non ». Cela rend la vérification transparente et reproductible. Deux indicateurs sont calculés à partir des résultats :
- Score OA (Outcome Achievement) — le résultat demandé est-il atteint ;
- Score GR (Generation Reliability) — la fiabilité avec laquelle le modèle reproduit la solution, en maintenant le lien avec l'image de référence.
En substance, le premier indicateur répond à la question « ce qui a été demandé a-t-il été fait », et le second — « cela a-t-il été fait précisément dans le contexte de l'exemple ».
Ce que montrent les premiers tests
Les auteurs ont fait passer plusieurs modèles représentatifs de génération vidéo à travers le benchmark. Il s'est avéré que la tâche de mener la sémantique jusqu'au bout reste ouverte. Même les systèmes modernes produisent souvent une vidéo qui semble de qualité, mais qui ne correspond pas à l'essence de la requête : la théière n'apparaît pas, l'objet est remplacé par un objet similaire, et le résultat ne ressemble que de loin à celui attendu.
Il est particulièrement difficile pour les modèles de maintenir le lien avec l'image de référence lorsque l'instruction est courte et ne contient pas tous les détails. Les scores OA et GR s'avèrent faibles, ce qui signifie que le modèle « ne comprend » pas la tâche au niveau du sens. Cela confirme : la génération vidéo aujourd'hui relève davantage de la « belle image » que de l'exécution d'une consigne.
L'apparition de SemComp-Bench déplace l'accent dans le test des modèles vidéo : au lieu d'évaluer la plausibilité des images, on vérifie le résultat significatif pour l'utilisateur. Si auparavant les benchmarks demandaient « la vidéo ressemble-t-elle à la réalité », désormais la question est posée autrement : « la tâche est-elle accomplie ». C'est un pas vers des vidéos génératives qui deviennent non plus de simples démonstrations, mais un outil de résolution de problèmes pratiques.
Les auteurs ont publié leurs travaux sur la plateforme arXiv sous le numéro 2608.17426, DOI : https://doi.org/10.48550/arXiv.2608.17426. Les matériaux sont disponibles pour étude, et l'approche d'évaluation elle-même pourrait servir de base aux prochaines générations de générateurs vidéo.
