Pourquoi la reconnaissance en ligne des phases est une tâche difficile
Un système en ligne qui suit le déroulement d'une opération doit fournir l'étiquette de l'étape en cours à chaque nouvelle image. Il ne dispose pas des images futures : il ne peut s'appuyer que sur ce qu'il a déjà vu. De plus, l'opération dure des heures, et le coût de traitement d'une image ne doit pas augmenter avec chaque heure d'enregistrement supplémentaire. Sinon, le modèle ne parviendra plus à fonctionner en temps réel.
Formellement, les architectures récurrentes basées sur SSD — structured state-space duality — répondent à cette contrainte. Elles transfèrent tout l'historique dans un état caché, et le volume de calcul par image reste fixe. Mais la couche SSD a sa propre particularité : la transition au sein de chaque tête est définie par un seul scalaire. Ce scalaire détermine à la fois « où » l'image actuelle sera placée dans l'état et la vitesse à laquelle l'information de l'état sera oubliée.
Pour les opérations vidéo, un tel couplage rigide pose problème. Les motifs visuels — apparence des instruments, des tissus, des zones d'intérêt — se répètent à différentes étapes. Une nouvelle occurrence d'une image s'écrit par-dessus l'ancienne, et finalement deux épisodes similaires ne se distinguent que par leur ancienneté. La fonction de perte ne donne pas au modèle de signal explicite indiquant quand le contenu ancien de l'état a cessé d'être utile. De plus, les phases elles-mêmes ont des durées très variables : certaines durent quelques secondes, d'autres une partie notable de toute la procédure, et visuellement, l'opération peut sembler presque inchangée.
Reprogrammation de l'état et gestion de l'oubli
Les auteurs de l'étude — Sukju Oh et Sukkyu Sun — proposent pour cela le modèle SurgicalMamba. Leur solution ne consiste pas à remplacer entièrement la couche récurrente, mais à corriger le comportement de l'état transféré.
Le premier mécanisme s'appelle state regramming — la reprogrammation de l'état. À la limite de chaque bloc traité, le vecteur caché n'est pas simplement transmis, mais est pivoté d'un angle qui dépend du contenu du bloc actuel. Grâce à cela, deux fragments similaires entre lesquels une autre phase s'est écoulée tombent dans des régions différentes de l'espace des états et cessent de se chevaucher. Le modèle peut les distinguer par le contexte, et non seulement par leur ancienneté.
Le second mécanisme est la modulation de l'atténuation aux transitions de phases. Lorsque le modèle détecte une frontière entre étapes, il renforce temporairement l'oubli : l'état est rapidement nettoyé des informations de la phase terminée. Au sein de la phase elle-même, l'atténuation reste lente afin que le contexte soit préservé. L'intensité du nettoyage est ajustée pour que le modèle « survive » jusqu'à la fin de la phase la plus longue et ne perde pas le contexte nécessaire trop tôt.
Il est important de noter que ces deux modifications ne brisent pas la structure N-semi-séparable du SSD, et donc la garantie de complexité précédente est conservée : O(d) par image. Le modèle reste suffisamment léger pour un fonctionnement en flux continu.
Ce que les tests ont montré
Sur sept benchmarks publics, SurgicalMamba atteint un niveau de précision de pointe. Sur l'ensemble Cholec80, la précision en ligne a atteint 94,6 %, et le Jaccard de phase — 82,7 %. Sur AutoLaparo, les résultats sont légèrement inférieurs, mais également notables : 89,5 % et 68,9 % respectivement. De plus, sur un seul GPU, le modèle traite 312,88 images par seconde — avec une grande marge pour le temps réel.
Le Jaccard de phase est ici plus important que la simple précision : il vérifie dans quelle mesure les intervalles de phases prédits chevauchent les intervalles réels. C'est plus strict face aux erreurs aux frontières, là où les systèmes commettent généralement le plus d'erreurs.
Il est intéressant de noter que le mécanisme fonctionne non seulement en chirurgie. Si l'on ajoute la seule opération de rotation de l'état à un Mamba2 standard, elle améliore la métrique MQAR — la capacité à extraire plusieurs éléments rencontrés précédemment d'un long contexte. L'amélioration apparaît précisément là où l'état récurrent était la limitation. Cela suggère que la reprogrammation de l'état résout un problème plus général des modèles récurrents, et non seulement la tâche de reconnaissance des étapes chirurgicales.
