Почему онлайн-распознавание фаз — сложная задача
Онлайн-система, которая следит за ходом операции, должна выдавать метку текущего этапа на каждом новом кадре. Будущих кадров у неё нет: можно опираться только на уже увиденное. При этом операция длится часами, а стоимость обработки одного кадра не должна расти с каждым следующим часом записи. Иначе модель перестанет успевать работать в реальном времени.
Формально под это ограничение подходят рекуррентные архитектуры на базе SSD — structured state-space duality. Они переносят всю историю в скрытое состояние, а объём вычислений на кадр остаётся фиксированным. Но у SSD-слоя есть своя особенность: переход внутри каждой головы задаётся одним скаляром. Этот скаляр одновременно определяет, «куда» в состояние попадёт текущий кадр и как быстро информация из состояния будет забываться.
Для видеоопераций такая жёсткая связка мешает. Визуальные паттерны — вид инструментов, тканей, зон интереса — повторяются на разных этапах. Новое вхождение картинки записывается поверх старого, и в итоге два похожих эпизода различаются только тем, как давно произошли. Функция потерь не даёт модели явного сигнала, когда именно старое содержимое состояния перестало быть полезным. Плюс сами фазы бывают очень разной длины: одни длятся секунды, другие — заметную часть всей процедуры, а визуально операция может выглядеть почти неизменной.
Реграммирование состояния и управление забыванием
Авторы работы — Sukju Oh и Sukkyu Sun — предлагают для этого модель SurgicalMamba. Её решение не в том, чтобы полностью заменить рекуррентный слой, а в том, чтобы исправить поведение переносимого состояния.
Первый механизм называется state regramming — перепрограммирование состояния. На границе каждого обрабатываемого чанка скрытый вектор не просто передаётся дальше, а поворачивается на угол, который зависит от содержимого текущего чанка. Благодаря этому два похожих фрагмента, между которыми прошла другая фаза, попадают в разные области пространства состояний и перестают затирать друг друга. Модель может различить их по контексту, а не только по возрасту.
Второй механизм — модуляция затухания на переходах фаз. Когда модель отмечает границу между этапами, она временно усиливает забывание: состояние быстро очищается от информации завершившейся фазы. Внутри самой фазы затухание остаётся медленным, чтобы контекст сохранялся. Интенсивность очистки подбирается так, чтобы модель «доживала» до конца самой длинной фазы и не теряла нужный контекст раньше времени.
Важно, что оба изменения не ломают N-полусепарабельную структуру SSD, а значит, сохраняется прежняя гарантия сложности: O(d) на кадр. Модель остаётся достаточно лёгкой для потоковой работы.
Что показали тесты
На семи публичных бенчмарках SurgicalMamba достигает современного уровня точности. На наборе Cholec80 онлайн-точность составила 94.6%, а фазовый Jaccard — 82.7%. На AutoLaparo результаты чуть ниже, но тоже заметные: 89.5% и 68.9% соответственно. При этом на одном GPU модель обрабатывает 312.88 кадра в секунду — с большим запасом для реального времени.
Фазовый Jaccard здесь важнее, чем обычная точность: он проверяет, насколько предсказанные интервалы фаз пересекаются с истинными. Это строже к ошибкам на границах, где системы обычно чаще всего ошибаются.
Интересно, что механизм работает не только в хирургии. Если добавить одну лишь операцию поворота состояния к стандартному Mamba2, она улучшает метрику MQAR — способность извлекать из длинного контекста несколько ранее встреченных элементов. Улучшение появляется именно там, где ограничением было рекуррентное состояние. Это говорит о том, что перепрограммирование состояния решает более общую проблему рекуррентных моделей, а не только задачу распознавания хирургических этапов.
