Медицинские LLM узнают о пересмотре рекомендаций, но часто отвечают по прежним правилам
Исследование ChronoEvo на 1709 изменениях клинических рекомендаций показывает: в основной модели 90,8% ответов фиксировали новшество, однако полностью применяли его только 58,5%, а разрыв в 32,3 п.п. сохранялся у 14 моделей. Даже усиление заметности обновлений не дало значимого прироста в полном переносе новых правил в клиническую рекомендацию.
Что именно измеряет набор тестов
Исследование оценивает, насколько медицинские большие языковые модели усваивают изменения медицинских рекомендаций. Авторы представили ChronoEvo — набор из 1 709 изменений рекомендаций на уровне отдельных рекомендаций.
Набор охватывает 12 форм изменения медицинских знаний. Он различает распознавание обновлённых рекомендаций и их включение в клинические рекомендации модели.
Критерий оценки: разделение распознавания обновления и его включения в ответ.
Разрыв между распознаванием и включением
В основной модели 90,8% ответов распознали изменения. Клинически корректными были 80,2% ответов. Полностью включили обновлённые рекомендации 58,5% ответов. Разрыв между распознаванием и включением составил 32,3 процентного пункта.
| Показатель | Значение |
|---|---|
| Ответы, распознавшие изменения | 90,8% |
| Клинически корректные ответы | 80,2% |
| Ответы с полным включением обновлённых рекомендаций | 58,5% |
| Разрыв между распознаванием и включением | 32,3 процентного пункта |
Клиническая корректность не гарантирует полного включения обновления. Критерий оценки: доля полного включения обновлений, а не только распознавание.
Насколько устойчив разрыв
Расхождение сохранялось в 14 моделях. Два клинициста рассмотрели 300 ответов. Они подтвердили разрыв: в проверочной выборке он составил 40,3 процентного пункта.
Разрыв воспроизводится на разных моделях и при независимой проверке. Критерий оценки: устойчивость разрыва на нескольких моделях и при участии клиницистов.
Какие изменения даются труднее
Изменения силы рекомендации и критериев соответствия пациента связаны с сохранением устаревших рекомендаций. Эти два типа изменений требуют отдельного внимания при проверке ответов.
Критерий проверки: наличие в наборе изменений силы рекомендации и критериев соответствия пациента.
Что даёт заметность обновлений
Вмешательство повышало заметность обновлений. Оно сократило сохранение устаревшего содержания и повысило клиническую корректность. Статистически значимого улучшения полного включения обновлённых рекомендаций оно не дало.
Заметность обновления помогает корректности, но не решает задачу включения полностью. Результаты указывают, что надёжное включение меняющихся медицинских знаний остаётся отдельной проблемой для клинических больших языковых моделей. Обновлённые данные рекомендаций при этом доступны.
Критерий проверки: влияние подсказки об обновлении на полное включение рекомендаций.
Часто задаваемые вопросы
Похожие материалы
Все материалы
Модель мира для агентов на закрытых LLM: коррекция в точках риска
Предложен PAWM — внешний предиктор, который не дублирует пошаговое наблюдение, а включается при вероятном сбое и уводит агента от ошибочного действия. После SFT на синтетических сценариях и GRPO-кообучения метод дал прирост 24,3% в ScienceWorld и 7,7% в WebArena-Lite для Claude Sonnet 4.5.
4 ноября 2026
Классификационная надстройка над SpeechLLM: где она обходит генерацию меток при распознавании эмоций
На материале IEMOCAP и MELD сопоставлены генеративный вывод эмоциональной метки и линейный классификатор поверх скрытых представлений компактной SpeechLLM. Прирост качества от классификатора не универсален: он зависит от корпуса и от того, используются эталонные транскрипты или результаты ASR.
4 ноября 2026
От индивидуальных оценок к допустимым наборам: глобальное декодирование при ограничениях DDI
Статья сопоставляет точный глобальный подбор совместимого набора препаратов, реализованный через mixed-integer linear programming, с несколькими схемами локального устранения конфликтов DDI при фиксированных оценках FLAME на MIMIC-III. На тестовой выборке глобальный вариант даёт небольшой, но устойчивый выигрыш по Jaccard, который растёт при ужесточении ограничений и достигает +0.0064 относительно сильнейшего локального базового метода.
4 ноября 2026