医疗 LLM 能获知指南更新，却常常仍按旧规则回答

测试集具体衡量什么

这项研究评估医学大语言模型对医学指南变化的掌握程度。作者推出了 ChronoEvo，这是一个包含 1 709 项指南变更的测试集，每项变更对应一条具体建议。

该测试集涵盖 12 种医学知识变化形式。它区分模型能否识别更新后的建议，以及能否将其纳入临床建议。

评估标准：区分对更新的识别与将更新纳入回答。

识别与纳入之间的差距

在主模型中，90.8% 的回答识别出了变化。80.2% 的回答在临床上是正确的。58.5% 的回答完全纳入了更新后的建议。识别与纳入之间的差距为 32.3 个百分点。

临床正确并不意味着完全纳入了更新。评估标准：完全纳入更新的比例，而不仅是识别更新。

差距有多稳定

在 14 个模型中，这种差距始终存在。两位临床医生审阅了 300 条回答。他们证实了这一差距：在验证样本中，差距为 40.3 个百分点。

这一差距在不同模型中均可复现，并且通过了独立审查。评估标准：在多个模型和临床医生参与的情况下，差距是否稳定。

哪些变化更难处理

建议强度和患者适用标准的变化与保留过时建议有关。在检查回答时，这两类变化需要单独关注。

检查标准：测试集中是否包含建议强度和患者适用标准的变化。

提高更新的显著性有什么作用

干预提高了更新的显著性。它减少了过时内容的保留，并提高了临床正确性。但它并未显著提升对更新后建议的完全纳入率。

提高更新的显著性有助于提升正确性，但无法彻底解决纳入问题。结果表明，可靠地纳入不断变化的医学知识仍然是临床大语言模型面临的一项独立挑战。与此同时，更新后的指南数据是可获取的。

检查标准：更新提示对完全纳入建议的影响。