针对预测结果不可靠的用户画像进行协变量偏移的局部搜索

15 十一月 20260 视图

本文介绍了一种诊断流程:首先识别模型置信度较低且具有可解释性的患者群体,然后在这些群体中检测是否存在有害的协变量偏移。在 MIMIC-IV 上针对三项临床任务和三种人工构造的子群体偏移进行的实验表明,该方法能够定位在聚合评估中不易察觉的年龄偏移。

针对预测结果不可靠的用户画像进行协变量偏移的局部搜索

为什么平均性能无法显示谁受到了影响

在部署临床预测模型之前,需要评估其可靠性,以确保安全使用。错误可能源于训练与部署之间的数据分布偏移。另一个原因是性能存在异质性:模型对某些患者亚组的表现会系统性地更差。

大多数事后诊断方法都在整个群体层面评估可靠性。它们会检查部署数据与训练数据的相似程度,也会考察模型的平均性能。但异质性并未纳入评估。因此,个别患者可能受到不成比例的影响。

标准群体层面的诊断基于画像的局部搜索
评估内容部署数据与训练数据的相似度,以及平均性能低置信度画像及画像内部的协变量偏移
展示内容整体偏移或性能下降的信号性能下降的具体画像
局限未考虑异质性广泛偏移不利于定位受影响者
实际作用背景监测针对不可靠预测进行检查

标准:要找到性能受到不成比例影响的患者,仅靠群体层面的诊断并不够,还需要画像层面的分析。

双阶段搜索如何运作:画像与局部偏移

该流程将诊断分为两个步骤。第一步是 MED3pa。该方法识别出具有低置信度、且可解释的患者画像。

第二步是 Detectron。在每个画像内部应用该方法,以检查性能下降是否与可检测到的有害协变量偏移相关。检查不是在整个群体层面进行,而是在画像内部进行。

流程如下:

  1. 构建具有低置信度的可解释患者画像。
  2. 对每个画像,检查性能下降是否与协变量偏移相关。
  3. 区分出性能下降与可检测到的有害偏移相关的画像。
  4. 将结果与群体层面的诊断进行比较。

标准:选择先识别画像、再检查画像内部偏移的方案。单独进行群体层面的检查无法提供这种定位能力。

年龄、性别和种族偏移带来了什么结果

这项研究涵盖三个临床预测任务,并在 MIMIC-IV 中引入了三种人为亚组偏移。不同类型的偏移带来了不同结果:

  • 年龄偏移:在整个群体层面并未显现。MED3pa 与 Detectron 流程将其定位到性能下降的具体患者画像中。
  • 性别和种族偏移:广泛可见,但对于确定受影响最严重的患者帮助不大。

标准:局部搜索对于在整个群体层面不可见的偏移尤其有用。广泛的信号本身并不能指出受影响最严重的人群。

何时适合对不可靠画像进行局部搜索

该流程依赖低置信度画像,并在画像内部检查协变量偏移。适用标准:

  • 任务要求找到性能下降的具体画像。
  • 群体层面的诊断无法定位性能下降。
  • 可以检测到画像内部的协变量偏移。
  • 将结果解读为局部结果,而非整个群体的评估。
  • 在多个任务和偏移上验证结论。

这项研究仅涵盖三个临床任务和 MIMIC-IV 中的三种偏移。论文已被 SMASH 2026 接收。未经验证,不应将结果推广到其他数据。

选择标准:对于预测不可靠的画像,使用双阶段诊断。将群体评估作为整体背景信息。根据画像内部的局部检查作出决策。

常问问题

针对预测结果不可靠的用户画像进行协变量偏移的局部搜索