WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成

11 十一月 20265 视图

这篇预印本介绍了 WILSON——一种视觉语言模型,可对整张玻片图像以及同一患者在不同放大倍率下的一系列切片进行编码,而不只是单张“最佳”切片。无需针对特定任务进行微调,它在多项指标上超越了专用且规模更大的切片模型,同时计算负载显著更低;其诊断描述也获得了病理学家更高的评价。

WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成

为什么一张代表性玻片还不够

病理学家会在不同放大倍率下检查组织切片,并查看多张载玻片。他们综合形态学信息来作出诊断。大多数病理学基础模型会对一张代表性(“最佳”)载玻片中的数千个图像块进行编码,然后聚合这些特征。

这种方法的局限:

  • 模型接收的是一张“最佳”载玻片,而不是整个病例;
  • 不同放大倍率下的特征无法关联为统一表示;
  • 聚合图像块时,患者层面的上下文会丢失。

实用标准:对于病例级任务,需要选择能够接收多张载玻片和不同放大倍率的模型。一张代表性切片无法涵盖这种任务设定。

模型如何整合不同放大倍率和载玻片

WILSON 是一个视觉语言基础模型。它通过多倍率复合表示来呈现全切片图像和包含多张载玻片的病例,并支持患者级分析。

表示内容包括:

  • 全切片图像;
  • 包含多张载玻片的病例;
  • 多倍率复合表示中的多个放大倍率。

结论:模型在一个表示中保留了来自不同尺度和载玻片的形态学信息。这使它有别于仅使用一张“最佳”载玻片的方案。

训练数据与覆盖范围

WILSON 的训练集约包含 189 000 张切片。数据覆盖 42 个器官和 838 个诊断实体。

覆盖范围:

  • 189 000 张切片;
  • 42 个器官;
  • 838 个诊断实体。

器官和诊断实体列表为任务验证划定了范围。专业人员会根据该列表核对器官和诊断实体。

无需针对特定任务训练的结果

在无需针对特定任务训练的情况下,WILSON 在病例级任务上的表现超过了专用病例级模型,macro-F1 为 0.52,而后者为 0.38。

对比项WILSON其他方案
病例级任务上的 Macro-F10.520.38
计算操作量少 400–1 350 倍显著更大的切片级模型

该模型的表现也达到显著更大的切片级模型的水平,同时所需计算操作量少 400–1 350 倍。

结论:病例级分析的质量不一定要随着计算成本上升。紧凑的多尺度表示提供了一个实用参考。

针对特定任务进行微调

端到端微调提升了 WILSON 在以下任务中的表现:

  • 乳腺癌亚型分类;
  • 间质淋巴细胞分级。

实用标准:对于范围较窄的任务,应考虑端到端微调。基础模型无需微调即可进行病例级分析,而微调则能提升特定任务的表现。

检索与诊断文本生成

在图文检索任务中,WILSON 的 recall@1 高于 PRISM,分别为 75.6% 和 58.1%。

指标WILSONPRISM
recall@175.6%58.1%

五位具有 board 认证资格的病理学家对 WILSON 生成的诊断描述给出了更高评分。竞争模型的评分则较低。

实用标准:检索和起草诊断报告需要两种能力——检索和文本生成。应在接近实际工作流程的任务中对这两种能力进行评估。

这对模型选择意味着什么

作者得出结论:紧凑的多尺度表示能够支持计算效率高、面向临床的基础模型。在实际选择时,需要进行以下几项检查。

标准:

  • 模型能够接收多张载玻片;
  • 模型能够关联不同放大倍率;
  • 分析以患者为单位进行;
  • 在病例级任务上评估质量;
  • 将计算操作量纳入考量;
  • 分别验证检索和文本生成能力。

结论:一张“最佳”切片和对数千个图像块进行聚合,无法涵盖患者的上下文。选择模型时,应考察它如何整合这些上下文,以及需要多少计算资源。

常问问题

WILSON:整合患者的放大图像和切片,用于病理形态学分析和报告生成