医学图像分类中的不确定度估计:系统综述gydF4y2Ba

介绍gydF4y2Ba

概述gydF4y2Ba

数字图像分析是一个有用的工具，支持医生在他们的临床决策。最初，数字图像分析是通过从输入图像中提取手工特征来完成的。这些特征可以调整到基础数据，这意味着对于特定的疾病，只能在观察到的图像中寻找特定的特征。然而，随着深度学习的出现，已经建立了一个“黑盒子”，可以在监督学习的设置下，从本质上从标记数据中学习这些特征。近年来，基于深度学习的方法大大优于依赖手工特征的传统方法。使用基于学习的方法，重点已经从手动定义图像特征转移到为学习系统提供干净和正确注释的数据。然而，对于以数据为中心的方法，出现了新的挑战。gydF4y2Ba

在临床环境中，当这些算法被用作诊断辅助工具时，用户必须能够理解人工智能(AI)系统是如何得出诊断的。这方面的一个关键组成部分是衡量人工智能系统对其预测的信心。这种措施对于增加对人工智能系统的信任非常重要，并且可能会改善临床决策[gydF4y2Ba1gydF4y2Ba]．我们将使用术语“不确定性估计”来评估模型置信度。当人工智能系统为其不确定性提供衡量标准时，医疗专家可以格外小心地对待高度不确定性的预测。另一方面，人类专家可以更好地信任人工智能系统的预测，因为它报告的不确定性很低。在本研究中，我们回顾了近年来在医学图像分类任务中应用不确定性估计方法的出版物。深度神经网络中的不确定性估计是一个活跃的研究领域，目前最流行的方法是从2016年开始提出的。在下一节中，我们将概述最突出的不确定性估计方法。gydF4y2Ba

在结果部分，我们通过它们应用的不确定性估计方法对评审作品进行分类。我们提供了一个表格，作为所有纳入研究的概述。在最后一节中，我们讨论了评估不确定性评估收益的最常用指标，并展望了未来可能的研究方向，重点是人机协作。gydF4y2Ba

技术背景gydF4y2Ba

在分类任务中，神经网络应该预测给定输入的可能性gydF4y2BaxgydF4y2Ba属于阶级gydF4y2BaygydF4y2Ba从固定数量的可能类别中。神经网络的输出可以解释为所有类的概率分布，每个单独的值表明输入属于各自类的可能性有多大。gydF4y2Ba

在公式中，预测分布可表示为:gydF4y2Ba

给定输入的预测分布gydF4y2BaxgydF4y2Ba训练数据gydF4y2BaDgydF4y2Ba被描述为对似然的积分gydF4y2Bap (y | x,θ)gydF4y2Ba与以前的gydF4y2Bap(θ| D)gydF4y2Ba根据模型参数计算gydF4y2BaθgydF4y2Ba．在深度神经网络中，这个积分不能解析计算。因此，试图在神经网络中捕捉不确定性的方法试图近似预测分布。gydF4y2Ba

根据模型的不确定性，预测不确定性可分为任意不确定性和认知不确定性。任意不确定性描述了数据中固有的不确定性，而认知不确定性捕获了模型的不确定性。典型分类网络的softmax输出只能捕获任意不确定性[gydF4y2Ba2gydF4y2Ba]．gydF4y2Ba

不确定度估计方法gydF4y2Ba

Ovadia等[gydF4y2Ba3.gydF4y2Ba比较了几种常用的不确定度估计方法。在这项工作中，我们命名了我们发现最受欢迎的方法，并请读者参考各自的作品，以详细描述所提出的方法。我们将这些方法分为(1)模型抽样，(2)单网络方法和(c)数据增强。gydF4y2Ba

模型抽样gydF4y2Ba

基于抽样的方法很容易实现，因为它们利用了现有的网络架构。最流行的两种方法是蒙特卡罗退出法(MCDO) [gydF4y2Ba4gydF4y2Ba]及深层合奏[gydF4y2Ba5gydF4y2Ba]．这两种方法都依赖于多个神经网络的集合或带有dropout层的神经网络的多次预测运行来计算预测的不确定性。gydF4y2Ba

单网方式gydF4y2Ba

直接修改网络结构以改进不确定性估计的领域是相当多样化的。在MCDO的推导中，作者将他们的方法与高斯过程(GPs)进行了比较。GP是一种估计函数分布的方法[gydF4y2Ba6gydF4y2Ba]，可用于估计神经网络中的不确定性。gydF4y2Ba

被Ovadia等人纳入比较的方法[gydF4y2Ba3.gydF4y2Ba]包括随机变分推理(SVI) [gydF4y2Ba7gydF4y2Ba]及温标(TS) [gydF4y2Ba8gydF4y2Ba]．SVI将变分推理的概念应用于深度神经网络，而TS是一种事后方法。通过对网络输出应用比例因子，TS可以改善网络校准。另一个值得一提的方法是证据深度学习(EDL) [gydF4y2Ba9gydF4y2Ba]．EDL拟合网络输出的狄利克雷分布来估计网络的不确定性。gydF4y2Ba

数据增加gydF4y2Ba

与采样多个模型相比，也可以通过在输入数据的不同增量上运行网络来计算预测的分布。艾汉和贝伦斯[gydF4y2Ba10gydF4y2Ba提出了一种改进任意不确定性估计的方法，称为测试时间数据增强(TTA)。gydF4y2Ba

方法gydF4y2Ba

数据提取gydF4y2Ba

在系统综述中，我们通过Google Scholar、PubMed、IEEE Xplore和ScienceDirect进行检索，找出将不确定度估计方法应用于医学图像分类的相关作品。我们将搜索范围限制在2016年1月至2021年10月之间出现的作品。作为搜索词，我们使用了“不确定性”、“不确定性估计”、“网络校准”和“分布外检测”，并将它们与术语“医学图像”、“医学图像分析”和“医学图像分类”结合起来。gydF4y2Ba

选择过程gydF4y2Ba

甄选过程是根据“系统评审及综合分析首选报告项目”指引[gydF4y2Ba11gydF4y2Ba]．我们从数据库搜索中找到了320篇可能相关的出版物。在标题和摘要筛选过程中，我们丢弃了大部分作品，因为它们要么根本没有估计不确定性，要么处理了其他图像分析问题，如图像分割。从第一轮筛选中，选出65篇论文进行全文分析。在全文分析过程中，我们丢弃了其他几个作品，因为它们被证明要处理其他问题，包括语义分割。最终，22篇论文被纳入综述。gydF4y2Ba图1gydF4y2Ba可视化选择过程。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

结果gydF4y2Ba

论文分类gydF4y2Ba

图2gydF4y2Ba提供在所有审查的作品中应用方法的概述。请注意，大多数包括的工作应用不止一种方法进行不确定度估计。我们观察到，大多数工作应用基于采样的方法(即MCDO和Deep Ensembles)。在我们表示为单一网络方法的类别中，所有相应的方法几乎都是相等的。最后，我们包括的4个作品应用TTA来计算不确定性估计。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

所包括的大多数工作通过计算不确定性度量(主要是预测方差或预测熵)来评估应用的方法。这种不确定度度量通常用于生成保留数据和准确性评估。gydF4y2Ba图3gydF4y2Ba显示了Filos等人研究中保留数据与准确性图的示例[gydF4y2Ba2gydF4y2Ba]．从图中可以看出，当只保留更确定的样本时，保留数据的准确性增加。不确定度估计的方法根据它们在保留的数据上提高精度的程度进行排序。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

其中一些研究着重于网络校准，并试图在实验中降低预期校准误差(ECE)。其他一些工作使用计算的不确定度测量来检测偏离分布(OOD)的样本。gydF4y2Ba表1gydF4y2Ba提供所有包含作品的概述。在接下来的章节中，我们将简要介绍每个研究的内容。gydF4y2Ba

Sampling-Based方法gydF4y2Ba

我们纳入的第一个工作是Leibig等人的研究[gydF4y2Ba12gydF4y2Ba]，将MCDO应用于糖尿病视网膜病变的分类任务。为了评估应用的不确定性估计方法的影响，作者报告了保留数据与精度曲线。这意味着不确定预测的一小部分被丢弃，并评估丢弃不确定样本如何提高测试数据集的准确性。结果表明，丢弃20%或更多的最不确定样本可以显著提高神经网络的准确性。在他们的工作中，作者将MCDO的性能与另一种实现的GP进行了比较，发现MCDO在保留数据上的准确性优于准确性评估。gydF4y2Ba

Laves等人[gydF4y2Ba13gydF4y2Ba将MCDO和SVI应用于光学相干断层扫描观察到的视网膜扫描。作者表明，与真阳性预测相比，这两种方法导致假阳性预测的标准偏差更高。这表明，标准偏差可以为具有高不确定性的预测提供参考，以提高人类专家的分类精度。gydF4y2Ba

Mobiny等[gydF4y2Ba14gydF4y2Ba]使用MCDO估算不同类型网络(包括VGGNet)的不确定性[gydF4y2Ba32gydF4y2Ba]、ResNet [gydF4y2Ba33gydF4y2Ba]和DenseNet [gydF4y2Ba34gydF4y2Ba]对8种不同皮肤病变类型的皮肤镜图像。类似于Leibig等人[gydF4y2Ba12gydF4y2Ba]，作者报告了保留数据与准确性曲线，并表明当将一小部分不确定样本提交给医学专家时，准确性可以提高。作为不确定性的度量，计算归一化预测熵。作为额外的度量，作者还计算了一个与不确定性相关的混淆矩阵，其中包括正确-确定、正确-不确定、不正确-确定和不正确-不确定预测的数量。当不确定性阈值改变时，各自的数字会发生变化。这种评估的一个可能目标是尽可能减少不正确预测的数量。gydF4y2Ba

Herzog等人的另一项研究[gydF4y2Ba15gydF4y2Ba]将MCDO应用于脑磁共振成像(MRI)图像的分类。他们的工作目标是从多个图像的预测中推断出患者级别的诊断。因此，作者计算了每张图像的5种不确定度。为了在患者层面得出结论，作者运行了另一个神经网络，处理属于一个患者的所有图像的不确定性。gydF4y2Ba

在另外两篇已发表的著作中，Caldéron-Ramírez等[gydF4y2Ba16gydF4y2Ba，gydF4y2Ba17gydF4y2Ba将MCDO应用于乳房x线摄影图像的乳腺癌分类任务和胸部x线扫描的COVID-19分类任务。不幸的是，即使在这两部作品中，作者也报告了不同的指标，这就妨碍了对结果的比较。在乳腺癌分类任务中，作者使用了一种称为不确定性平衡精度的度量，该度量建立在与不确定性相关的混淆矩阵上，Mobiny等人也使用了该矩阵[gydF4y2Ba14gydF4y2Ba]．在与COVID-19检测相关的工作中，作者将Jensen-Shannon分歧报告为不确定性度量，我们在任何其他审查的作品中都没有遇到过。gydF4y2Ba

另一组研究将MCDO与Deep Ensembles(进一步简称为Ensembles)进行了比较，并部分与其他方法进行了比较。Filos等[gydF4y2Ba2gydF4y2Ba]将MCDO与Ensembles和平均场变分推理(mean field variational inference, MFVI) (SVI的一种变体)进行比较，并将其应用于糖尿病视网膜病变分类任务。除了单独比较MCDO和Ensembles之外，他们还将两种方法结合起来，并将组合包括在评估中，表示为“Ensemble MCDO”。作为神经网络架构，作者使用了VGGNet的变体[gydF4y2Ba32gydF4y2Ba]．保留的数据与精度图显示，“集成MCDO”具有最佳性能，其次是单独应用MCDO和Ensembles。MFVI没有达到与基于抽样的方法相同的性能。gydF4y2Ba

Linmans等[gydF4y2Ba18gydF4y2Ba]对公开可用的Camelyon数据集进行不确定性估计，用于组织病理切片上的乳腺癌检测。作者提出了一种新的不确定性估计方法，称为“m -头”，它向卷积神经网络(CNN)添加多个输出头。他们将他们的方法分别与5个和10个网络的MCDO和Ensembles进行了比较。从不同的评估来看，置信度与准确度图表明，只有保持高置信度的预测时，准确度才会增加。这些方法从m -head中排名最佳，其次是5和10个网络的Ensembles。在报告的结果中，MCDO并不比香草softmax输出表现更好。gydF4y2Ba

Thagaard等[gydF4y2Ba19gydF4y2Ba将Ensembles和MCDO应用于乳腺癌检测的组织病理学切片的私有数据集。在他们的工作中，作者专注于OOD检测，同时分析不同内部数据集的组合。为了比较不确定度估计方法，在3个不同的数据集上计算了ECE。对于所有3个数据集，5个ResNet-50网络的Ensemble达到了最好的ECE分数。gydF4y2Ba

在另一部作品中，杨和芬斯[gydF4y2Ba20.gydF4y2Ba将MCDO、Ensembles以及两者的组合应用于几个公开可用的数据集。方法包括通过x射线扫描对COVID-19进行分类，通过MRI图像对脑肿瘤进行分类，以及通过组织病理学切片检测乳腺癌。在组织病理学图像上，作者给出了保留数据与准确性的对比图。对于报告的精度，集成MCDO方法与5个Inception-ResNet网络导致最好的结果。gydF4y2Ba

Abdar等[gydF4y2Ba21gydF4y2Ba将MCDO、Ensembles和Ensemble MCDO应用于皮肤镜图像的皮肤癌分类。作者报告了在2个不同的公开数据集上4种不同网络架构的应用方法的熵和标准差。从报告的值，作者得出结论，合奏整体表现最好。在另一个设置中，作者将两种不确定性估计方法(Ensembles和Ensembles MCDO)结合在一个决策树中，他们称之为三向决策理论。gydF4y2Ba

在另一项研究中，Berger等[gydF4y2Ba22gydF4y2Ba评估基于置信度的肺部疾病x射线扫描OOD检测。作者比较了MCDO、Ensembles和OOD检测的特定方法，包括基于马氏距离的方法和“神经网络的分布外检测器”[gydF4y2Ba35gydF4y2Ba]．在他们的实验中，作者发现神经网络的OOD检测器在接收操作曲线下的面积(AUROC)和精确召回曲线下的面积(AUPRC)值方面产生了最佳的OOD检测结果。gydF4y2Ba

单网方式gydF4y2Ba

在介绍了几个专注于基于抽样的不确定性估计方法的工作之后，我们现在将研究直接应用于网络分类输出来估计不确定性的工作。托莱多-科特萨斯等人的研究就是一个例子[gydF4y2Ba23gydF4y2Ba将GP应用于他们实施的Inception-V3网络的输出[gydF4y2Ba36gydF4y2Ba]．类似于Laves等人[gydF4y2Ba13gydF4y2Ba]，作者报告了真阳性和假阳性预测的标准偏差。由于两种情况的标准差非常相似，因此必须得出结论，所应用的GP不适合于有用的不确定性估计。gydF4y2Ba

一系列其他工作应用EDL来估计不确定性。在他们的第一部作品中，盖苏等人[gydF4y2Ba24gydF4y2Ba用x射线扫描胸部，然后扩展到腹部的超声波图像和大脑的核磁共振成像[gydF4y2Ba26gydF4y2Ba]．结果表明，丢弃部分最不确定的预测可以显著提高不同x射线分类任务的AUROC平均得分。gydF4y2Ba

相比之下，Tardy等[gydF4y2Ba25gydF4y2Ba将EDL应用于乳房x线摄影图像的乳腺癌分类任务。作者还报告了在丢弃一小部分不确定样本时改进的AUROC和AUPRC值。gydF4y2Ba

我们纳入的两个作品将TS应用于医学图像分类任务。Carneiro等[gydF4y2Ba27gydF4y2Ba]将TS和MCDO结合起来，以预测熵和预测方差的形式计算校准的置信度度量以及不确定性度量。作者评估了两组不同的结肠镜检查图像中5级息肉分类任务的方法。报告的ECE和精度值表明，具有MCDO和TS的DenseNet-121架构可获得最佳结果。gydF4y2Ba

Liang等[gydF4y2Ba28gydF4y2Ba提出了一种新的网络校准方法，其形式是一种辅助损失项，称为“置信度与准确性之差”(DCA)，可以集成到现有的CNN训练过程中。作者将他们的方法与具有几种不同网络架构的不同医疗数据集的TS和未校准网络进行了比较。结果表明，在大多数情况下，DCA产生最好的ECE值。研究还表明，根据数据集和模型结构的不同，TS并不总能提高预期的校准误差。gydF4y2Ba

测试时间数据增强(TTA)gydF4y2Ba

TTA的概念是由Ayhan和Behrens [gydF4y2Ba10gydF4y2Ba]，在那里它被应用于眼底图像的糖尿病视网膜病变的任务。作者应用了128种不同的增强，从裁剪和调整大小到不同的颜色增强。作为不确定性的度量，计算预测的四分位数范围。类似于Leibig等人[gydF4y2Ba12gydF4y2Ba]，作者报告了保留的数据与AUROC曲线的对比，并表明当将不确定的样本提交给医学专家时，AUROC值有所提高。gydF4y2Ba

Jensen等人的另一项研究[gydF4y2Ba29gydF4y2Ba着重于评估不同皮肤病变的皮肤镜图像的一致性。在实验中，多个专家为各自的图像提供了标签，每个样本的标签可能因专家而异。因此，比较了标签融合和标签采样两种训练神经网络的方法。这些方法与估计不确定度的方法相结合，以评估组合方法对网络校准的影响。结果表明，在特定的实验环境下，标签采样和TTA相结合的分类准确率在所有数据分割中最高。gydF4y2Ba

Combalia等[gydF4y2Ba30.gydF4y2Ba]，也与皮肤镜图像合作，结合TTA和MCDO来评估任意和认知的不确定性。在他们的实验中，作者表明这两种方法的结合导致OOD检测以及保留数据与准确性评估的最佳结果。对于评估，使用TTA或MCDO或两种方法组合在网络中执行100次正向传递。通过计算预测熵、预测方差以及Bhattacharyya系数来量化不确定性[gydF4y2Ba30.gydF4y2Ba]．gydF4y2Ba

在他们最初工作的后续研究中，Ayhan等人[gydF4y2Ba31gydF4y2Ba]用其他不确定性估计方法对糖尿病视网膜病变分类进行了扩展实验。除了TTA，作者还包括TS和3个改进的ResNet网络的集合。为了比较结果，作者计算了自适应期望校准误差[gydF4y2Ba37gydF4y2Ba]．在自适应期望校准误差方面，128次前向传递不同数据增强的中位数概率得到最佳校准结果。在保留数据和AUROC曲线上，TTA和Deep Ensembles表现同样好。在不同的眼底图像队列上进行的实验表明，与TTA和Deep Ensembles相比，TS对新数据的泛化效果更差。gydF4y2Ba

讨论gydF4y2Ba

通过对文献的回顾，我们对医学图像分类领域中最常用的不确定度估计方法进行了综述。我们发现基于采样的方法MCDO和Deep Ensembles是最常用的方法。使用基于抽样的方法，可以计算预测的分布，并从那里确定不确定性度量，通常以预测熵或预测方差的形式。这些措施有助于识别神经网络对其预测不确定的样本。gydF4y2Ba

除了基于采样的不确定度评估外，我们还观察到分析神经网络校准的评估。根据可靠性图和ECE进行校准评估，以确定神经网络的输出概率是否代表预测正确的实际可能性。在关于神经网络标定的原论文[gydF4y2Ba8gydF4y2Ba]，作者声称，大多数现代cnn没有很好地校准，并产生过度自信的预测。在这篇综述中，我们看到包括TS和TTA在内的几种方法可以用于改进校准[gydF4y2Ba31gydF4y2Ba]．gydF4y2Ba

我们还观察到，结合不确定性估计方法可以改善结果。这适用于组合Ensembles和MCDO [gydF4y2Ba2gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba，gydF4y2Ba21gydF4y2Ba]、TS及MCDO [gydF4y2Ba27gydF4y2Ba]，或TTA和MCDO [gydF4y2Ba30.gydF4y2Ba]．gydF4y2Ba

通过呈现保留数据与精度曲线，一些工作[gydF4y2Ba2gydF4y2Ba，gydF4y2Ba10gydF4y2Ba，gydF4y2Ba12gydF4y2Ba，gydF4y2Ba14gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba，gydF4y2Ba26gydF4y2Ba，gydF4y2Ba30.gydF4y2Ba]表明，丢弃不确定的预测会提高神经网络在剩余样本上的准确性。这种见解适用于所有三种不确定性估计方法，我们将其表示为(1)模型抽样，(2)单网络方法和(3)数据增强。从这一观察中得到的一个重要信息是，不确定性估计可以用作改善人工智能系统与人类专家之间协作的工具。到目前为止，所有的研究都是在非常人工的环境中进行的。因此，未来的工作应该分析不确定性感知人工智能系统与人类专家在更接近诊所现实情况的场景中合作的性能改进。gydF4y2Ba