这是一篇开放获取的文章,根据创作共用署名许可(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
研究显示,基于卷积神经网络(cnn)的最先进的分类器可以与皮肤科医生一样对皮肤癌图像进行分类,甚至可以通过在移动设备上安装应用程序在医院之外进行救生和快速诊断。据我们所知,目前还没有对这一研究领域的工作进行综述。
这项研究首次系统回顾了用cnn分类皮肤损伤的最新研究。我们将我们的审查局限于皮肤病变分类。特别地,这里不考虑仅应用CNN进行分割或皮肤镜模式分类的方法。此外,本研究讨论了为什么所提出的程序的可比性是非常困难的,以及哪些挑战必须在未来解决。
我们搜索了谷歌Scholar、PubMed、Medline、ScienceDirect和Web of Science数据库,以获得系统评论和英语发表的原创研究文章。只有报告了足够科学进展的论文才被纳入本综述。
我们找到了13篇使用cnn对皮肤损伤进行分类的论文。原则上,分类方法可以根据三个原则进行区分。使用已经通过另一个大型数据集训练的CNN,然后优化其参数以分类皮肤病变的方法是最常用的方法,并且它们在当前可用的有限数据集上显示出最佳性能。
cnn作为最先进的皮肤病变分类器,表现出较高的性能。不幸的是,很难比较不同的分类方法,因为一些方法使用非公共数据集进行训练和/或测试,从而增加了可重复性。今后的出版物应使用公开的基准,并充分披露用于培训的方法,以便进行比较。
在2008年至2018年的过去10年期间,黑色素瘤病例的年度数量增加了53%,部分原因是紫外线照射增加[
皮肤科医生诊断恶性病变的第一步是对可疑皮肤区域进行目视检查。由于某些病变类型的相似性,正确的诊断很重要;此外,诊断的准确性与医生的专业经验密切相关[
一段时间以来,皮肤病变的分类问题也进入了机器学习社区的关注焦点。病变自动分类既可以为医生的日常临床工作提供支持,也可以通过在移动设备上安装应用程序,快速、廉价地获得挽救生命的诊断,甚至在医院之外也可以获得[
2016年,病变分类技术的研究发生了变化。这一变化的迹象可以在提交给2016年生物医学成像国际研讨会(ISBI)的方法中找到[
本文首次系统综述了利用cnn对皮肤损伤进行分类的最新研究。所提出的方法根据CNN是否专门用于特征提取器或是否应用于端到端学习进行分类。本文的结论讨论了为什么所提出的技术的可比性是非常困难的,以及在未来必须解决哪些挑战。
在谷歌Scholar、PubMed、Medline、ScienceDirect和Web of Science数据库中搜索系统综述和英语发表的原始研究文章。搜索词
我们的综述仅限于皮肤病变的分类方法。特别是,如Demyanov等人所提出的仅将CNN应用于病变分割或皮肤镜模式分类的方法[
cnn是具有特定架构的神经网络,已被证明在图像识别和分类等领域非常强大[
cnn是一种监督学习方法,因此使用标记有各自类的数据进行训练。从本质上讲,cnn学习输入对象和类标签之间的关系,并包括两个组件:隐藏层,其中提取特征,在处理结束时,用于实际分类任务的完全连接层。与常规的神经网络不同,CNN的隐藏层具有特定的架构。在常规神经网络中,每一层由一组神经元组成,每一层的一个神经元与前一层的每个神经元相连。CNN中隐藏层的架构略有不同。一层中的神经元不与前一层的所有神经元连接;相反,它们只与少量的神经元相连。这种对局部连接的限制和将局部神经元输出汇总为一个值的附加池化层导致了平移不变特征。这使得训练过程更简单,模型复杂度更低。
在本节中,介绍了用于分类皮肤病变的个别CNN方法。cnn可以用两种根本不同的方式对皮肤损伤进行分类。一方面,CNN在另一个大型数据集上进行预训练,例如ImageNet [
深度CNN模型成功训练的一个基本要求是有足够的标注了类的训练数据。否则,存在神经网络过拟合的风险,因此,网络对于未知输入数据的泛化属性不足。可公开获得的皮肤病变分类数据非常有限。几乎所有已发布的方法使用的数据集,每个训练类包含的训练数据点远远少于1000个。相比之下,知名的CNN图像分类模型,如AlexNet [
然而,通过使用一种称为迁移学习的特定训练过程,即使只有少量的数据可供训练,也可以使用具有数百万个自由参数的强大CNN模型进行分类。在这种情况下,CNN使用一个非常大的数据集进行预训练,例如ImageNet;然后将其用作各自任务的CNN的初始化。特别是在实际分类任务中,根据训练类的数量对预训练CNN模型的最后一层全连接层进行了修改。然后,对预训练的CNN的权重有两个选择:微调CNN的所有层,或者因为过拟合问题冻结一些前面的层,并只微调网络的一些后面的层。这种技术背后的思想是,CNN的前层包含更多对许多任务有用的通用特征(例如,边缘或色块检测器),但CNN的后层越来越特定于原始数据集中包含的类的细节。
在接下来的讨论中,介绍了用于评估不同分类器的统计量。接下来,介绍了利用CNN作为特征提取器的方法。最后一小节概述了使用CNN进行端到端学习时所涉及的方法。
分类器将每个对象分配给一个类。这种赋值通常不是完美的,对象可能会被赋给错误的类。要计算一个分类器,必须知道对象的实际类。为了评价分类质量,将分类器分配的类与实际类进行比较。这允许对象被分为以下四个子集:
真正(TP):分类器正确预测正类。
真否定(TN):分类器正确预测否定类。
假阳性(FP):分类器错误地预测了阳性类。
FN (False negative):分类器错误地预测了阴性类。
基于这些子集的基数,现在可以计算分类器的统计量。一个常见且广泛使用的量是准确度,只有当数据集中的不同类别近似均匀分布时,这才是一个合理的度量。精度按(TP + TN)/(TP + TN + FP + FN)计算。它指定已正确分类的对象的百分比。
另外两个重要的指标是敏感性和特异性,即使不同的类别分布不均匀,也可以应用它们。灵敏度表示在数据集中包含的阳性对象总数中被正确分类为阳性对象的比例,由TP/(TP + FN)计算。
概述了所提出的卷积神经网络(cnn)方法和相应的分类。
特异性表示在可用数据集中包含的阴性对象总数中,被正确分类为阴性对象的比例,由TN/(TN + FP)计算。
二元分类器的输出被解释为类的概率分布。通常,在二进制分类器中,输出值大于.5的对象被分配给正类,输出值小于.5的对象被分配给负类。另一种基于受试者工作特征(ROC)的方法被使用。用于分类的阈值系统地在0到1之间变化,并确定每个选定阈值的敏感性和特异性。ROC曲线通过绘制灵敏度相对于1-特异性来计算,并可用于评估分类器。ROC曲线偏离对角线越远,分类器越好。曲线下面积是曲线下面积(AUC)。
通过去除使用大型数据集预训练的CNN的全连接层,CNN可以被纳入分类。在皮肤病变分类中,使用ImageNet进行预训练。尽管是非医学图像域,但学习到的特征具有足够的质量用于病变分类[
Pomponiu等[
Codella等人也应用了特征提取的AlexNet模型[
河原等[
由于公开可用的数据集有限,一种常见的皮肤病变分类方法涉及迁移学习。因此,所有这些工作都通过ImageNet数据集预训练CNN;其次,对CNN的加权参数进行微调,以适应实际的分类问题。
埃斯特瓦等[
Haenssle等[
韩等[
Marchetti等人提出了一套用于黑素瘤与痣或小扁豆瘤分类的cnn集合[
另一种类型的CNN集合由Bi等人提出[
Kawahara等人提出了一种CNN合奏的特殊架构[
类似于Esteva等人[
Lopez等人也利用了一种改进的VGGNet [
之前Bi等人引入的两步方法[
在Nasr-Esfahani等人[
比较皮肤病变分类方法的一个问题是,个别作品所考虑的问题公式不同,有时只是略有不同。这不仅发生在所考虑的培训课程和使用的数据上,而且发生在所呈现的统计量上。此外,一些作品除了使用公开可访问的数据档案外,还使用了皮肤诊所的非公开档案[
这一研究领域的另一个重要挑战是开发大型公共图像档案,其中的图像尽可能代表世界人口[
通过添加临床数据(如年龄、性别、种族、皮肤类型和解剖位置)作为分类器的输入,可以提高分类质量。这些额外的信息有利于皮肤科医生的决策,如Haenssle等[
不幸的是,由于许多作者使用非公共数据集进行训练和/或测试,因此很难在很多时候不可能比较已发表的分类结果的性能。今后的出版物应使用公开的基准,并充分披露用于培训的方法,以便进行比较。
曲线下面积
卷积神经网络
假阴性
假阳性
生物医学成像国际研讨会
国际皮肤成像合作组织
接收机工作特性
真正的负
真阳性
没有宣布。