基于智能手机的人工智能辅助阅读和报告快速诊断检测的平台:SARS-CoV-2横向流动免疫检测的评估研究

简介

为了控制新冠肺炎疫情，及时准确的新冠肺炎早期检测策略是减缓病毒传播的关键。使用快速诊断检测方法检测抗体和抗原，有助于提高COVID-19检测能力，降低诊断成本，并能够以最快速度得到结果[1］．首先，COVID-19快速诊断检测仅供专业卫生工作者使用，他们在使用该工具治疗不同传染病方面拥有丰富经验[2，3.］．后来，多个卫生部批准了家庭检测包，改善了检测的可及性，减轻了卫生机构的压力。然而，自我测试策略有一些局限性;一般人群不熟悉快速诊断方法的使用;采样、测试和结果解释需要最少的训练。此外，正如在最近的浪潮中所看到的那样[4]，许多结果未被报告，影响了检测后咨询和流行病学监测。

将快速诊断检测与数字工具、人工智能(AI)和移动医疗方法相结合，有助于将结果解释标准化，并促进立即报告和监测结果[5］．已经提出了一些工作，使用不同的图像处理方法自动解释RDTs的照片，从经典的方法，如基于形态的方法，到更复杂的机器学习或深度学习方法[6-21］．然而，这些方法不能模糊地处理2波段和3波段的快速检测，也没有连接到能够收集大规模筛查结果的云平台，而且许多方法需要额外的硬件。在本文中，我们描述了一种基于移动的工具的开发和现场验证(在各种型号的手机和不同的照明条件下进行了详尽的测试)，该工具可与任何智能手机一起使用，用于读取和报告多种类型的SARS-CoV-2快速诊断检测，并连接到实时流行病学监测web平台(图1)．

‎ 查看此图

方法

过程

这项研究分为2个阶段:首先，训练和验证用于RDTs自动解释的AI算法;其次，开展2项实地研究，评估基于人工智能的系统在现实场景中读取COVID-19抗体和抗原快速检测的性能。

伦理批准

该研究获得了Ramón y Cajal大学医院临床研究伦理委员会的伦理批准(127/21)。

算法训练与验证数据集

确保标准化的图像采集是开发健壮的人工智能算法的关键步骤。为此，使用TiraSpot移动应用程序(Spotlab)对所有接种的RDT进行了数字化，该应用程序使用一个简单的增强现实系统，在智能手机屏幕上显示具有给定RDT精确几何形状的掩模，从而保证图像质量和图像中RDT的正确定位，帮助用户在制作图片之前正确对齐RDT(移动应用程序的截图在图1)．每个RDT品牌都有自己的掩模，引导用户拍摄标准化的照片。此外，在拍摄完照片后，用户会看到照片，并被要求确认照片是否对齐和对焦。如果用户拒绝了这张照片，则允许用户再拍一张。该移动应用程序还允许用户记录样本元数据，这些元数据与图像及其初始视觉解释一起上传到云平台。为了获得鲁棒性和通用性，本研究共使用了11种不同的智能手机型号，从低到高范围的设备。

开发了一种AI算法，可以根据RDT的图片预测测试结果。为此，首先对图像进行预处理，裁剪原始图像以提取包含图像相关部分的感兴趣区域(RDT的条带)。然后，采用图像归一化和对比度增强(对比度有限自适应直方图均衡化方法)来突出微弱波段。最后，将处理过的感兴趣区域引入卷积神经网络(MobileNet V2 [22])，然后预测测试结果(图2)．

‎ 查看此图

为了生成训练图像数据集，使用了SARS-CoV-2聚合酶链反应试验阳性(2020年3月至5月感染)且酶联免疫吸附试验(ELISA)阳性的患者的12份人类血清。每个血清样品用参比人血清(H5667;Sigma-Aldrich)，直到在COVID-19抗体测试中接种，结果呈阴性。对3个检测品牌的每一种稀释剂进行3个重复检测(即:2019-nCoV IgG/IgM快速检测试剂盒，杭州欧泰生物科技有限公司;雅培公司Panbio COVID-19 IgG/IgM快速检测设备;无科COVID-19 IgG/IgM快速检测(武汉无科生物科技有限公司)，共接种433支RDTs，其中IgG和IgM均阳性61支;166 IgG阳性，IgM阴性;43例IgG阴性，IgM阳性;IgG和IgM均为164阴性)。此外，12种COVID-19抗原快速检测试剂盒(Panbio COVID-19 Ag快速检测装置，雅培; 6 positive and 6 negative) were also included to train the algorithm to read not only 3-band tests (such as the COVID-19 antibody tests used in this study) but also 2-band RDTs, such as COVID-19 antigen tests. The entire training data set consisted of 3614 images.

为了收集独立的验证数据集，240个独立于用于训练的人血清样本被用于接种720个COVID-19抗体RDTs(每个血清都使用上述品牌进行了三次测试)。样本的选择确保所有可能的结果都能很好地代表数据集(108例IgG和IgM阳性;321 IgG阳性，IgM阴性;27例IgG阴性，IgM阳性;IgG和IgM均为阴性264)。

每个RDT由多个观察者(3到5个)直观地读取，地面真相被建立为来自总分析器的大多数结果。所有血清样本都是在2020年5月至6月期间采集的。

现场验证研究

现场研究的工作流程如下:一名卫生专业人员使用应用程序将快速诊断检测数字化，并要求记录检测结果的视觉解释;图像上传到云平台，由AI算法进行处理;卫生专业人员做出的解释与算法得出的解释之间的差异随后由外部卫生专业人员通过平台进行审查。

第一个实地研究使用该系统作为在西班牙马德里的两个疗养院进行的血清流行率研究的一部分。本研究共纳入172名接种疫苗的卫生保健人员;从他们身上取一份手指刺血样本，并接种到SARS-CoV-2快速抗体测试(Roche)中。一名训练有素的护士将快速诊断诊断数字化，并使用应用程序记录结果。

第二项现场验证研究测试了该系统的COVID-19抗原检测(即Panbio COVID-19 Ag快速检测装置，Abbot)，由2个条带(即对照和测试)组成。这项研究是在西班牙马德里Ramón y Cajal医院的急诊科进行的，在那里，96个人的鼻拭子接种了抗原测试，并由经验丰富的卫生专业人员使用该应用程序进行数字化。

所有图像都是在非常不同的现实世界条件下获得的，涉及不同的用户，包括不同的环境照明(例如，不同的照明色温和大范围的照明)，并使用不同的智能手机型号，从低范围到高范围设备。这样做的目的是开发和验证算法的鲁棒性，在现实生活中可能会发生变化。

结果

人工智能算法训练和应用程序验证

该应用程序获取的所有图像都上传到云平台，人工智能算法对照片进行处理，以预测结果解释。如表1(第一部分)，当将视觉解释(用作ground truth)与AI算法进行比较时，所测试的所有品牌RDT的性能都很高，对于IgG带的检测，平均灵敏度和特异性分别为98%和100%;IgM带检测的平均敏感性和特异性分别为80%和89%。在不同智能手机型号和不同光照条件下，算法性能没有显著差异，表明读出算法具有鲁棒性。

真实场景中的验证

在本研究中使用的172例RDTs中(5例IgG和IgM均阳性;149例IgG阳性，IgM阴性;1例IgG阴性，IgM阳性;IgG和IgM均为阴性的有17例)，我们只发现医疗专业人员对检测结果的解释与人工智能算法的解释之间有9个差异。在这9例病例中，有2例由于应用程序的图像采集不正确而被算法错误地分类。剩余的差异病例由第二位专业人员进一步审查，基于人工智能的系统通过确认算法预测的结果，允许对4例最初的健康专业人员解释的结果进行检测和修改。

算法相对于ground truth的总体性能如图所示表1(第2部分).值得注意的是，即使使用不同于用于训练算法的RDT，系统的性能也很高，这表明它可能与市场上的任何RDT一起使用。在验证集和本现场研究之间，抗体快速检测中IgM带识别性能的轻微差异可能是由于存在非常微弱的信号，而这些信号在照片中几乎看不见。

关于读取COVID-19抗原快速诊断检测的第二项实地研究，我们发现使用TiraSpot应用程序进行数字化的所有测试(即58个阴性和30个阳性)都被拟议的系统正确解释(表1，第3部分)，说明该系统也可用于读2带(即对照和测试)和3带(即IgG、IgM和对照)的检测。

讨论

我们描述了一个用于SARS-CoV-2检测的横向流动RDTs阅读和结果解释的应用程序的有用性。结果被发送到一个云平台，以便进行病例识别和确认、质量控制和实时监测。

我们的AI算法表现出出色的性能，特别是在现实生活场景的前瞻性验证以及抗体和抗原检测测试中。该算法在完全没有用于训练目的的RDT品牌中表现良好，使该解决方案适用于其他rddt，包括其他疾病。与以往研究相比[6-21]，我们的系统能够识别RDTs的单个波段，允许复杂的结果读取并实时发送到云平台。所提出的系统的一个要求和限制是图像的正确采集(现场研究的采集误差<0.8%)。

总之，使用TiraSpot (图1)是报告、实时监测和质量控制的有用工具，因为结果可在需要时由专家审查。这在需要进行大量测试的情况下尤其重要，在解释结果时主观性和错误的可能性更高。它对于验证未经培训的用户进行的自我诊断检测也很重要，因为它避免了在用户未报告的情况下丢失信息，并提供了一个有效的系统来确认和报告数据，这在最近的大流行浪潮中一直是一个关键挑战。