基于web的COVID-19症状检测器诊断准确性的比较研究

介绍

在现代世界，大量患者在向训练有素的医疗专业人员寻求诊断之前，首先求助于各种网络资源进行健康问题的自我诊断。然而，基于网络的资源存在固有的问题，如错误信息、误解、误导性广告和质量参差不齐[1]。为提供基于网络的诊断而开发的交互式网络资源有时被称为症状检查器或聊天机器人[2，3.]。根据输入的症状和其他因素的列表，这些症状检查器返回潜在疾病的列表。

在新型冠状病毒病大流行的背景下，基于网络的症状检查器变得流行起来，因为就医的机会减少了，人群的关注度很高，大量的错误信息正在互联网上传播[1]。在COVID-19症状检查器网页上，用户会被问及一系列针对COVID-19的问题;完成后，系统会给出答案与COVID-19之间的关联，以及自我隔离等行为建议。

在此背景下，COVID-19症状检查器是本次大流行期间进行预评估和筛查的宝贵工具;它们既可以减轻临床医生的压力，又可以减少医院内的客流量。一个例子是在生病时不去医生的候诊室，以此来练习社交距离。COVID-19大流行凸显了保持社交距离的重要性[4，5]、2009年H1N1流感大流行[6]，以及1918-1919年的流感大流行[7]，并在[8]。症状检查器亦可纾缓医疗电话热线的压力[9，10通过减少所需的人工电话接线员的数量。

目前已开发出大量针对新冠肺炎的症状检查工具。经验证据(如报纸文章)[11])表明他们的结论不同，这可能对症状评估的质量产生影响。据我们所知，目前还没有比较和评估COVID-19症状检查者的研究。

本文采用从文献中提取的50例COVID-19病例和410例其他疾病的非COVID-19对照病例，对10种不同的基于网络的COVID-19症状检查器进行了评估。我们发现，新冠肺炎症状检查者对许多病例的分类存在差异。因此，症状检查器的准确性也存在差异。

方法

COVID-19症状检查工具

2020年4月，我们使用搜索词对COVID-19症状检查器进行了谷歌搜索COVID-19症状检查器和冠状症状检查器。我们在2020年4月3日至9日期间在互联网上免费提供的所有10种COVID-19症状检查器都纳入了本研究(表1）．有9个跳棋用英语执行，1个用德语执行。在此日期范围内可用的版本中使用了这些症状检查器，在此日期之后的更新不考虑用于分析。

作为10个基于web的COVID-19症状检查器的性能评估基线，我们开发了另外两个简单的症状检查器。这两个检查器评估和权衡世界卫生组织(世卫组织)提供的COVID-19症状频率的存在[12)(见多媒体附录1)基于矢量距离(SF-DIST)和余弦相似度(SF-COS)。这些方法可以在几行代码中实现(参见多媒体附录2）．

临床病例

采用460例临床病例对新型冠状病毒症状检测仪的性能进行评价。每个病例都列出了症状和正确的诊断，以及患者的年龄和性别。所使用的两种情况集的详细信息如下所示表2。

COVID-19情况下

2020年3月和4月，3名训练有素的医生从文献中提取了50例COVID-19病例，列于多媒体附录3。每个病例都描述了一名患者的医疗情况(即经历的症状或COVID-19接触者)。从COVID-19引擎构建和评估中分别提取每个病例的症状。输入症状的医生并不知道引擎对他们列出的症状会有什么反应。据我们所知，我们纳入了当时所有可用的病例，除了严重的边缘病例(例如，几种导致不相关症状的严重合并症)。以后不允许更改初始症状列表。

控制情况下

COVID-19病例数据使我们能够评估症状检查器的敏感性。为评价特异性，410例对照病例英国医学杂志(英国医学杂志)的资料亦来自[23，24]。为了公平评估，我们只使用了至少包含世卫组织报告的一种COVID-19症状的病例[12)(见多媒体附录4）．将不相关的病例(如骨折)分类会高估症状检查者的特异性。此外，这些患者不会咨询基于网络的COVID-19症状检查器。410例BMJ病例中没有一例将COVID-19列为诊断，因为这些病例是在COVID-19爆发前收集的。

症状映射和解决缺失的输入和问题

每个症状检查器都有不同的界面和不同的问题序列来进行诊断。因此，我们通过训练有素的医生创建的同义词表和层次结构，将病例中显示的症状映射到每个检查器允许的约束输入。例如，如果检查人员要求“呼吸短促”，但病例描述中列出的是“呼吸窘迫”或“(急性)呼吸困难”，则该症状仍然正确地用于该病例和症状检查人员。

并不是所有的案例都包含了检查者所有问题的答案。在这种情况下，答案是“我不知道”;如果检查器中不存在“我不知道”答案选项，则使用“否”。相反，如果案例包含的信息不适合检查器的任何问题，则该信息不用于此检查器。

精度评价

为了进行统计分析，我们采用了以下分类:

• 真阳性:归类为COVID-19病例
• 假阳性:非COVID-19病例归类为COVID-19
• 真阴性:非covid -19病例归类为非covid -19
• 假阴性:归类为非COVID-19的病例

对于每个症状检查器，我们计算了以下指标:

灵敏度(真阳性率):

特异性(真阴性率):

F1分数(查准率与查全率的调和平均值):

马修相关系数(MCC):

症状检查器输出的分类

大多数COVID-19症状检查器返回人类可读的文本，其中包含输入的症状与COVID-19之间的关联。我们将这些关联分为三种不同的类别:高风险、中等风险和低风险。高、中、低风险分类的例子分别是“您的症状很可能是由COVID-19引起的”、“您的症状令人担忧，可能与COVID-19有关”和“目前没有任何迹象表明您患有冠状病毒(COVID-19)”。请保持身体/社交距离。”所有症状检查器和所有文本输出的文本输出到风险的完整映射在多媒体附录5。

某些症状检查器只有两种可能的输出:COVID-19风险或无COVID-19风险。为了比较三个和两个风险水平的症状检查者，我们进行了两种不同的分析:(1)中危和高风险被视为COVID-19阳性(低危被视为COVID-19阴性)，(2)高风险被视为COVID-19阳性(低危和中危被视为COVID-19阴性)。

引导

为了评估我们的统计测量的稳健性并解释不平衡的数据集，我们在我们的案例中执行了自举。随机抽取50例新冠肺炎病例和410例对照病例，置换样本共3000例，其中50例新冠肺炎病例和50例对照病例。

结果

为了分析10种基于web的症状检查器的性能，我们根据方法部分中描述的病例计算了每种症状检查器的敏感性和特异性。不同症状检查者对COVID-19的敏感性和特异性散点图见图1，详细数值载于多媒体附录6和多媒体附录7。这些症状检查器大致分为四组:左上角、右下角、中央区域和右上角。

‎ 查看此图

对这些组的病例真假分类的进一步分析表明，左上角的组由症状检查者组成，这些症状检查者需要出现一种(或几种)高度特异性的症状才能将病例归类为covid -19阳性(例如，“与covid -19阳性患者密切接触”)。通过这种方式，这些症状检查器错过了许多COVID-19阳性的患者，这些患者并没有准确报告这种高度特异性的症状。相比之下，这些高度特异性的症状很少出现在非covid -19病例中。这导致低灵敏度和高特异性。

右下角的这一组由症状检查器组成，它们根据出现一种或几种与COVID-19相关的症状(例如，发烧或咳嗽足以预测患者为COVID-19阳性)来预测病例是否为COVID-19阳性。这些检查人员几乎将所有患有呼吸系统疾病或病毒感染的患者都归类为covid -19阳性。因此，他们没有错过很多患者，但错误地将许多没有感染COVID-19的患者预测为COVID-19阳性。这导致低特异性和高灵敏度。

在更中心的区域，这一组由症状检查者组成，他们使用更平衡的预测，但在正确分类患有和不患有COVID-19的患者方面表现出有限的成功。

右上角的组由症状检查器组成，它们也使用更平衡的模型将症状与COVID-19联系起来;然而，在这种情况下，对患有和未患有COVID-19的患者进行分类更为成功。

讨论

主要研究结果

我们使用10种不同的基于网络的COVID-19症状检查器对近期文献中的50例COVID-19病例描述和410例非COVID-19对照病例进行了分类。只有2/10的症状检查者在敏感性和特异性之间表现出合理的良好平衡(图1）．大多数其他检查方法要么过于敏感，将几乎所有患者归类为COVID-19阳性，要么过于特异性，将许多患者归类为COVID-19阴性(图1）．例如，我们的BMJ对照病例包括一名患有肺部疾病的患者，他表现出各种症状，包括发烧、咳嗽和呼吸急促，这是与COVID-19相关的三种最常见的症状。大多数检查人员没有考虑到其他症状和危险因素。也就是说，食欲不振、痰液呈绿色、有吸烟史可用于正确诊断covid -19阴性。

此外，就F1得分而言，大多数症状检查者被简单的症状频率矢量方法优于;SF-DIST和SF-COS的F1得分分别为0.57和0.79。值得注意的是，余弦版本显示出令人惊讶的好结果，优于基于F1分数的8/10症状检查器。

相比之下，也可以说，对于COVID-19症状检查器来说，敏感性比特异性更重要(即，只要没有遗漏COVID-19感染，许多假阳性的COVID-19诊断并不值得关注)。但是，只要将所有测试结果都返回为“阳性”，就可以创建100%敏感的症状检查器。虽然没有检查人员100%做到这一点，但一些检查人员倾向于宣布每个报告任何流感样症状的人都是covid -19阳性。这将评估每位患有过敏性哮喘(“呼吸短促”)、中暑(“发烧”)或重度吸烟者(“咳嗽”)的患者是否呈covid -19阳性。因此，我们认为在敏感性和特异性之间的健康平衡对于一个有用的检查器是必要的。然而，从本文的图中，读者可以自行决定在敏感性和特异性之间哪种平衡是最有用的，并选择相应的检查器。

另外一个方面是，这10个检查器的开发人员在开发过程中可能有不同的目的。例如，他们可能设想检查器是一个自我分类和推荐工具或可能性预测器(分类在[2])。在我们的研究中，我们发现大多数检查器提供一定的可能性和建议;因此，分类是困难的。因此，我们在分析中没有进一步对检查者进行分组。

据我们所知，这是首次对基于网络的COVID-19症状检查器进行科学评估;然而，有一些相关的研究评估症状检查器。其中包括一项研究，该研究基于45个临床病例描述，评估了23个通用症状检查器，涵盖了广泛的医疗条件，发现在58%的所有病例中，正确的诊断被列在检查器的前20个结果中[2]。上述研究设计扩展到另外五个使用耳鼻喉科(ENT)病例的症状检查者，显示出类似的结果[25]。其他评估包括对用于膝关节疼痛病例的症状检查器的研究;基于527例患者和26例膝关节问题，我们发现医生的诊断在89%的病例中出现在预测列表中，而特异性仅为27% [26]。在另一项研究中，对大学生在亲自咨询医生之前的自动自我评估分诊系统进行的分析发现，该系统的紧急等级仅在39%的病例中完全一致;与此同时，对于其余的病例，系统往往比医生更倾向于规避风险。27]。此外，基于“有声思考”方案的基于网络的症状检查器对79名年龄≥50岁的人的适用性[28]、医学成像的深度学习算法[29]，以及紧急护理服务[3.]进行了评估。

基于web的症状检查器性能的可接受性取决于结果的视角和使用。就COVID-19而言，基于网络的评估不能完全取代聚合酶链反应(PCR)检测，因为有些人没有症状，而其他表现出非常具体的COVID-19症状的人实际上可能患有非常相似但不同的疾病。无论如何，基于网络的COVID-19症状检查器可以作为第一道分诊屏障，避免亲自去看医生或减轻医院的压力。症状检查器甚至可以取代电话分诊线，在这些分诊线中，未经医学训练的人员读取预先确定的问题序列。虽然这不是本研究的一部分，但作者认为，COVID-19症状检查器(如果得到适当的维护和测试)也可能比直接使用谷歌等搜索引擎或通过社交媒体获取信息更可靠。

优势与局限

本研究的优势在于，它基于文献中大量真实患者的病例描述(n=460)，并根据F1评分对表现最佳的症状检查者进行了详细评估(多媒体附录8）．相比之下，这项研究的一个潜在弱点在于它使用了真正的基于文献的病例，这可能会使测试集偏向于相当严重的COVID-19病例，因为文献中通常没有发现轻度和无趣的病例。我们通过在我们的50例COVID-19病例中不包括文献中的极端病例来消除这种偏见。我们研究的一个局限性是基准测试代表了一个特定的时间点(2020年4月;(参见方法)和底层算法可能会改变。然而，随着知识的增加和软件的更新，这种时间限制在所有基准研究中都存在。另一个偏差可能是我们的对照病例描述没有报告COVID-19接触者，即使例如，感冒患者可能与COVID-19接触过(并且没有被感染)。本研究的另一个限制是症状检查器输出到风险水平的非直接映射(多媒体附录5）．在某些情况下，文本输出的解释是有争议的。我们通过允许三个不同的风险级别并以两种不同的方式合并它们来解决这个问题(参见图1一个和图1B).此外，每个症状检查器的输出由多人进行分类，直到达成共识。

结论

在应对COVID-19全球大流行的过程中，症状检查器被广泛使用。因此，这些工具的质量评估是至关重要的。我们发现，各种基于网络的COVID-19症状检查器的预测能力差异很大，其中一些相当于随机猜测，而另一些则在敏感性、特异性或两者兼而有之方面表现出优势。