COVID-19大流行导致对远程医疗服务的需求增加[gydF4y2Ba 1gydF4y2Ba]。预测表明，到2025年，某些人口群体可通过远程保健进行多达50%的咨询[gydF4y2Ba 2gydF4y2Ba]。1研究发现，远程医疗患者的总体人口构成通常是使用私人医疗保险的说英语的白人女性，少数群体使用远程医疗服务的人数明显减少[gydF4y2Ba 3.gydF4y2Ba]。患者使用这些服务与各种各样的医学专家进行交流，包括牙医、风湿病学家和产前护理专家等，所有这些都非常满意[gydF4y2Ba 2gydF4y2Ba]。然而，这些研究调查了在远程环境中利用远程医疗服务与现有护理提供者互动的患者。最近，价格合理且易于使用的远程医疗平台有所增加，这些平台将世界各地有互联网连接的任何人与有执照的医疗专业人员联系起来。这些平台包括gydF4y2Ba HealthTapgydF4y2Ba［gydF4y2Ba 4gydF4y2Ba]，gydF4y2Ba iCliniqgydF4y2Ba,gydF4y2Ba HealthcareMagicgydF4y2Ba。例如，HealthTap是一个获得《健康保险流通与责任法案》(HIPAA)认证的网站，它为在线用户提供与持有有效美国医疗执照的合格医生的联系[gydF4y2Ba 4gydF4y2Ba]。这些平台易于访问，并为专业医疗咨询提供了更大的可访问性。然而，这种易用性和可访问性可能会导致这些服务充斥着大量问题gydF4y2Ba 不gydF4y2Ba医学上严重或相关。这是一个安全关键问题，因为大量的非严重医疗查询将阻碍医疗专业人员对时间敏感问题的响应速度。这一现象的证据是在COVID-19热线中观察到的，在这些热线中，对冠状病毒的混淆导致了很长的等待时间，Margolius等人[gydF4y2Ba 5gydF4y2Ba发现在2020年3月13日至4月20日期间向其分流系统拨打的12512个电话中，“52%与COVID-19无关或不需要额外护理。”大量不严重的远程医疗询问不仅是危险的，而且可能不必要地增加医疗保健支出，因为远程医疗服务的便利性可能鼓励患者询问微不足道的健康问题[gydF4y2Ba 6gydF4y2Ba]。gydF4y2Ba

这种情况需要一个系统来优先处理需要立即处理的查询。为了解决这个问题，我们检查了3个远程医疗平台的数据:HealthTap、iCliniq和HealthcareMagic。这些平台便于有执照的医生远程回答书面医疗问题。我们的目标是通过按严重程度对患者查询进行排序来优化医护人员花费的时间，以便首先回答可能严重的查询。在这项研究中，当患者至少有1个活跃的COVID-19或肺炎相关症状时，一个查询被认为是严重的。然而，非严重问题来自没有活跃症状的患者，他们提交了一般信息请求、无意义的文本或极其模糊的问题。远程医疗分类通过优先处理严重问题，鼓励向最迫切需要的人提供远程医疗服务，节省了远程医疗平台可用的有限的专业医疗服务提供者资源。gydF4y2Ba

在这项工作中，我们通过在线医疗问答(Q&A)论坛的镜头检查了远程医疗分类。具体地说，我们将分类制定为一个二进制文本分类问题，我们的目标是对医疗查询进行分类[gydF4y2Ba 7gydF4y2Ba或严重或不严重。我们注意到，这一提法没有涵盖所有的严重程度，但对于降低没有医疗紧急情况的查询的优先级是有用的。为此，我们对公开可用的数据集引入了一个扩展gydF4y2Ba COVID-DialoguegydF4y2Ba［gydF4y2Ba 8gydF4y2Ba]，其中包含从HealthTap、iCliniq和HealthcareMagic中提取的603个医患对话，并带有用于严格查询分类的标签。鉴于可用样本数量有限，我们随后研究了各种文本分类的迁移学习方法，并将它们与词汇方法进行了对比。具体来说，我们探索了不同嵌入方法的适用性，例如文本表示的全局向量(GloVe)和转换器，与术语频率-逆文档频率(TF-IDF)特征相比，使用一般文本和医学文本进行预训练。我们的实验表明，基于变压器的解决方案是识别严重医疗查询的优越迁移学习方法。此外，我们发现对医学文本的预训练在对我们的远程医疗分类数据集进行分类时没有任何好处。最后，我们对来自变压器(sentence- bert或SBERT)的句子双向编码器表示进行了深入的误差分析[gydF4y2Ba 9gydF4y2Ba]，确定具有挑战性的患者查询模式，以激励远程医疗分诊的未来工作。具体来说，我们注意到在患者生成的文本查询中对症状提及的否定、时间性和意图进行建模的困难。gydF4y2Ba

我们的贡献如下:gydF4y2Ba

在本研究中，我们利用了公开可用的COVID-Dialogue数据集[gydF4y2Ba 8gydF4y2Ba]。该数据集包含603个匿名患者查询，提取自3个远程医疗平台，即HealthTap, iCliniq和HealthcareMagic。收集原始数据集的目的是在COVID-19大流行期间促进更好的人工智能对话系统。因此，603个医患对话中的每一个都包括完整的患者查询、汇总的患者查询和医生的响应。该数据集没有用于文本分类;因此，在过滤了在我们的分类设置中无法使用的样本(即重复、非英语和超出范围的条目-其中“超出范围”定义为与COVID-19或肺炎症状无关的条目)之后，我们注释了573(95%)个样本。所有的多回合对话都被截断为最初的患者话语，并且在我们的管道中没有使用医生的回应。gydF4y2Ba

COVID-19对话数据集中的每个样本都包含关于COVID-19或相关肺炎症状的查询。每个样本不包括患者人口统计数据或病史;因此，仅使用单个自由文本查询就可以检测严重性。gydF4y2Ba 表1gydF4y2Ba提供标记数据集中每个类的示例。我们标记方案的总体目标是优先考虑那些有活跃症状的样本，并降低数百个没有医学严重文本的样本的优先级。我们的最终数据集包含314个(55%)严重样本和259个(45%)非严重样本。gydF4y2Ba

鉴于数据是公开的，本研究不需要机构审查委员会的批准。gydF4y2Ba

用于开发和评估解决方案的数据集是匿名的，不会透露医生和患者的身份。此数据集没有可用的人口统计信息。gydF4y2Ba

我们就这种远程医疗分诊系统的现实意义咨询了3位专业医疗服务提供者。我们咨询了Timothy E. Burdick, Stephen K. Liu, and jiauo H. Feng博士。他们都在当地一家教学医院担任初级保健提供者。关于未来远程医疗分诊系统的伦理使用，一个有趣的问题是，是否在未来的医疗分诊系统中包括人口统计、社会经济、生理或其他电子病历信息，如果这些信息是可用的。虽然人口统计或过去的病史(例如，患者的年龄，先前存在的疾病)可能与确定患者查询的实际严重程度相关，但此类信息也可能引入偏见。远程医疗分诊的相关工作，如Si等[gydF4y2Ba 19gydF4y2Ba]，同样建议在今后的工作中使用人口统计资料。要确定这种系统的公平性和公平性，需要对电子病历数据中用户提供的额外的基础事实进行额外的探索，包括但不限于急诊就诊、紧急护理就诊以及在收到护理提供者的回复后立即安排新的预约。这超出了本文的范围。然而，正如后面提到的，我们目前正在设计一项研究，通过使用从当地医院收集的电子病历数据来调查这个问题。gydF4y2Ba

接下来，我们将介绍收集covid - 19 -对话会数据集时使用的来源[gydF4y2Ba 8gydF4y2Ba]，于2020年3月公开发布。该数据集中的样本收集于2020年2月7日至3月25日之间。gydF4y2Ba

我们数据集中的每个样本都由3位作者标注为严重或非严重。在其他研究中，使用作者作为小规模医疗网络信息的注释者已经取得了成功[gydF4y2Ba 24gydF4y2Ba，gydF4y2Ba 25gydF4y2Ba]。每个注释者都有大学学位和足够的健康知识水平，并投入了大量时间来教育自己与本数据集中观察到的两种疾病相关的潜在症状。我们注意到，使用非医学专业人员限制了我们可以标记该数据集的粒度程度。但是，注释者会仔细检查对原始查询的响应，以确定潜在的严重查询。此外，注释者观察到，与表现出明显症状的样本相比，有很多无关的样本。例如，下面的问题可以安全地标注为“不严重”，因为回答“我在哪里可以得到COVID-19检测?”并不需要大量的医学知识。这个问题可以用谷歌搜索在美国大部分地区找到答案。然而，我们注意到，假设互联网搜索可用性可能会使注释偏向于那些没有可靠的互联网接入和不熟悉网络搜索健康的农村和偏远地区。然而，那些无法使用谷歌搜索或打算使用网络搜索健康问题的人也不太可能依赖远程医疗服务。gydF4y2Ba 2gydF4y2Ba]。gydF4y2Ba

我们还注意到，在某些样本中，基于查询和医疗专业人员的响应而感知到的严重程度可能与患者病情的实际严重程度不同。然而，由于我们没有从实际用户那里得到任何基本的事实，所以这种情况无法解决。这促使我们利用我们与当地医院医生的合作，在未来的工作一节中报道，在这个方向上继续开展未来的工作。此外，我们对我们提出的解决方案的性能进行了彻底的错误分析，并说明了它在这个带注释的数据集方面的优势和局限性。每个样本的最终注释是来自3个注释者的多数投票标签。所有样本的注释者一致性为82%。接下来，我们详细介绍非严重和严重样本的注释模式。gydF4y2Ba

对于TF-IDF+SVM，我们将TF-IDF [gydF4y2Ba 31gydF4y2Ba从患者查询到支持向量机(SVM)分类器的特征向量[gydF4y2Ba 32gydF4y2Ba]。这个基线检查了一个简单的词法模型对远程医疗分诊的有效性。gydF4y2Ba

对于GloVE+SVM，我们得到预训练好的GloVE [gydF4y2Ba 33gydF4y2Ba]嵌入，并将均值向量馈送给SVM分类器。这个基线测试了迁移学习在不使用情境建模的情况下的表现。gydF4y2Ba

在GloVe嵌入上训练两层双向长短期记忆(bi-LSTM)模型进行分类。bi-LSTM模型检验了上下文序列建模在预训练词嵌入上的有效性。Bi-LSTM模型已被证明在各种临床文本预测任务中是有效的[gydF4y2Ba 34gydF4y2Ba]。gydF4y2Ba

层次注意网络[gydF4y2Ba 35gydF4y2Ba]用于文本分类，通过对句子和单词级别的注意力进行建模来模拟自然语言层次，用于文档分类。本实验中的HAN词嵌入使用GloVe进行初始化。其他先前的工作已经建立了一个HAN作为医学文本的有效分类器[gydF4y2Ba 36gydF4y2Ba]。gydF4y2Ba

对于每个实验，我们报告了5倍交叉验证的加权平均F1、精度和召回分数。此外，我们报告了报告平均值的95% CI。最后，我们使用McNemar检验进行了统计显著性检验[gydF4y2Ba 37gydF4y2Ba对于每个模型，我们表现最好的方法，SBERT。每个训练和测试分割分别包含大约458和115个样本。gydF4y2Ba

我们的研究结果表明，远程医疗分诊从迁移学习中受益匪浅，因为我们的性能最低的模型TF-IDF+SVM没有使用迁移学习。TF-IDF特征达到合理的平均F1评分0.865 (SD 0.048)。然而，我们发现，通过应用基于手套的模型，如GloVe+SVM、HAN和bi-LSTM模型，F1得分分别提高了0.8、1.5和2.1分。通常，轻量级建模选项，如TF-IDF和GloVe，报告合理的F1分数，因此在计算资源有限的情况下是可行的解决方案。gydF4y2Ba

在本研究中，我们提供了具有远程医疗查询严重性标签的COVID-Dialogue数据集的新扩展。此外，我们深入研究了几种迁移学习方法在资源受限环境下预测严重性的能力。我们得出结论，基于变压器的模型能够高效地进行分类(所有F1分数>0.9)。此外，我们还对SBERT进行了全面的错误分析，强调了需要深入理解症状表现的具有挑战性的样本。我们的错误分析强调了未来工作中显式建模各种患者查询类型的各种途径。gydF4y2Ba

这是一个新的研究领域，需要更多的调查来定义实际部署的需求。应该指出的是，这种系统不应该用于诊断。这种解决办法可以受益于在线学习方法，特别是在大流行的背景下(例如，时间和空间因素对于发现新感染变种的爆发很重要)。gydF4y2Ba

深度神经网络(dnn)的一个经常被讨论的限制是它们缺乏一种自然的方式来解释它们所做的预测[gydF4y2Ba 39gydF4y2Ba，gydF4y2Ba 40gydF4y2Ba]，所以使用深度神经网络就很难提问了gydF4y2Ba 为什么gydF4y2Ba某个样本被预测为严重或不严重。长短期记忆(LSTM)和基于变压器的模型等模型使识别不公平偏差或虚假相关性驱动预测变得具有挑战性。因此，在远程医疗分类中使用迁移学习必须谨慎进行，因为从其他数据集学习到的偏见可能会影响分类决策。gydF4y2Ba

词汇模型(如TF-IDF)与线性分类器相结合，可以直接访问模型对某些词汇术语的使用情况。gydF4y2Ba

鉴于我们基于bert的模型只提供了高达5分的F1分数提高，我们比较了SBERT和TF-IDF+SVM的测试集误差，以突出特定的样本类型，这些样本类型需要变压器架构的复杂性和知识可转移性才能进行准确的预测(gydF4y2Ba 表3gydF4y2Ba)。gydF4y2Ba

在所有测试集(即5重交叉验证中每重测试集)中，我们发现使用TF-IDF的词法模型犯了77个错误，而使用SBERT的词法模型犯了47个错误。此外，81%的SBERT错误也是TF-IDF造成的。在39个被SBERT正确预测但被TF-IDF错误预测的样本中，我们突出显示了7个查询gydF4y2Ba 表3gydF4y2Ba这些错误代表TF-IDF错误。的定性分析gydF4y2Ba 表3gydF4y2Ba重点介绍以下内容:gydF4y2Ba

许多假阴性对TF-IDF的失败没有明显的基于内容的理由。换句话说，TF-IDF的问题与假阴性在gydF4y2Ba 表3gydF4y2Ba似乎是由于症状稀疏和拼写错误。基于变压器的模型传递知识和分析子词的能力使其更适合此类样本，这是任何投入生产的远程医疗分诊系统所面临的现实问题。gydF4y2Ba

不幸的是，我们只能通过患有COVID-19或相关肺炎症状的患者来看待远程医疗分诊。现实世界的系统需要理解各种各样的疾病和症状，以处理医生收到的各种各样的问题。例如，HealthTap提供超过147个专业的医疗建议，需要一个对不同医疗条件有更深入了解的系统。在未来，我们计划扩展我们的系统，以便它可以对跨越更多样化的医疗条件的患者查询进行分类。gydF4y2Ba

与任何其他自动推荐系统一样，这种自动分类系统的性能可能会受到用户查询质量的影响。例如，自动分诊系统可以对缺少信息的查询(例如，患者忘记提及相关症状或没有分享足够的细节)或写得不好的查询分配较低的严重性。这类似于Google搜索，其中搜索结果的质量取决于用户查询，用户满意度与查询的质量相关。像其他推荐系统(如Google Search或Amazon推荐)所显示的那样，这种自动分类仍然是有用的，并且在规模上显著改善纵向用户交互。另一个限制是二元分类系统，因为它忽略了潜在感知严重性的范围。未来的工作可以开发一个基于分数的系统，在连续的尺度上对严重程度进行评分。需要与多学科研究团队进行进一步的研究，以确定此类自动化解决方案的影响，并确定解决此类限制的潜在技术。gydF4y2Ba

在未来的工作中，我们将把这个系统从在线医疗问答论坛扩展到医患信息应用程序。我们正在积极与当地一家教学医院就医生被文本医疗查询淹没的问题进行对话。因此，本文中探索的NLP模型可能在未来的医患消息数据建模工作中被证明是有用的，包括诸如医院内部私人消息系统中患者查询重要性的相对排名等任务。然而，在医院信息系统环境中，分诊问题变得更具挑战性，因为患者自然会认为他们的医生熟悉他们的病史，在文本查询中提供狭隘和不完整的信息。为了处理这个问题，未来的系统必须能够使用多种模式(例如，电子病历、医学图像)以及过去的对话进行推断，这可能需要深度学习架构的转变，因为基于bert的模型仅限于处理512个令牌。gydF4y2Ba

远程医疗分诊是远程医疗领域的一项重要任务。根据严重程度对医疗问题进行排序，既优化了医生的时间，也允许对更多时间敏感问题的患者进行护理。我们表明，即使在数据量有限的情况下，迁移学习也可以用于对COVID-19和肺炎患者进行高精度的分类。具体来说，我们发现基于变压器的解决方案与基于词法和GloVe嵌入的解决方案在性能上存在统计学上的显著差异。我们还将所有模型错误分类为许多可解释的类别，突出了挑战我们基于nlp的分类系统的样本类型。具有复杂否定、时间性和歧义(以及其他语言现象)的查询显示在SBERT的错误中高度存在，为未来的远程医疗分类工作提供了具体的方向。gydF4y2Ba