评估自然语言处理算法搜索医疗文件对临床任务效率的影响:前瞻性交叉研究

简介

背景

从纸质病历存储病人信息到电子健康记录(EHRs)的转变带来的好处一直是医疗保健专业人员争论的话题[1-4］．许多临床医生对他们目前的医院系统表示不满，电子病历的使用一直被认为是临床医生倦怠的一个因素[5-7］．医生大约40%的时间花在记录患者信息上，有证据表明，在实施电子病历后，这一工作负担有所增加[8，9］．然而，从这些文件中快速准确地检索相关信息的困难表明，这些收集到的丰富信息往往没有得到充分利用[10，11］．由于医疗文本的复杂性，浏览EHR文档具有挑战性，其中往往包括频繁的拼写错误、缩写、特定专业的首字母缩写和临床速记[12-15］．从电子病历收集信息费时且不准确，限制了更广泛临床工作流程的效率[16]，部分医生认为检索病人资料的困难会严重影响面对面的病人护理[17］．

尽管通用搜索引擎越来越复杂，但在医疗记录软件中仍然有相对有限的搜索选项。其中一个障碍是需要安全保存患者数据;因此，对计算能力和共享资源的访问可能受到限制。为了具有临床效用，搜索工具必须快速而直观地供时间紧张的临床医生使用，包括经常委托给他们搜索复杂笔记的相对初级工作人员。此外，搜索必须处理上面提到的文本表达式的高可变性。临床文本容易出错;与期刊和其他出版物不同，它没有编辑控制来检查错误。医学术语、首字母缩写和缩写在不同地区和医院之间，甚至在不同的专业之间都有所不同;例如，“CHD”可能与慢性心脏病(心脏病学)、先天性心脏病(儿科学)或先天性髋关节脱位(骨科)有关。由于临床护理是一个高风险的环境，未能找到相关信息可能有很大的影响; to effectively save the time of clinicians, search tools should ideally go beyond document-level results to locate and highlight all relevant sentences or even words within a document. Efforts to achieve easier information retrieval (IR) have included the integration of string search in some EHRs, similar to the “Ctrl-F” or “Find” function that is now frequently available on everyday platforms [18］．然而，字符串搜索对于异质临床文本的有效性有限;因此，也有研究考虑了语义搜索算法[19-22］．对电子病历中搜索的大规模回顾性分析发现，搜索的使用在用户角色之间和内部有很大差异，医生和药剂师是最活跃的用户群体[19］．对电子病历中搜索的使用进行回顾发现，很少有文章关注搜索在临床工作流程中的影响[23];一项针对7名糖尿病专家的研究发现，在寻找相关信息时，基于内容的搜索比传统搜索更快、更准确[20.]，另一项针对10名家庭和内科医生的研究发现，语义搜索可以使IR任务的医疗记录导航更快[21]，最后一项针对4名学生的研究发现，语义搜索工具可以更快地总结临床记录[22］．所述研究中只有一项[20.]采用了交叉研究设计。在本文中，报道了一项更大的研究(n=35个有效任务完成，n=42个定性响应)，其中进行了一项3向前瞻性交叉研究，比较了标准字符串搜索与无搜索以及自然语言处理(NLP)增强搜索。自定义nlp增强的搜索工具将本体与模糊匹配结合起来，以提供搜索功能，它不仅捕获语义相关的术语(例如，同义词和下标)，还捕获语言上的替代拼写和拼写错误以及搜索术语的单词形式。模拟临床环境与目标用户反馈一起使用，以确定搜索工具是否可以使临床工作流程更有效，并减少临床医生在试图查找信息时的认知负担。

目标和假设

本研究旨在定量和定性地比较3种搜索功能对医学自由文本文档IR的有效性，包括准确性、速度和搜索的便利性。

我们假设，搜索工具将允许临床用户比不使用搜索时更快、更准确地执行模拟临床IR任务，使用NLP技术使NLP增强搜索比字符串搜索更有效。

方法

搜索工具

字符串搜索函数是一个开源的JavaScript库实现[24］．NLP增强搜索是一种专有的基于规则的算法(由欧洲佳能医学研究公司开发)，它利用了NLP技术，如编辑距离和与医学知识库相结合的词干，特别是统一医学语言系统语义网络，Metathesaurus [25]，以及维基百科上的医学缩写列表[26]及OpenMD [27］．这些来源用于将原始搜索词扩展为等价词的列表，然后定位到文本中。该工具旨在定位语言变体，如拼写错误和替代拼写、单词形式和缩写，以及其他语义同义词。

搜索工具集成到以患者为中心的查看器(EHR研究软件)中，允许用户输入搜索词并查看检索到的文档子集中突出显示的结果，用户可以滚动浏览。在不进行搜索的情况下，用户将滚动患者的EHR以查找相关信息。图1说明以患者为中心的查看器中两种搜索工具之间的区别。

‎ 查看此图

模拟临床工作流程

概述

为3个虚构的病人合成了自由文本的医疗文档。这些材料与每个患者对应的10组IR问题配对，以相关和现实的临床场景为基础。患者文档被上传到以患者为中心的查看器。问题被上传到使用Vue.js构建的自定义评估平台上，该平台还为评估者显示了临床场景和特定任务的说明。下面，我们将更详细地描述文档合成和问题生成。

病人文件合成

建立了三个不同年龄、性别、种族背景、社会历史和病史的患者档案。3例患者被分配为呼吸内科、神经内科和肿瘤科的主要医学专业。对于每个患者，通过选择和增加公开可用的匿名医疗文档来创建20个文档[28]，以及手动合成额外的文件，为患者的电子病历提供连贯的临床事件的时间顺序。文件多种多样，包括出院信、门诊信、手术记录和全科转诊信。为了模仿真实世界的医学文本，使用研究者临床经验(作者HW)和参考论文，文本中包括常见的拼写错误、缩写和首字母缩写[13］．

临床场景和问题生成

对于每个任务，临床场景都被设计成专注于现实世界的情况，其中信息可以从患者的笔记中提取出来。为了确保任务在患者(因此干预措施)之间具有可比性，创建了一个包含10个提示IR的主模板，然后根据每个患者的情况进行定制。问题的灵感来自于过去的医疗检查[29和研究者(HW和FM)的临床经验。所请求的信息类似于典型临床工作流程中支持临床决策所需的信息。注意确保任务问题测试的是搜索功能，而不是临床知识或判断;因此，所有的答案都可以通过搜索各自患者的笔记来找到。问题包括多项选择题和自由作答。每个病人的情况和相应的问题的例子可以在表1．

研究设计

临床评价管道的结构具有前瞻性交叉试验设计;我们已经在图2．评估人员根据其临床经验水平进行分组，然后分配假名评估人员id，用于其余的研究和分析。然后使用随机数发生器在3个研究组中随机分配每个波段的评估者。这产生了3组分层的临床经验水平。每个组都有预先确定的搜索功能顺序;使用分配的搜索顺序完成3个任务后，评估人员被要求填写一份反馈调查，重点关注他们的用户体验。

‎ 查看此图

评估员招聘与培训

该研究的招募是通过专业联系和在社交媒体渠道上做广告来完成的，以接触到来自各种临床专业和多年临床经验的评估人员。

向评估人员提供了一段培训视频，其中包括对研究的简要介绍，以患者为中心的查看器中3种搜索干预的演示，以及如何完成评估的详细说明。还提供了一个病人的例子，他有一小套精心挑选的医疗文件供培训，评估人员可以在这个例子上熟悉不同搜索功能的能力。

数据收集

评估人员可安全远程访问评估环境(图3)，允许从个人设备远程进行评估。使用此设置，评估人员可以查看以患者为中心的查看器和评估平台。答案必须按顺序在评估平台上输入，评估人员在提交答案后不允许返回到某个问题。

在每个任务中，评估者通过评估平台提交任务问题的答案。为了确保准确记录任务时间，评估人员被要求一次性完成每项任务，并在任务之间休息而不是在任务期间休息。评估人员可以自由地在每项任务上花费他们所需的时间。此外，还维护了一个搜索日志，其中记录了评估者输入的搜索词、使用的搜索功能以及花费在每个问题上的时间。

‎ 查看此图

数据分析

排除标准

如果搜索日志显示评估人员对给定任务使用了不正确的搜索功能，则排除数据。

问题标记

两位临床研究者(EP和HW)对每个问题的正确答案达成了共识。然后，答案会根据它们所在的文档进行聚类，找到正确文档的每个相关区域就会获得分数。例如，如果正确回答一个问题需要2个不同文档中的3个临床信息，那么如果输入了正确答案，则会获得2分，因为评估者已经成功找到了两份文档。问题的权重相同。

统计分析

数据分析使用自定义Python代码执行。对于所有指标，样本都进行了加权，以弥补群体规模的不平衡(见评估者人口统计和群体分层)．成对2-tailedt进行测试，以确定(1)字符串搜索和不搜索，(2)nlp增强搜索和不搜索，以及(3)nlp增强搜索和字符串搜索之间的时间和准确性是否存在显著差异。的显著性水平P=。10was applied.

检索词分析

在研究之后，对搜索词日志进行分析，以提取每种搜索类型的搜索词的数量和模式。

用户感知

用户感知通过反馈调查进行评估(见多媒体附件1)，其中包括李克特量表评分，从“非常不同意”到“非常同意”，以及自由文本回复。我们将自由文本回答按主题聚类;我们已在用户对nlp增强搜索的感知部分，因为它们涉及到4个潜在的问题:“如何感知nlp增强搜索?”;“nlp增强搜索比字符串搜索更好吗?”“nlp增强搜索会使临床工作流程更高效吗?”以及“nlp增强搜索会减少认知负荷吗?”

结果

评估者人口统计和群体分层

总共招募了60名具有不同临床经验的评估人员，从医学院学生到医生，从血管外科到全科医生等9个专业。在60名征聘的评价人员中，44人完成了任务;35个纳入最终分析(表2)，另有9人被排除在外。如果评估者的数据被破坏(n=2)或他们不正确地完成任务(n=7)，则被排除在定量分析之外;例如，对给定的任务使用错误的搜索功能。从最初的每组20名评估者中，我们观察到7名(第1组)，13名(第2组)和15名(第3组)成功完成。对反馈调查有42个回复。表2显示各组临床经验的最终分布。

搜索功能对任务完成速度和准确性的影响

结果显示在表3而且4．总体而言，nlp增强搜索比字符串搜索(5.14%)和不搜索(5.13%)更能促进更准确的任务完成。在速度方面，nlp增强搜索和字符串搜索的任务完成速度明显快于不搜索(分别为11.5%和16.0%);字符串搜索与nlp增强搜索之间无显著时间差。

评价者使用的检索词分析

分析已记录的查册字词(表5)显示，与nlp增强搜索相比，评估者在使用字符串搜索时尝试的搜索词几乎是使用字符串搜索时的两倍，并且字符串搜索的使用略低于nlp增强搜索;也就是说，不进行搜索的问题的百分比在字符串搜索中更高。

字符串搜索所需的搜索词较多，可能直观地解释为用户需要尝试多个同义词来查找相关信息。例如，对于“病人有中风史吗?”的文本中，有4个负面的提及分散在文件中:“看起来不像中风”，“没有TIA或CVA”(即没有短暂性脑缺血发作或脑血管意外)，“没有CVA”和“没有CVA”。nlp增强搜索发现所有提及的搜索词都是“中风”(这是评估者尝试的唯一一个词)，但字符串搜索评估者也尝试了“TIA”、“CVA”、“神经学”、“病史”和“梗死”，以努力找到所有相关信息。有趣的是，我们发现评估者有时会搜索邻近的单词(“历史”或“神经学”)，很可能是为了绕过文本提及中可能的变化。此外，字符串搜索不匹配拼写变量(或拼写错误);因此，评估者有时会尝试不同的拼写;例如，对于“患者目前是否正在接受全剂量抗凝治疗?”“抗凝血剂”和“抗凝血剂”都被评价者使用字符串搜索作为连续搜索词。

该分析还强调，字符串搜索的严格参数设置意味着搜索词只匹配整个单词，而不匹配子字符串;因此，求值器不能使用前缀进行搜索。我们观察到一些评估者适应这种情况的证据——例如，先搜索“抗凝血剂”，再搜索“抗凝血剂”，或者同时搜索“烟”和“吸烟者”——这也增加了尝试搜索词的数量。

用户对nlp增强搜索的感知

我们使用的调查显示多媒体附件1收集用户对nlp增强搜索的感知信息。下面我们将回答分为4个标题。

如何感知nlp增强搜索?

大多数受访者积极地描述了nlp增强搜索的功能，指出它可以识别拼写错误、单词形式和同义词，尽管一些人报告说nlp增强搜索返回了太多的结果(“[nlp增强]搜索非常聪明和彻底，但可以返回100个结果”)．然而，当评估nlp增强搜索的有效性时，76%的受访者认为任何不相关的发现(即假阳性)都不会显著影响搜索算法的有用性。

nlp增强搜索比字符串搜索更好吗?

总体而言，81%的受访者同意nlp增强搜索比字符串搜索更有利于相关IR。然而，许多人评论说，以患者为中心的查看器中的字符串搜索功能比他们在日常设备上习惯的更有限，并指出“字符串搜索太具有歧视性”(参数设置意味着只返回整个单词匹配，而不是子字符串，如中所讨论的那样评价者使用的检索词分析部分)。

nlp增强搜索能使临床工作流程更高效吗?

总体而言，93%的受访者(39/42)同意nlp增强搜索将使临床工作流程比字符串搜索更有效，特别是在诊所和病人助理期间。自由文本反馈反映了这一点，受访者报告说，在检索特定信息时，nlp增强的搜索比字符串搜索或不搜索更有用，更节省时间。一位评估者评论说:“[nlp增强的]搜索工具使我更容易找到我正在寻找的信息，而且速度更快。”另一方面，受访者进一步报告说，在需要对患者进行全面概述的情况下，nlp增强搜索并不总是最佳方法。在这种情况下，使用手动回顾(不搜索)来吸收信息会更有效。一位评估者说:“我觉得使用[nlp增强的]搜索工具意味着我不太关注案例，而只是寻找单词。”一个普遍的意见是nlp增强搜索将是临床任务手动审查的有用补充。

nlp增强搜索会减少认知负荷吗?

受访者经常提到nlp增强的搜索使他们更容易检索他们正在寻找的信息，一位评估者表示，“[nlp增强的]搜索是一种快速过滤相关信息的极好工具。”虽然少数人提到返回的结果太多，但受访者也报告说，查看相关发现比完全手动查看笔记更容易，更可取，手动查看被描述为“乏味”、“艰苦”和“非常容易错过重要信息”。一位评估者评论说，nlp增强的搜索可以“改善已经超负荷工作的职业的工作量”。

讨论

主要研究结果

我们的结果显示，与使用字符串搜索和不使用搜索相比，使用nlp增强搜索的准确性显著提高，而nlp增强搜索和字符串搜索都节省了时间。在nlp增强搜索的情况下，评估者认为导航更容易，所需的交互性也有所下降(搜索词的数量比字符串搜索的数量更少)。我们注意到，字符串搜索的严格参数设置意味着搜索词只匹配整个单词，而不是子字符串;与匹配子字符串的字符串搜索版本相比，这增加了计算器使用的术语数量，并可能降低搜索精度。

关于电子病历搜索工具对日常临床护理的潜在影响的文献有限[30.］．我们的研究结果支持了之前的研究[20.-22]，他们报告了语义搜索工具可以在模拟临床工作流程中更快、更准确地完成EHR任务。有关研究[31报道称，人工智能优化的患者记录在保持相同准确性的同时提高了回答临床问题的速度。有趣的是，患者记录搜索引擎MorphoSaurus的影响已经在现实世界的临床环境中得到了衡量。32]，尽管只进行用户调查。这种方法的好处是可以考虑到现实世界的压力，如任务中断和时间压力，以及患者互动的关键因素。然而，重要的是，我们使用受控模拟临床环境的方法使我们能够控制诸如干扰或中断等变量，以及医疗记录的复杂性和长度的变化。此外，我们的交叉设计控制了个体参与者的能力、经验和勤奋程度。这样可以对每种搜索类型的定量和定性数据进行稳健的比较，同时最大限度地减少混杂因素的影响。

总的来说，评估人员的反馈表明，浏览临床记录的最佳方法是手动浏览和搜索的混合，取决于上下文。在现实世界中，nlp增强的搜索可能最好用作辅助工具，以帮助临床用户导航临床记录，从复杂的病史中手动解析和摄取相关事实的能力仍然很重要。

结论

总之，本研究表明，搜索工具对临床IR的测量和感知准确性和易用性都有积极的影响。能够利用NLP技术的搜索工具更有效地从异类医学免费文本中检索所有相关术语。有可能减少临床医生的认知负担，使临床工作流程更有效。未来研究的一个关键方向是评估搜索工具在真实临床实践中的使用。