探索使用自然语言处理支持全国静脉血栓栓塞监测的适用性:模型评估研究

简介

静脉血栓栓塞(VTE)包括深静脉血栓(DVT)和肺栓塞，是一种常见但可预防的血管疾病。静脉血栓栓塞的疾病负担可通过对风险评估、预防和治疗采取协调一致的方法来减轻[1］．在美国，36%至50%的静脉血栓栓塞与近期住院或手术有关，被认为是医院相关性静脉血栓栓塞[2-5];因此，医院系统有潜力促进静脉血栓栓塞的有效监测。

使用主动或被动方法进行传统静脉血栓栓塞监测具有挑战性，因为用于识别静脉血栓栓塞的《国际疾病分类》代码已被证明具有中等敏感性和阳性预测价值[6-8]，手动审查医疗记录是劳动密集型的，数据输入容易出现人为错误。在美国，大多数新产生的临床数据以数字方式存储和分析，通常采用电子病历(EMR)的形式。截至2017年，96%的非联邦急症护理医院正在使用电子病历[9]， EMR的使用自2008年以来增加了一倍以上[10］．

尽管在为医疗记录保存开发新的数据库和文件格式方面已取得多年进展，但大多数医疗数据仍以非结构化文本的形式存储[3.］．非结构化文本是临床和转化研究的丰富数据来源[4］．自然语言处理(NLP)工具可用于克服传统VTE监测的挑战，因为它们可以访问诊断成像报告(如超声和计算机断层扫描[CT]血管造影报告)中的关键非结构化文本[11]，识别符合静脉血栓栓塞病例定义的患者，并在有效时间内将相关信息输入监测数据库[11-14］．

使用自然语言处理涉及的一些关键特性包括预处理[7，句法处理，概念和命名实体识别[6］．预处理允许算法删除格式化(包括回车和其他空白字符)，然后输出一个“干净的”文本字符串(不包含与原始源代码相关的标记或控制字符)以供后续步骤使用。句法处理指的是理解词序(如主谓宾关系)和对模糊名词和代词的引用，如它。因此，该算法能够连接复杂或协调短语的元素。例如，在句子中右肺动脉没有充盈缺损的迹象，算法需要检测的关键字为没有，充盈缺损,肺动脉。最后，概念和命名实体识别指的是识别与单个概念相关的拼写或措辞变化的能力，如临床医生可能引用、拼写或错误拼写的不同方式静脉血栓栓塞。连接不同的文本表面实现(例如，血栓，栓塞,肺栓塞)归为一个概念实体(静脉血栓栓塞)便于分类，减少模型训练阶段需要估计的参数总数。

尽管NLP的研究领域非常广阔，其特点和能力也在不断增长，但在静脉血栓监测中的应用却非常有限。一个特定的软件——ideal - x(使用自适应学习的信息和数据提取;埃默里大学)-在之前的一项研究中使用，通过使用成像记录中的非结构化文本来识别静脉血栓栓塞[14］．IDEAL-X利用基于机器学习的方法为各种用例定制微调的NLP模型。它分析特定于领域的术语和相关的语言特征，以确定一个医疗事件。IDEAL-X NLP工具已经被应用到不同的用例中，埃默里大学的一项试点研究已经证明了它对VTE事件识别的适用性[14］．当IDEAL-X VTE识别模型在其原生临床环境中对VTE记录预过滤的性能进行测试时，其灵敏度≥97.2%，特异性≥99.3% [14］．然而，由于NLP模型是基于来自单个站点的记录进行训练的，预过滤(例如，基于患者类型和严重程度的病例识别)和某些外部因素(例如，特定诊所或地理区域常见的语音模式和词汇选择)可能会影响NLP工具的性能。因此，需要独立验证。

为了评估VTE识别模型的稳健性和适应性，我们基于基于机器学习的NLP工具IDEAL-X开发了该模型，并确定临床环境之间的差异如何影响其性能(作为将NLP应用于全国VTE监测的概念证明)，我们在两个独立的卫生保健环境中评估了VTE模型的准确性——一个在北卡罗来纳州达勒姆，另一个在俄克拉荷马州俄克拉荷马城。

方法

研究设计

杜克大学和俄克拉荷马大学健康科学中心(OUHSC)与美国疾病控制和预防中心合作，建立静脉血栓形成的试点监测系统[15，16］．两个系统的监测周期(即数据收集)从2012年4月1日至2014年3月31日(24个月)。我们使用了来自两个监测系统的数据进行研究和评估。每个监测小组的成员都是金标准，他们手工审阅成像记录，并根据病例状态进行分类。来自杜克大学研究小组的两名研究人员(IS和TO)和来自OUHSC研究小组的三名研究人员(AW、NF和GR)审查了每一份记录，并将它们分为DVT或肺栓塞的阳性或阴性影像学报告。随后，这些记录被IDEAL-X“读取”，并根据病例状态独立分类。我们通过比较病例状态结果和金标准(手工评审)结果来评估VTE模型的性能。站点特定的细节在参与者和程序部分，并对数据收集和病例分类方法进行了总结图1。

‎ 查看此图

道德的考虑

该研究由杜克大学机构审查委员会和OUHSC机构审查委员会审查。这两个实体都确定该研究不包括人体研究，因此免除了机构审查委员会的批准。

参与者和程序

杜克大学

杜克大学的研究人员使用了北卡罗来纳州达勒姆县三家医院(杜克大学医院、杜克地区医院和达勒姆退伍军人事务医疗中心)VTE监测项目生成的数据集。数据集包括所有818个独立诊断为急性深静脉血栓、肺栓塞或两者均阳性(符合监测系统的病例定义)的独特记录。为了确定总共773个独特的阴性成像记录，研究人员回顾了(1)来自同一队列中成像研究呈阳性的患者的阴性成像记录(例如，CT血管造影呈阳性的患者的下肢超声呈阴性)和(2)通过VTE监测项目确定但通过手动评估记录确定没有DVT或肺栓塞的患者的阴性成像记录。杜克大学团队手动提取了这些发现和结论印象从每个成像报告的部分到Microsoft Excel，不管术语或上下文信息。研究小组排除了描述患者特异性信息、影像学研究适应症、所使用的影像学研究类型以及签名线的附加文本。

杜克大学数据集中的放射成像记录包括(1)上肢超声图像，(2)下肢超声图像，(3)胸部CT血管造影扫描，(4)通气-灌注扫描。

的OUHSC

OUHSC的调查人员要求INTEGRIS浸礼会医疗中心和INTEGRIS西南医疗中心提供CT血管造影和压缩超声的所有成像记录，无论适应症如何。据我们所知，这些记录是随机选择的，具有代表性的患者群体。这产生了一个包含1487个不同患者的数据集。OUHSC团队将PDF成像记录(超声和CT记录)转换为纯文本格式。然后，我们使用一个根据记录的格式约定定制的搜索算法来自动定位和划分印象而且发现部分。对于每个患者，这些切片被提取;清除各种标点符号、空格和格式化字符;并转换为文本字段以输入到IDEAL-X包中。根据成像类型对记录进行额外的文本处理。OUHSC研究站点的所有自动文本处理都是使用Python v3.7执行的。

理想x工具

我们在本分析中使用的IDEAL-X的VTE识别模型已经在埃默里大学之前的一项研究中使用过[14］．在这项研究中，IDEAL-X被用于分析埃默里大学骨科和脊柱医院从2009年2月1日到2014年12月9日的放射学报告。影像学报告包括下肢和上肢超声图像的解释、胸部对比CT扫描和胸部磁共振图像[14］．我们将Emory项目开发的VTE识别模型应用于我们的数据集，作为本研究的一部分，无需对模型进行进一步校准或再训练。

两个研究网站(杜克大学和OUHSC)都将他们的数据转换为理想x所要求的格式，它包括一个包含以下四列数据输入的微软Excel电子表格ID，文本，手册,系统列。的ID列包含一个已识别的记录ID，该ID是通过使用加密安全的哈希函数从PDF图像文件名计算出来的。的文本列包含预处理后从成像报告中提取的非结构化文本。的手册列为金标准诊断，用于与IDEAL-X结果进行比较。的系统列(根据IDEAL-X规范)被留空，然后在处理后填充自动分类。

IDEAL-X的其他合计产出包括记录总数、敏感性、特异性、真阳性和假阳性的数目以及真阴性和假阴性的数目。此外，对二项分布数据使用Clopper-Pearson方法计算95% ci [17］．采用同质性卡方检验评估各站点的绩效措施差异，显著性水平为.05。我们对假阳性结果进行了事后分析，其中每个共同作者回顾了每个假阳性和假阴性结果的文本，并将其划分为以下类别之一:无血栓形成证据，浅静脉血栓形成，慢性或残留静脉血栓形成，以及不确定。

结果

杜克大学共收集了1591个影像学记录(上肢超声图像:n=223;下肢超声图像:n=729例;胸部CT血管造影:n=527例;通气灌注扫描:n=112)。OUHSC共收集了1487个成像记录(压缩超声图像:n=1333;胸部CT血管造影:n=149;通气灌注扫描:n=5)。这为我们的团队提供了总共3078条记录供IDEAL-X评估。IDEAL-X包含或排除的成像记录的数量(根据VTE的病例定义)和手工检查的记录的数量显示在表1(综合数字和按地点分层的数字显示)。当两个位点聚合时，有1204个真阳性病例，147个假阳性记录，1681个真阴性记录，46个假阴性病例。系统的性能指标总结在表2。总体而言，IDEAL-X的VTE模型达到了90%以上的准确性(93.7%)，灵敏度(96.3%)和特异性(92%)。

当按地点分层时，我们发现杜克大学和OUHSC在绩效衡量方面有统计学上的显著差异。杜克大学的敏感性明显更高(P<.001)，而在OUHSC特异性明显更高(P<措施)。为了进一步研究特异性的差异，我们确定了假阳性结果的总数(147/1351,10.9%)。假阳性结果的原因总结在表3。两个位点之间的分布不同，杜克大学假阳性结果的分类原因与“没有血栓形成的证据”的文本有关(104/ 104,100%)。此外，杜克大学的104个假阳性结果中有38个(36.5%)来自于通气灌注扫描的报告，这是一种未被包括在IDEAL-X VTE识别模型的机器学习阶段的成像方式。其余的错误发生在模型之前使用的诊断成像模式(压缩超声和CT血管造影)，而相应的成像报告中的许多错误是由于原始文本中的错误换行，这导致算法无法正确地解释文本。相比之下，在OUHSC，假阳性结果最常见的原因是“浅静脉血栓”(25/ 44,58.1%)。杜克大学通气灌注扫描的38个假阳性结果占所有人工解释的通气灌注扫描的79.2% (38/48)负杜克大学。相比之下，杜克大学的104个假阳性结果中有20个(19.2%)来自CT血管造影，但这只占所有人工解释的CT血管造影的8.1% (20/248)负杜克大学。

我们还回顾了假阴性的结果，并在表3。造成IDEAL-X错误分类记录的一些潜在原因可能是:(1)我们的人工审查员在调查可能的病例时具有较低的阈值，如将指示慢性静脉血栓栓塞的成像记录、部分闭塞的血管或血栓性静脉炎的诊断作为静脉血栓栓塞的初步病例进行进一步调查，并在进一步检查时可能被排除;(2)如果文本显示一个部分存在血栓的证据，而另一个部分没有证据，则IDEAL-X采用没有证据的部分;(3) IDEAL-X无法识别某些拼写错误或符号。然而，46例假阴性病例中有18例(39.1%)，尚不清楚IDEAL-X错误分类的原因。杜克大学6个分类错误的结果中，2个(33%)来自通气灌注扫描。

讨论

主要研究结果

本研究表明IDEAL-X是一种准确的NLP工具，可用于诊断静脉血栓栓塞病例。该系统通过访问影像记录(VTE诊断最可靠的数据源)中的信息，实现VTE病例的自动识别，从而可能提高VTE监测的效率。我们的研究结果对Dantes等人发表的研究结果有贡献。14通过扩大专业骨科医院的使用范围，并与在解释影像学研究时使用不同语言、单词和短语模式的放射科医生在两个不同州的普通医院环境中演示IDEAL-X的实用性和准确性。为了检验IDEAL-X VTE模型的鲁棒性，埃默里大学(Emory University)的研究人员在配置它之后没有进行额外的训练[14］．因此，本研究更充分地探讨了医院系统的差异如何影响VTE模型的性能。

这种NLP模型的性能受到所使用的成像方式的影响。通气灌注扫描的特异性和阳性预测值较低，其中95.7%(112/117)来自杜克大学系统。OUHSC胸部CT血管造影的特异性和阴性预测值较低。这些值可能会受到影响，因为我们没有收到所请求的样本(从非案例中只有10条记录可以证明)。这导致病例患病率为93.2%(139/149)，这并不能代表参与的卫生系统中肺栓塞的患病率。

使用NLP对案例进行分类的一个特别优点是IDEAL-X根据案例状态对记录进行分类所需的时间。N=1487的OUHSC记录的预处理时间约为5分钟，后处理时间<1分钟。相比之下，监视人员阅读文本并根据病例状态进行分类每次成像研究大约需要1分钟，这意味着对本研究中使用的记录进行分类可能需要52.5个人小时。当考虑在连续的时间范围内跨多个设施实施监视时，节省的时间变得越来越有意义。

与之前工作的比较

与其他常用的NLP工具(包括cTAKES(临床文本分析知识提取系统)、MetaMap、MedLEE(医学语言提取和编码系统)、GATE(文本工程通用体系结构)、NLTK(自然语言工具包)和OpenNLP相比，IDEAL-X相对简单。考虑到使用NLP的VTE监控系统处于设计和实现的初级阶段，我们还没有包括高级功能，如共同引用解析、关系提取和语义处理。然而，如果需要额外的细节来确定医生所属机构和组织的位置，或理解长达一段的文本(而不是1-2句话)，则可能需要这些功能。

除了用于VTE病例识别，IDEAL-X还被用于提取正在接受放疗的非小细胞癌患者的治疗和预后信息[18];心导管检查报告;冠状动脉造影报告;以及包含来自病史、体检和出院摘要的非结构化文本的报告[19］．这些研究报告了有希望的初步结果，显示精度值，灵敏度值和F得分83%或更高。

其他的NLP算法已经被开发出来并用于识别静脉血栓栓塞的病例。Hinz等人[20.]开发了一种算法，报告了84.7%的阳性预测值，95.3%的敏感性，和一个F得分0.897。Gálvez等[21开发了一种NLP工具——reveal NLP，用于识别儿科人群中的静脉血栓栓塞病例。报道的敏感性为97.2%，特异性为92.5%。尽管这些先前的研究使用了他们已经开发的工具，但我们的研究在与软件开发无关的机构中实现了IDEAL-X，为NLP工具的有用性和准确性提供了额外的洞察。

限制

IDEAL-X的一个主要限制是缺乏与EMR系统的集成;IDEAL-X需要人工提取成像记录，这是一个限制速度的步骤。的强制二元选项是另一个限制情况下而且不是个案，以致于不确定的不是一个选择。观察到的不同站点假阳性结果类别的不同分布，归因于每个站点请求或提取记录的方式的差异。杜克大学的数据集中不包括来自浅静脉血栓和慢性或残留深静脉血栓患者的影像学研究。如果需要在全国范围内部署，那么启用快速方便的定制以支持各种事件确定标准将是NLP工具的先决条件。此外，还需要进一步的训练，以使IDEAL-X能够准确地对记录进行分类，以解释假阳性和假阴性记录中检测到的模式。另一方面，为了监测目的，静脉血栓栓塞病例识别标准也需要标准化，以确保不同设施之间病例报告的一致性。

未来将致力于VTE监测的完全自动化。如何更好地集成NLP程序(如IDEAL-X)的一个例子是将其包含在医疗机构的临床数据处理过程中，这样在成像报告完成并发送计费后，它也会通过IDEAL-X(以及相关的预处理例程)运行。除了实时对静脉血栓栓塞病例进行分类外，实现该过程完全自动化的下一步还需要收集人口统计学、临床和风险因素数据，以促进对发病率数据的解释。其他未来的努力包括实现机器学习来微调IDEAL-X算法，以便它能够“学习”如何更准确地区分案例和非案例。可以从产生假阳性结果的记录中添加示例文本，以进一步训练IDEAL-X并提高其准确性。尽管使用这些信息提取软件工具有预期的好处，但在实现过程中仍然存在一定的障碍。这些障碍包括定制部署和本地化的成本，软件的专有性质，以及有负责操作和维护系统的人员，确保医疗保健管理员接受好处，保持遵守《医疗保险可携性和问责法》和其他法规。

结论和公共卫生影响

在疾病监测中使用机器学习和自然语言处理提高了访问和分析电子病历中非结构化文本的能力。它们的进一步和广泛使用有望减少资源需求(即时间和金钱)，同时提高跨站点数据收集标准化的能力。通过对静脉血栓栓塞进行监测，我们将有更好的数据来了解临床实践的变化(例如，直接口服抗凝剂使用的增加)是否正在减轻静脉血栓栓塞的负担。增强静脉血栓栓塞监测可以改善患者管理、护理和安全性。同样，随着COVID-19大流行的出现，一个强有力的国家监测系统将有助于迅速了解COVID-19与静脉血栓栓塞之间的关系[22］．在静脉血栓栓塞疾病监测中使用NLP的经验教训可以扩展到改进其他医院相关疾病的监测，对这些疾病，从医疗记录中提取的非结构化文本在检测和分类中发挥关键作用。