基于web的糖尿病患者人群健康管理的实时病例查找:基于自然语言处理的算法与全州电子病历的前瞻性验证

介绍

糖尿病(DM)是导致死亡率和发病率的主要原因，在世界范围内是一项重要的疾病负担[1，2］．在美国，2013年有9.3%的人口(2910万人)被报告患有糖尿病，另外估计还有810万人患有未确诊的糖尿病[3.，4］．糖尿病是一种由血液中高浓度葡萄糖引起的代谢紊乱。如果不及时治疗，糖尿病患者最终会出现一系列并发症。糖尿病患者可及时采取改变生活方式、控制血糖和血压等措施，预防糖尿病并发症[3.，5-8］．

在电子病历(EMRs)中识别糖尿病患者对于公共卫生部门使用的质量改进措施、临床决策支持系统和区域疾病流行率估计至关重要。虽然糖尿病诊断通常由国际疾病分类(ICD)代码捕获并存储在emr中，但先前的研究发现，仅诊断代码并不能充分代表人群中的糖尿病诊断，导致低估了疾病流行率，并对临床管理电子方法的发展提出了挑战[9，10］．2014年缅因州的糖尿病患病率为7.8%，而我们数据库中编纂的患病率为6.8%。这表明在患者的结构化EMRs中存在由非编码DM引起的差异。很少接受糖尿病治疗或没有接受糖尿病治疗的糖尿病患者不太可能与糖尿病特定诊断代码相关联，在多个无关联的医疗保健系统之间转移护理但一段时间内没有接受糖尿病治疗的患者也是如此。为了克服这一缺点，对非结构化临床记录的手工图表回顾已被用于识别非编码糖尿病病例。然而，这种方法涉及较高的人工成本和较长的延迟，这限制了大规模数据集的使用[11-13］．

这个问题的一个可能的解决方案是使用自然语言处理(NLP)，这是一种基于web的技术，也是一种完全自动化的、可接受的替代方法，可以提供具有成本效益的病例查找。通过分析emr中的叙述文本，NLP已越来越多地用于提高一些高影响慢性疾病的病例发现，如心力衰竭和癌症[14-16］．基于nlp的自动病例查找算法的优点是，它允许从大型数据集中快速实时识别未编码的诊断。此外，在选择诊断前，可快速预处理不同疾病和临床情况的非结构化临床记录[14，16］．然而，现有的NLP应用主要基于少量患者样本和有限的临床记录。目前，NLP在公共卫生和医学领域的应用面临以下挑战[17-21]:(1)缺乏一个全面的知识库来生成从目标患者群体中积累的领域知识;(2)缺乏一个全面的数据模型来封装不同医疗机构的各种格式的非结构化临床记录;(3)以及缺乏一个强大的和可扩展的分析管道来处理全州医疗机构的大量EMR记录。

因此，本研究的目的是开发并集成一种基于nlp的在线实时DM病例查找算法到美国缅因州的健康信息交换(HIE)护理流程中(图1)．我们假设我们开发的算法可以发现在结构化EMRs中未被编码诊断的其他糖尿病患者。该算法建立在一个知识库上，该知识库结合了分类法和编码领域知识的受控词汇表，以及临床病历的面向任务的特点。它还使用了emr中可用的结构化和非结构化信息和数据，这些信息和数据被视为识别非编码糖尿病诊断的统计学习变量。

‎ 查看此图

方法

伦理语句

出于本研究的目的，已删除受保护的个人健康信息。由于本研究分析的是去识别数据，因此免除了斯坦福大学机构审查委员会的伦理审查(2014年10月16日)。

数据源

本研究的数据从独立的非营利组织healthinfonet管理的HIE数据集中提取。该数据集包含了缅因州近95%人口的记录。有35家hie相关医院，34家联邦合格的医疗中心，400多家门诊诊所[22，23］．为了确定糖尿病队列，分析了缅因州HIE EMR数据库中所有类别的临床记录。临床记录也被称为病程记录，是医疗记录的一部分，卫生保健专业人员在住院治疗或门诊治疗期间记录患者临床状态或成就的细节。本研究中的临床记录是基于偶遇的。这些笔记被分为2个亚队列。回顾性队列研究包含了2012年7月1日至2013年6月30日期间1,385,280份病历，代表1,129,952名患者;前瞻性队列研究包含了2013年7月1日至2014年6月30日期间记录的982,211份临床病历，代表935,891名患者(图2)．临床记录来源于100多种不同类型的临床报告，包括病史或身体报告、出院总结和急诊报告。

‎ 查看此图

算法概述

糖尿病患者被定义为原发性或继发性诊断(国际疾病分类，第九版，临床修改，ICD-9-CM，代码:249,249)。x, 249。Xx, 250, 250。X，及250.xx)的医疗记录[24］．病例查找算法由基于结构化和非结构化EMR信息的三个连续步骤组成(图1)．第一步是对非结构化的临床记录进行预处理，去除表明患者没有糖尿病的信息，如糖尿病家族史和阴性(即患者否认糖尿病)。该步骤删除了误导性信息，以避免出现假阳性错误，从而提高了后续步骤的性能。第二步需要进行特征提取，以映射之前研究中识别的糖尿病危险因素[25-29]，从统一医学语言系统中提取的药物，以及NLP术语到结构化元数据中。在第三步中，基于回顾性队列的决策树模型被开发出来，以确定患者是否患有糖尿病。开发过程将在后面的章节中详细介绍。为了支持整个算法管道，创建了NLP引擎，包括知识库、统计模型和作为功能模块的金标准数据集。下面介绍它们的构造和使用。

知识库

知识库由3个核心组成:(1)dm相关临床术语作为控制词汇;(2)降糖药;(3)从临床笔记中提取规则。

我们的NLP知识库中的临床术语来源于以下来源:(1)ICD-9-CM代码在249,249下的描述和同义词。x, 249。Xx, 250, 250。X和250.xx;(2) SNOMED CT (systemized Nomenclature of Medicine - clinical Terms)中的综合临床术语[30.];(3)美国国家医学图书馆(NLM)提出的用SNOMED CT绘制ICD-9-CM的方法[31]，基于映射到ICD代码249,249的概念和同义词。x, 249。Xx, 250, 250。X和250.xx;(4)使用NLM检索“糖尿病”查询返回的标题[32]在受控词汇同义词典中，即医学主题词(MeSH)。这些知识库中的临床术语被进一步标记化、组合和过滤，以获得我们的单标记和双标记控制词汇。如果这些受控词汇表包含停止词，例如，文本挖掘(tm)包(R Development Core Team)提供的“the”、“a”、“of”[33，它们被移走了。最终确定的NLP术语共有742个(多媒体附件1）;其中72例被发现与糖尿病诊断显著相关(Mann-Whitney检验)P值<.05)。这里，患者被分配了ICD-9-CM编码249 249。x, 249。Xx, 250, 250。x, 250。xx例被诊断为糖尿病。

抗糖尿病药物是从统一医学语言系统数据库中确定的。在分析的36种药物中，发现22种与糖尿病诊断显著相关(Mann-Whitney检验)P值<.05)。

由于DM风险因素的信息(如体重指数或BMI、高血压、肥胖、吸烟史和酒精使用障碍)可能在emr中以多种非结构化格式呈现，我们开发了一系列正则表达式和规则来统一非结构化信息，并随后标准化特征类别。例如，BMI可以从临床记录中获得，但在许多情况下只提供身高和体重。根据世界卫生组织的分类，BMI被分为4类:体重不足、正常、超重和肥胖。34］．此外，为了使知识库更符合临床病历的表达，知识库随着回顾性模型的开发进行了迭代更新。

预处理与特征提取

直观地，笔记中的DM相关词汇可以用来对DM案例进行分类。然而，这种简单的笔记处理方法忽略了消极的表达，例如，“病人否认糖尿病”在笔记中。显然，这种否定会误导算法将患者错误地归类为DM病例。为了避免这种错误，应该在将否定值输入管道之前首先进行处理。去除家族糖尿病史的预处理是出于类似的考虑:“他的母亲患有糖尿病”的注释并没有将相应的患者“他”归类为糖尿病患者。为了保证NLP的特异性，在预处理过程中，根据知识库中的条目，删除了上述与DM否定和家族史相关的片段。否定词汇采用NegEX提出的词汇[35］．与家庭有关的词语[36都是用来开创家族史词汇的。

为了将临床病历中的叙述性文本分解成更小的片段，我们应用了文本语义。笔记被分解成段落、句子和行作为基本单元，内容不重叠。定义基本单位的标准是根据文本长度和换行符的统计数据制定的。如果一段(或一句话、一行)满足一个基本单元的标准，就认为它是一个片段，不需要进一步分解。使用openNLP (R开发核心团队)对词性进行注释和引用，以检测句点和小数点之间的混淆[33］．当一个片段中含有一个与否定和家族史相关的单词或短语时，该片段将从笔记中删除。

为了将非结构化文本映射为结构化元数据，该知识库经过预处理后应用于标准化临床病历。当文本与知识库中的NLP术语和药物匹配成功时，笔记的结构化数据被编码为“1”，否则为“0”。然后利用知识库中存储的规则和正则表达式提取糖尿病危险因素，进一步丰富临床病历元数据。

金标准数据集工作流

金标准数据集是为模型开发和验证目的而创建的(图2)．数据集包含有或没有糖尿病的患者的子集。患者的糖尿病状态是由2名医生馆长对临床记录进行手工图表回顾来确定的。如果患者有任何显示糖尿病诊断的笔记，则将其编码为糖尿病。2名医生分别审阅每张笔记，并评估该笔记是否显示存在糖尿病。在单独审阅后，对每张笔记的2个评估进行比较。如有任何分歧，由两名医生讨论并达成协议[37］．当两个策展人在诊断上存在分歧，无法通过讨论解决时，患者被排除在外。通过这个过程创建的数据集被用作定义截断点、运行盲测或验证我们基于nlp的案例查找算法的金标准。金标准数据集的队列构建如图所示图2．

模型开发

在回顾性队列中建立了一个模型(图2)．获得临床记录的诊所设施被随机分配到两个子集中的一个:一个用于培训和寻找截止点(n=17个设施)，另一个用于盲测(n=18个设施)。在用于训练和寻找截断点的子集中，选择所有编码DM诊断的可用笔记(n=44,368)和同等数量的未编码笔记(n=44,368)构建用于模型开发的训练子队列。在剩余的未编码子集中，通过随机选择100例阳性(DM)患者和500例阴性(非DM)患者作为子队列来寻找截断点，构建金标准数据集。进一步随机抽取100例阳性患者和500例阴性患者，分别从盲检测亚组中未编码记录中确定，以构建盲检测亚组。

通过对训练子队列进行预处理和特征提取，每个音符都有一个特征向量，记为f．DM的识别被表述为最大后验概率(MAP)估计图3(一),DM为二进制随机变量，表示样本是否患有糖尿病诊断(DM= 1)。考虑到诊断代码，一个二进制变量ICD引入，以指示音符是否已编码(ICD= 1)。通过插入ICD进入后验，然后应用贝叶斯规则，我们得到了分解图3(b)。

由于诊断代码的赋值与提取的特征无关，因此将模型简化为方程图3(c)。

右边的第一项决定了编码票据的DM概率，而右边的第二项决定了非编码票据的DM概率。由于编码信息已知，我们有2个分支来获得后验a，如图3(d)。

绝大多数未编码的记录不包括糖尿病诊断，而大多数DM编码记录是ICD-9-CM糖尿病诊断。这导致我们开发了以下类标记方法:

1.如果一个笔记是编纂的，这个笔记应该有糖尿病的诊断(图3(e));

2.如果一个音符没有被编码，则应该建立一个模型来估计概率(图3(f))。

因此，对于编码笔记，DM诊断的推断仅依赖于结构化数据中标注的ICD代码，而对于非编码笔记，我们训练了随机森林模型[33，38T(f) (图3(g)),在那里t_n是n随机森林中的决策树。

从层次树的角度来看，该模型可以看作是基于预定树的模型和基于随机森林的模型的结合。以糖尿病相关的ICD-9-CM诊断代码为基础，以人类先验知识为表征，构建了糖尿病诊断树。基于随机森林的模型通过从临床记录中提取信息来建立，这些信息代表了机器学习知识。

首先用编码笔记(dm阳性样本)和非编码笔记(dm阴性样本)训练模型。训练样本中的假阳性是未经编码的记录，有或没有糖尿病诊断。前者作为下一轮培训的积极样本。通过迭代应用这2个步骤，对模型以及与家族史和否定表达相关的知识库进行了微调。对所有假阳性病例进行人工检查，以了解这些情况是如何发生的。

这种编码笔记驱动的迭代训练方案是基于这样一个假设，即在发现糖尿病诊断的编码笔记和非编码笔记之间，笔记的特征应该是相似的。为了验证这一假设并验证该方法，从训练子队列中随机选择1000个样本构建多维标度(MDS)图来说明注释的分布。

‎ 查看此图

患者分类截止点的确定

由于该算法是为了找出未编码的DM病例而开发的，识别样本中真阳性的比例，阳性预测值(positive predictive value, PPV)是最重要的性能指标。PPV≥90%时，假阳性比例小于10%。另一方面，考虑到该方法是在编码病例之外识别未编码病例，以牺牲敏感性为代价维持高水平的PPV是可以接受的。我们通过考虑PPV和灵敏度之间的权衡来确定最佳截止点的方法也在之前的NLP研究中提出了[39］．考虑到我们的算法为每个主题分配了分类概率，我们的目标是找到一个最佳截断点，以实现预定义的PPV为90%的最大分类灵敏度。为了达到90%的PPV，可以通过线性公式计算分类特异性，从而形成一条重叠在受试者工作特征(ROC)曲线上的直线。线以上区域的敏感性和特异性的组合允许>90% PPV的表现。因此，截断点设置在直线与ROC曲线的第一个交点。

在回顾性模型开发的最后阶段，病例发现算法在不包括在训练子集中的医疗保健机构的患者上进行了盲测。

前瞻性案例发现和验证

然后，我们基于nlp的DM病例查找算法通过集成到HIE实时人口探索仪表板系统进行在线部署。收集了2013年7月1日至2014年6月30日期间的临床记录(N=982,211)，以对该算法进行前瞻性验证。基于从前瞻性队列中随机选取的200例糖尿病患者和1000例非糖尿病患者的临床记录的图表回顾，构建了一个独立的金标准数据集(图2)．使用以下参数评估金标准数据集上的前瞻性分类性能:PPV、敏感性、特异性、阴性预测值(NPV)和ROC曲线下面积。进一步从该算法识别的未编码糖尿病病例中随机抽取200例样本，以评估整个前瞻性队列的病例发现准确性。根据HIE EMR数据库中每个患者的临床记录和诊断代码的纵向记录，分析了两种来源的时间比较。

结果

案例查找算法性能

构建MDS图来可视化分类性能。如图4500例无编码记录中，2例诊断为糖尿病。仔细检查发现，这些“假阳性”病例的笔记诊断为真正的糖尿病。这个MDS图表明:(1)我们的模型有效地区分了诊断为糖尿病的患者和未诊断为糖尿病的患者的笔记;(2)我们基于nlp的临床笔记分析可以识别诊断为糖尿病的无编码笔记。

图4显示超过99%的非编码记录与未诊断糖尿病的患者相关，超过99%的编码记录与诊断糖尿病的患者相关。在训练数据集中只有1%的样本是错误标记的，这并不会改变模型的性能[40］．

‎ 查看此图

糖尿病鉴别变量

在最终模型中总共保留了100个DM鉴别特征，包括人口统计学(n=2)、危险因素(n=5)、临床病史(n=1)、药物(n=20)和nlp提取的临床术语(n=72;多媒体附件1)．图5显示在模型中按重要性排序的前30个特征。每个特征的重要性是根据随机排列变量值后算法精度下降的平均标准偏差来评定的。更高的平均精度降低(变量分裂产生的节点杂质;具体来说，节点杂质是通过基尼指数来衡量的)对应的特征的重要性更大[40］．在前30个特征中，“糖尿病”和“2型”是前2个特征，直接表明糖尿病，其次是年龄，这是糖尿病的重要预测因素[41，42，然后是一线抗糖尿病药物“二甲双胍”。其余重要的鉴别特征是高血压、吸烟、饮酒史、BMI和“肥胖”。

‎ 查看此图

患者分类截止点的确定

评估基于决策树的分类评分，以确定允许最大敏感性≥90% PPV的截止点(多媒体附件2)．有了这个截止值(设置为。618)，连续分类评分输出被转换为二元决策，以识别真正的DM病例。

回顾性盲测

如图6在回顾性盲测中，我们基于nlp的分析获得了95.4%(62/65)的PPV, 62.0%(62/100)的敏感性，99.4%(497/500)的特异性和92.9%(497/535)的NPV。盲测结果表明，可以利用从某些医院设施获得的知识来进行其他医院设施的预测(例如，学习迁移)[43］．

‎ 查看此图

未来的验证

通过对金标准数据集的图表回顾，探索了该算法的预期性能，该数据集由随机选择的200名糖尿病患者和1000名非糖尿病患者组成的非编码亚队列(图2)．PPV为90.1%(136/151)，符合回顾性盲检PPV的95% CI(87.3% ~ 98.4%)。敏感性为68.0%(136/200)。特异性为98.50%(985/1000)，净现值为93.90% (985/1049)，ROC曲线下面积为。929 (图6)．

该算法用于在整个前瞻性队列中实时发现糖尿病病例。在编码糖尿病诊断中，共有64168例糖尿病患者被识别出来，而我们基于nlp的算法又识别出了5756例患者，在研究期间，糖尿病患者总数增加了8.97%(5756/ 64168)。为了进一步探索病例发现的准确性，我们从5756个样本中随机选择了200个样本。人工复查显示，200份样本中有183例糖尿病患者和17例正常患者，准确率为91.5%(183/200)。该准确度在校准阶段高于预定PPV(90%)，在回顾性盲测PPV的95% CI(87.3% ~ 98.4%)内。性能的一致性表明，使用在较小样本上获得的结果来反映算法在大总体上的性能是合理的。

时间比较

评估ICD代码识别出患者首次糖尿病诊断的时间点，并与NLP病例查找算法识别出DM的时间点进行比较。在通过两种方法识别出的21,720例DM患者中，6616例(6616/21,720,30.46%)在医疗记录中记录DM ICD代码之前通过基于nlp的算法识别出来(平均时差= 48天)。特别是19.86%(1314/6616)的患者在通过糖尿病ICD编码(多媒体)．

讨论

主要研究结果

据我们所知，这是第一次在线部署基于nlp的糖尿病病例查找方法，同时使用全州EMR数据库中患者的结构化(如编码诊断)和非结构化(自由文本)临床历史。与我们的假设一致，在1年的时间内(2013年7月1日至2014年6月30日)，我们的算法确定了5756例额外的DM患者(在DM患者总数中增加了8.97%)，如果仅应用基于代码的病例查找，这些患者就没有被诊断出来。我们的发现表明，与现有的基于icd的方法相比，使用基于nlp的方法的假阴性比例有所下降(P< . 01)。我们的NLP文本搜索算法正确地识别了许多被基于编码的病例发现错误分类为非糖尿病患者的糖尿病患者，从而更全面地确定了糖尿病诊断。

诊断为糖尿病的患者可能没有与糖尿病诊断代码相关联，这有几个原因。在我们确定的非典型性糖尿病患者中，30%的糖尿病被记录为继发性、出院或其他类型的诊断，63%的患者在临床记录中有糖尿病史。在这些病例中丢失诊断代码的一个可能原因可能是，如果患者因更急性或危及生命的临床情况而入院，在进行ICD编码时，有关DM的信息被忽略了。因此，迫切需要在缅因州的医院和其他卫生保健机构加强当前的ICD编码实践，以确保在患者医疗记录中记录的所有糖尿病诊断都被编码。

优势与局限

尽管一些标准化的编码系统(例如，ICD，逻辑观察标识符名称和代码)已被用于记录与每个患者遭遇相关的诊断、程序、实验室测试和药物，但与患者临床病史相关的大量信息也以emr中非结构化的自由文本形式提供。除了直接描述糖尿病的术语(例如，“糖尿病”，“1型”，“糖尿病”)，我们的NLP算法还能够根据临床记录中有关危险因素和药物的信息获得更完整的病史。一系列传统糖尿病风险指标(如年龄、吸烟、BMI和血压)[42，44-46]、新出现的风险标志(如超重)[47]和抗糖尿病药物(如二甲双胍)被鉴定并用于提高糖尿病病例的检出率。特别是二甲双胍，治疗2型糖尿病的一线药物，似乎是我们特征选择过程中最重要的药物。这些发现表明，我们的算法有效地结合了各种临床相关特征，导致缅因州人群中糖尿病病例发现的显著改善。

我们的NLP病例查找算法的另一个优点是能够在分配ICD-9-CM代码之前找到未编码的DM病例。所提出的DM案例查找方法采用NLP算法与ICD-9-CM代码并行。在前瞻性研究中，确定了69924例糖尿病患者。在这69,924例患者中，21,720例患者能够通过两种方法进行识别。也就是说，有21,720名糖尿病患者的临床记录表明他们患有糖尿病。其中30.46%(6616/21,720)的患者在糖尿病诊断代码分配之前的一次接触中有这样的临床记录，而69.54%(15,104/21,720)的患者在同一次接触中有这样的临床记录，同时给出了糖尿病诊断代码。与单独使用ICD-9-CM编码相比，NLP算法能够识别30.46%(6616/ 21720)早期遇到的DM患者，平均时间差为48天。更重要的是，这些患者中有相当一部分(1314/6616,19.86%)是在糖尿病诊断代码记录前3个月或更长时间被发现的。对于这些患者，这段时间足以开始积极的生活方式干预，具有长期影响，以延缓进展和预防糖尿病并发症[48］．因此，这种早期检测能力显然是我们的DM NLP算法的一个优势，可以选择这些高危个体，及时开始有针对性的预防、护理和治疗。

我们注意到我们的研究存在一些局限性。首先，虽然统计学习的使用提高了案例查找算法的性能，但不可避免地存在误分类错误。有几个DM病例位于“边界”附近，也就是说，算法区分DM病例和正常样本的截止点。输出接近算法的截止点的DM病例是那些易受误分类错误影响的病例，从而危及假阴性。边缘型糖尿病代表的是糖尿病特征谱不完全的糖尿病患者，即无DM相关危险因素或用药记录，但有DM诊断的临床记录，或无DM相关危险因素或临床记录，但有DM用药记录。这种不完整的档案可能会误导算法。其次，“金标准”数据集相对较小的样本量引入了一种可能性，即一些相对罕见的dm临床表型(临床医生以非标准的方式记录糖尿病)可能没有在模型训练中被考虑在内。第三，我们无法确定NLP算法发现的糖尿病患者是新诊断的糖尿病患者还是长期诊断的糖尿病患者。第四，我们承认我们的病例查找方法的局限性，它取决于医生对疾病的诊断和临床记录的文件质量。最后，在缅因州的患者数据上开发了该模型。 Extra risk factors such as sociodemographic factors may need to be considered for adjustment purpose when this learning is transferred and applied to other geographic regions.

一个基于网络的识别工具

我们的NLP算法已经通过集成到缅因州HIE工作流程中在线部署，目前允许在全州范围内实时识别非编码糖尿病患者。它为州HealthInfoNet网络中的医生、医院和其他提供者提供了有效的在线实用程序，以实现对其所在地区糖尿病负担的更完整评估。将DM病例查找算法与现有的医疗保健系统结合起来，可以最好地利用EMRs中可用的信息。加上我们之前成功集成的其他NLP病例查找算法，包括充血性心力衰竭[14]，扩大这种新方法的应用，以提高缅因州和美国其他州以及其他国家的其他疾病的病例发现，有很大的潜力。

结论

我们基于nlp的DM病例查找算法是在缅因州基于人口的数据集上开发和验证的。结果有力地支持了我们的假设，即基于nlp的算法可以识别更多的糖尿病患者，以补充现有的基于icd -code的病例查找方法。将我们的糖尿病病例查找算法在线实时集成到缅因州HIE工作流程中，可以增强糖尿病病例的检测，并促进对糖尿病患者进行及时的有针对性的管理和护理。从患者的角度来看，缅因州的许多糖尿病患者没有从ICD编码诊断中识别出来，将受益于我们提供的信息，能够主动寻求治疗，并计划他们的个人策略，以监测和控制他们的糖尿病状况。在这方面，我们的在线实时糖尿病病例查找工具不仅使所有利益相关者受益，包括缅因州医疗保健系统的支付者、提供者和决策者，而且还可以作为一个基于web的示范项目，用于未来应用，以改善糖尿病病例查找，以便在其他州和国家进行针对性护理和治疗，为减轻糖尿病负担做出贡献。