电子健康记录中药物数据结构的评估与改进:算法开发与验证

介绍

背景

在过去的十年中，在全球范围内，医疗保健领域的电子数据量急剧增加。大部分数据是在处理行政索赔期间、通过在患者治疗期间执行的电子健康记录(EHRs)中的文档处理或通过提供患者报告结果的移动设备的数据馈送产生的。因此，现实世界数据(RWD)对卫生保健研究变得越来越重要也就不足为奇了。RWD研究可以被认为是随机对照试验(rct)的补充，因为它们允许rct的结果在更大的队列和更长的时间内得到证实。与随机对照试验相比，RWD研究具有更好的外部效度和更好的泛化性，不仅为药品的长期监测提供了机会，而且具有成本效益和节省时间的优点[1]。

药物监测系统，例如美国食品和药物管理局的哨兵计划，对于促进上市后药物安全至关重要[2-8]。欧洲药品管理局也开始建立基于RWD的研究基础设施，以支持药物警戒[9]。此外，欧洲卫生数据和证据网络[10]的出现是为了建立基于通用数据模型的跨国研究网络，该模型使标准化的RWD和观测研究方法能够产生真实世界的证据。最近，欧洲卫生数据和证据网络已开始与欧洲药品管理局合作应对COVID-19 [11]。

然而，在患者治疗过程中产生RWD的最初目的并不主要是为了在研究中使用。因此，在基于RWD的观察性研究结果的可重复性和有效性方面已经发现了值得注意的问题。为了确保RWD研究结果的可靠性和稳健性，必须解决这些问题，因为当在各国大规模进行观察性研究时，这些问题变得更加重要。

需要数据协调、使用国际标准和术语、共同的数据模型、方法和数据分析工具，以提高结果的可重复性[12]。国际观察性卫生数据科学和信息学社区正在解决这些差距，该社区提供了称为观察性医疗结果伙伴关系(OMOP)的通用数据模型和基于OMOP的标准化分析工具。它还包括标准化词汇表，其中包含国家术语和国际公认术语之间的翻译，例如，系统化医学-临床术语命名法，逻辑观察标识名称和代码，解剖治疗化学(ATC)分类和RxNorm [13]。OMOP允许以相同的方式存储RWD，而不考虑数据来源，从而确保在国际大规模观察研究中使用RWD。与同类项目如整合生物学信息学和床边信息学或国家以患者为中心的临床研究网络相比，观察性健康数据科学与信息学- omop能够很好地满足观察性RWD研究的需求[14]。许多关于OMOP的RWD研究表明，成分水平的药物数据足以回答他们的研究问题[15]。虽然详细说明药物剂量和药物暴露单位的药物数据对于同一种药物在不同剂量下的药物有效性和药物安全性的观察性研究可能很重要，但药物成分的可获得性是最不常见的，也是药物相关的OMOP RWD研究的基本要求。因此，药物处方数据必须以结构化格式提供，不一定包括药品名称，但至少包括成分信息。对于药物利用研究，世界卫生组织建议使用ATC分类，即根据药物作用的器官或系统将药物分为不同的组[16]。ATC分类包括基于5个不同级别的层次结构，其中ATC第5级是代表药品活性成分的化学物质[17]。市场上每一种批准的药品都被分配了一个特定的ATC 5级代码。美国国立卫生研究院合作实验室建议在数据完整性、准确性和一致性方面评估和报告EHR数据的质量，以供临床重用[18]。Weiskopf等[19]也确定了数据的完整性和正确性对于提高数据质量具有特别重要的意义。

客观的

据我们所知，目前还没有一种方法可以系统地分析和改进用于观察性研究的药物处方数据的结构化。因此，在本研究中，我们系统地分析了EHR药物处方的结构化，以确定包含ATC代码级别5的结构化药物处方数据与基于14个级别1的ATC组没有可用标准概念的自由文本药物处方的比例。此外，我们还提出了一种改进处方数据结构化的方法，即引入一种自动检测ATC代码的方法。为了保证自动检测结果的鲁棒性和准确性，我们引入了一个基于现有文本挖掘算法的验证步骤。

方法

研究细节

这项回顾性、非介入性研究系统地回顾了德国德累斯顿卡尔·古斯塔夫·卡洛斯大学医院(UKD)基于真实世界观察数据的药物处方。这项研究基于完全匿名的数据，不包括与个体患者的任何相关性。2016年至2020年住院患者的所有药物处方，包括急性药物，均纳入研究，不受特定条件或治疗的限制。原始数据记录在来自Dedalus的ORBIS医院信息系统中，使用ORBIS模块“KURV”，表示包括药物数据在内的患者曲线。从医院信息系统记录中共审查了1,768,153张药物处方。来自其他系统(如重症监护病房和化疗)的药物处方数据被排除在外，因为这些系统中的数据完全结构化并存储在单独的后端系统中。本研究使用的数据由UKD的数据集成中心提供，该中心由德国联邦教育和研究部资助建立，是德国医学信息学倡议的一部分。

伦理批准

该研究经德累斯顿工业大学伦理委员会批准，是一项回顾性、观察性、非干预性、非人类受试者研究(SR-EK-521112021)。

数据集详细信息

使用以下2个数据集:药品处方数据(数据集1)和药品目录数据(数据集2)。药品目录于2021年11月16日从UKD企业资源规划系统导出，包含药品品名、药品成分名称、ATC 5级代码、药物剂量和单位信息以及遗留产品。此外，从数据集1导出了另外2个数据集。首先，基于分组数据集1生成所有非结构化药物处方条目的聚合数据集(数据集3)。创建数据集3的分组活动是在数据集1的MEDICATION列上执行的，方法是使用Python库Pandas及其对数据元素MEDICATION中的所有条目进行分组groupby函数。将每个独特用药记录的频率信息添加到数据集3中。数据集(数据集4)包含来自数据集3的前1000个最频繁条目的子集以及来自手动评估步骤的其他结果。

上述数据集中与本研究相关的所有元数据元素在表1。从药品目录数据中选择的药品处方被标记为结构化数据(例如，“IBUPROFEN STADA 600 mg Zäpfchen | [IBUPROFEN natrium, IBUPROFEN]”)，基于数据集1的STRUCTURE列的内容。未入选《药品目录》的药品处方指定为非组织性数据(例如，“布洛芬600”和“布洛芬”)。

数据分析

概述

数据分析由4个步骤组成，如图所示图1。该过程的第一步是初始数据质量分析，以确定结构化和非结构化药物处方的总体比例。

为了改善处方的结构，采用现有的3种算法对非结构化处方自动识别正确的ATC代码。然后由专家(药剂师和医学信息科学家)手动审查识别的ATC代码并检查其正确性。此步骤还包括识别现有模式，这些模式有助于确定非结构化数据的自动识别ATC代码的可靠性。最后，对前3步的结果进行整合，评估非结构化药品处方的改善程度。为了确保专家覆盖整个过程，一个由药剂师、计算机科学家和医学信息学研究人员组成的跨学科团队成立了。

‎

初步数据评估

首先，确定数据集1中结构化与非结构化药物处方的比例。为此，使用数据集1的STRUCTURE数据元素将数据细分为2组。如果STRUCTURE的值为TRUE，则认为该记录是结构化的;除此之外，它是无结构的。随后，将药物处方的非结构化子集按数据元素MEDICATION分组为数据集3，计算频率并将其相加为数据元素frequency。

对分组药物处方(数据集3)的第一次人工审查由跨学科专家团队完成，以确定不是药物处方而是其他指示的记录，例如血细胞计数或其他实验室和测量命令(例如，“BGA”-实验室要求血气分析，“BE”-要求护士采集血液样本，“BB”-实验室要求血细胞计数)。这项任务产生了一套规则(多媒体附录1)允许自动搜索和识别需要排除的药物条目，以便进行进一步步骤。

改进

非结构化药物处方(通常以自由文本形式提供)被用作改进步骤的输入。之前未对处方进行预处理。在这一步中，实现了3种不同的算法，基于药物文本自动识别ATC 5级代码。

这些算法基于一种不同的机制，用于将数据集1的药物文本与数据集2的产品目录数据元素“成份”和“产品名称”进行匹配，详见表2。

算法1和算法2依靠简单的字符串比较来识别药物处方中的成分名称或产品名。算法3基于数据集1中的数据元素“药物”与数据集2中的两个数据元素“PRODUCT_NAME”和“INGREDIENT”与Python库之间的相似度匹配进行自然语言处理(NLP)FuzzyWuzzy［20.使用Levenshtein距离，因为它在其他医疗保健研究领域显示出有希望的结果[21，22]。最佳相似度评分结果为100，表示字符串“药物”的成分完全包含在“成份”或“产品”中。相似度得分越低，表示药品字符串与药品目录条目的相似度越低。该算法提供了多达3种可能的ATC代码，根据它们的相似度评分按降序排序。确定最有希望的方法FuzzyWuzzy在我们的实现库中，我们定义了数据元素drug中的词序是不相关的，并且可以不同于在INGREDIENT_NAME和PRODUCT_NAME中比较的字符串。来自数据元素“药物”条目的所有单词都必须包含在“成份名称”条目中E或PRODUCT_NAME，反之亦然。这导致了该方法的实现token_set_ratio。此方法对要比较的两个字符串进行标记，将大写改为小写，并删除标点符号。然后，它按字母顺序对标记进行排序，并将它们分成两组:交集组(在两个字符串中都相同的标记)和剩余组(在比较字符串中不同的标记)。的token_set_ratio方法将交点组与第一个字符串的交点和余数进行比较，然后将该交点组与另一个字符串的余数进行比较，最后将比较的最高结果作为最终结果。如下例所示(文本框1),token_set_ratio方法提供有关给定需求的最佳结果。

将算法应用于数据集1和3。数据集3中的算法结果也用于数据集4。还计算了各排列(算法1+2、1+3、2+3和1+2+3)结果之间的一致性。完整的源代码可以在Zenodo [23]。

验证

验证步骤由与前面步骤相同的跨学科团队手动检查自动生成的ATC代码组成。它是在最常见的自由文本处方的子集上执行的。为了保持验证工作量与效益成比例，为非结构化药物处方的手动验证过程定义了一个最小目标，以覆盖至少80%的结构化和手动验证的非结构化条目。在验证步骤中，将信息添加到每个算法中，以确定是否识别出正确的ATC代码、错误的ATC代码或没有识别出ATC代码。如果没有算法识别正确的ATC代码，则尽可能通过手动验证确定。发现一般没有药品处方的，将其标注为新增无药品处方的分录，并以“未命名”为关键字。对于需要进一步说明以确定确切的ATC 5级代码的药物处方，人工审查检查ATC 4级或3级代码是否可以根据药物处方的自由文本确定，否则条目被标记为非特定的关键字“unspec”。所有未对自动生成的ATC代码进行验证的非结构化药品处方条目都用关键字“no_eval”标记。”

根据每个算法的总结果和正确性、算法1、2和3的结果之间的一致性水平以及算法3的Levenshtein相似度评分，总结人工验证的结果，以识别任何有助于提高自动检测ATC代码结果鲁棒性的模式。对于算法3，我们使用了双尾t在Python中实现的测试，以确定正确和不正确结果的Levenshtein相似性得分的平均值之间是否存在显着差异。

此外，跨学科小组对不正确的结果进行了更详细的检查，以确定可能最大程度地揭示与关注成分(ATC)相关的重要原因和相似之处的模式。

最终数据评估

对于最终的数据评估，数据集4中记录的步骤改进和验证结果，包括正确识别的ATC 5级代码或“named”、“unspec”或“no_eval”标签，与数据集1的原始药物处方数据合并。因此，最终的数据评估是基于算法结果和人工验证进行的。确定14个ATC组中每个ATC组的药物处方记录总数，包括每个ATC组结构化与非结构化数据的比例。此外，还给出了数据集1中唯一的ATC 5级码的总数及其结构化程度，以及药物处方中使用频率最高的ATC 5级码。这允许基于ATC组和ATC代码的结构化排序。

结果

初步数据评估

初步评估显示，数据集1中结构化处方843980张(n= 1768153张，占47.73%)。需进一步调查的非结构化药品处方占52.27%(924173条)。一组小规则，例如，所有药物处方条目以实验室或测量命令(多媒体附录1)，共识别出160,896条(占所有药物处方的9.1%)条目为无药物处方数据，并将需要下一步审核的非结构化药物处方减少到763,277条(占所有药物处方的43.17%)。

根据数据集1的药物数据元素对非结构化药物处方进行分组，将每个自由文本的频率相加后，共有100,004条(n=924,173, 10.82%)唯一的自由文本条目作为药物处方信息输入并存储在数据集3中。

改进

这些算法的定量性能差别很大，因为每种算法返回的结果数量不同。算法3由于其实现和性质，为所有非结构化药物处方提供了ATC代码。

算法1(基于成分匹配)识别出8048个唯一免费文本的ATC代码。乘以每个文本条目的出现频率，得到763,277张非结构化药物处方中的244,718张(32.06%)。算法2(基于药品)的定量结果性能低于算法1，因为它识别了6744个唯一的免费文本的ATC代码。在763277张非结构化处方中，占12.61万张，占16.52%。此时，无法对算法结果的正确性做出任何声明，但是对所有算法之间的匹配率的分析显示了非结构化药物处方总数与最常见的1000个自由文本条目的匹配率，如图所示图2。

‎

验证

对最常见的1000个自由文本条目执行手动验证步骤，这些条目已经覆盖了所有非结构化药物处方的66.56%(615,129/924,173)，如图所示图3。加上初步数据分析中发现的结构化药品处方(843,980/1,768,153,47.73%)和无用药条目(166,307/1,768,153,9.4%)的比例，结构化可能会增加到所有药品处方的85.18%(1,506,059/1,768,153)。

对于最常见的1000个自由文本条目(数据集4)，算法1返回286个(28.6%)正确结果，1个(0.1%)不正确结果，713个(71.3%)条目没有结果。算法2返回142个(14.2%)正确结果，6个(0.6%)不正确结果，852个(85.2%)唯一条目没有结果。算法3返回765个(76.5%)正确结果和235个(23.5%)错误结果。我们还根据算法之间的结果匹配率确定了正确性，如图2，对于数据集4。对数据集4进行手动验证后，如果所有算法或算法1和算法2返回的结果相同，则返回的ATC代码始终正确。

‎

对于算法1和算法3的匹配结果，我们注意到一个较小的差异，并在286个结果中识别出5个错误结果，其中5个案例中有4个与氯化钠药物处方有关，另外一个错误结果是阿昔洛韦成分。人工审查显示，由于ATC 1级的ATC代码因给药途径(如口服、静脉注射和结膜)而异，因此缺少细节，因此无法提供ATC代码。对于算法2和算法3的匹配结果，由于药物处方是联合药物(替米沙坦和利尿剂)，我们只识别了与替米沙坦成分相关的1个错误结果，而算法只识别了单一成分替米沙坦的ATC代码。

对于数据集4，发现正确和错误结果之间的Levenshtein相似性得分的平均值有显著差异(参见表3对于描述性统计)P值为2.4 × 10^-47年，远低于显著性水平α(0.05)。这意味着Levenshtein相似性得分越高，结果正确性的概率就越高。从绝对数字上讲，对于Levenshtein相似度评分>84.28的条目，可以认为结果是正确的，错误率很低。

仅算法3就返回了234个错误结果，其中4.78%(84,598/1,768,153)为药物处方，可分为四类:(1)人工识别了不含药物处方且应用规则不起作用的额外条目;(2)由于信息缺失，一般无法规范;(3)因药品处方信息非特异性，限制为ATC 3级或4级的;(四)其他原因。我们发现16个条目(乘以频率=5411)没有额外的药物处方条目。对于另外11个(乘以频率=2187)条目，由于剂型或剂量缺失，无法提供ATC代码。2张胰岛素治疗处方(乘频次=2610)ATC限制为3级。另有2条(乘频次=887)限定为ATC 4级氯化钠处方。

对于其他203个错误识别的条目，我们检查了26个条目的子集，其中算法3返回的结果具有Levenshtein相似性值≥80，因为它是正确的指示，但不幸的是并不适用于所有结果。Levenshtein相似度值≥80的26个结果仍然是不正确的。这些结果中出现错误的主要原因是各成分的ATC代码因剂型和在药品中组合而异，如表4。大多数错误结果(26个中的15个)是由于自由文本中缺少成分剂型造成的，特别是氯化钠、强的松龙、二甲基丁尼、阿昔洛韦和氢化可的松。完整数据集4中列出的所有算法结果质量数据元素表1可在多媒体附录2。

最终数据评估

与初始数据评估中只能区分结构化和非结构化处方相比，应用该算法后，我们能够对14个ATC 1级组中每个组的结构化和非结构化药物处方进行百分比分布。最终结果见表5，显示了每个ATC 1级组结构化药物处方的数量与非结构化药物处方的数量。每个ATC 1级组的药物处方总数(包括百分比)概述了按14个ATC 1级组分类的最常用和最不常用药物。为了完整起见，我们添加了3行表5包含标识为其他订单(no_med)的非结构化条目的数量，标识为未指定条目(unspec)的非结构化条目的数量，以及未执行验证的剩余非结构化数据;因此，没有正确的ATC代码的语句是可能的。ATC水平1组“N -神经系统”是最常见的组，占初始数据集1的24.1%(322,286/1,337,565)，其次是“B -血液和血液形成器官”，“A -消化道和代谢”和“C -心血管系统”，各占约19%。

图4说明了14个ATC 1级组中每个组的数据结构。结构化数据最多的ATC 1级组为“S -感觉器官”组，结构化数据为98.03%(5077/5179)，其次为“H -全体性激素药物，不包括性激素和胰岛素”组，结构化数据为79.9%(51296 / 64199)。ATC 1级组“R -呼吸系统”、“C -心血管系统”、“J -全身抗感染”、“V -各种”、“B -血液和造血器官”和“N -神经系统”，结构化数据的范围从61%到70%不等。ATC组“P -抗寄生虫产品、杀虫剂和驱蚊剂”的结构化处方比例最低，仅为23.4%(342/1461)。

在药品处方数据中共鉴定出742种ATC 5级代码(成分)。

各成分的结构性差异很大，各成分之间的结构性差异很大，如图5，其中742个ATC 5级代码(成分)中的每一个都由一个点表示。y轴表示0%到100%之间的结构化程度。x轴表示数据集1中每个ATC 5级代码的频率，限制为85.18%(1,506,059/1,768,153)结构化和评估的非结构化数据。在药品处方中使用次数超过4.5万次的ATC 5级代码只有4个，分别是N02BB02(元氨唑)、B05BB01(氯化钠)、A02BC02(泮托拉唑)和N02AA05(羟可酮)。

‎

‎

这4个ATC 5级代码合计占数据集1总数据的14.79%(261460 / 1768153)。泮托拉唑的结构化数据水平最低(10490 /65,861,15.93%)，羟考酮的结构化数据水平最高(44,952/46,434,96.81%)。多媒体附录3包含所有成分的完整列表及其ATC 5级代码，结构化，非结构化和总药物处方的数量。此外，它还包括每种成分的百分比强度，按药物处方的总数排序，从数量最多的开始。

讨论

主要研究结果

我们的4步方法确保了Zozus等人推荐的数据质量评估[18]。我们通过报告药物处方的结构来提供透明度。此外，我们的方法提高了药物处方数据的结构化，从而提高了数据的完整性。这使得在研究基础设施上的二次使用具有更好的可用性，例如基于OMOP的ATC代码伴随着人工审查。

药物数据初步分析显示，非结构化处方占52.3%，结构化处方占47.7%。采用所提出的算法，在评价1级的情况下，结构度可提高到85.1%。对于初始数据集1的评估，人工检查最频繁的1000个自由文本条目就足够了，我们能够达到80%的目标最小覆盖率。基于相似性匹配的算法3在数量上优于其他2种算法，为所有非结构化药物处方提供了结果。在结果的可靠性方面，算法3的正确率仅为76.5%。因此，评估阶段对于手动纠正所有不正确导出的ATC代码至关重要。此外，手动评估过程对于识别模式至关重要，这些模式可用于基于其他因素确定算法的可靠性，例如算法对算法的匹配和算法3的Levenshtein相似性评分。当所有3种方法或算法1和2产生相同的ATC代码时，认为算法结果在每种情况下都是正确的。当算法2和3或1和3产生相同的结果时，评分过程产生的不正确结果的百分比很小(大约1.5%)。

与算法3结果的总体正确性76.5%(765/1000)相比，识别出的模式是一个很好的指示，可以帮助提高结果的可靠性，而无需进一步的人工评估。Levenshtein相似度得分揭示了算法3的另一个趋势:错误结果的平均相似度得分明显低于正确结果。例外情况仅限于少数成分，原因包括缺少剂型和剂量信息，以及将相同成分用于单一和联合药物的情况，导致单独的ATC代码。RWD的质量对依赖它的观察性研究的结果有重大影响。重要的是要确保RWD数据适合用于观察性研究[24]并明确说明任何限制或质量问题[25]。

限制

目前，分析的数据集仅限于来自德累斯顿卡尔古斯塔夫Carus大学医院的住院药物处方。没有重症监护医学的药物处方数据，也没有其他机构使用我们的技术。异常值或罕见模式可能没有被发现，因为研究仅限于前1000个自由文本处方。虽然这涵盖了大部分数据，但对剩余的自由文本条目的算法结果还有待评估。本研究不包括基于已识别模式的额外药物处方条目的结果评估。目前，该方法仅限于确定非结构化药物处方的ATC代码，不考虑RxNorm等其他术语。

与前期工作比较

大多数评估RWD数据质量的研究是指与预定义的金标准数据相比的完整性和准确性维度，这些数据因出版物而异，如Weiskopf等[19]。我们没有基于RWD来源定义我们的金标准，而是使用国际公认和广泛使用的术语ATC作为标准化术语，并提供了一种方法来自动确定非结构化且仅以自由文本形式提供的药物处方数据的适当ATC。Wang等[26]开发了一个基于规则的数据质量系统，该系统具有6000个合理性测试标准(例如，男性患者怀孕不合理)，但没有通过将非结构化的自由文本数据映射到定义的研究术语来解决数据协调问题。不像Schmidt等人[27]， Kahn等[25]，我们的研究不仅关注数据质量评估，还将数据中的结构缺失定义为没有相应ATC代码的自由文本，并在先前研究的基础上提出了一种通过自动注释适当的ATC代码来改进非结构化数据的方法。

自由文本或非结构化药物处方的高比例是由于医院的处方制度和当地条件。根据以往对RWD数据结构的研究[28)，这在德国是一个普遍存在的挑战。然而，如Kruse等人所述，处理EHR记录中阻碍互操作性的非结构化数据的问题非常普遍[29，30.在他们对现有的电子病历数据使用文献的系统回顾中，需要解决这些问题，以确保总体上“适合使用”。与已建立的统一医学语言系统MetaMap比较[31，32]，该方法已被工业界和学术界使用多年，我们的NLP方法侧重于轻量级实现。这一方面限制了配置的可能性，另一方面减少了计算量，提高了ATC码识别的性能。因为MetaMap只关注英语，不支持德语药物目录，我们的方法弥补了这一差距，也可以适应其他语言。

未来的工作

本文提出的4步方法可以应用于任何具有非结构化数据(如条件、程序或测试结果)的随钻作业。未来将在其他提供药物数据和附有ATC代码的产品清单的网站上测试这种方法。在下一阶段，我们将进一步研究模式识别，以可靠地预测特定空管代码结果的准确性，而不是手动检查它们。此外，将实施新的基于nlp的算法，以提高结果的整体可靠性。此外，我们的方法可以应用于参与德国医学信息学倡议的其他医院网站[33，34]，并按以下步骤执行。我们的方法并不局限于德语。因为唯一的要求是提供一个成分或药品的公共列表，以便与非结构化的自由文本进行比较，所以如果比较文本是同一种语言的，那么这可以用于任何其他语言。

结论

RWD观测研究需要高水平的数据结构化。更关键的是对局限性的认识以及研究所依据的数据结构水平的透明度。以药物处方为第一个用例，对RWD的结构进行了研究和完善，为今后其他RWD的应用提供了参考。虽然所提出的方法需要人工验证以确保结果的正确性，但该方法是有前途的，可以用于改善数据的结构化。