在儿童电子健康记录中挖掘严重药物超敏反应病例:方法发展和应用gydF4y2Ba

介绍gydF4y2Ba

药物超敏反应(DHRs)是一种类似过敏的药物不良反应。dhr影响超过7%的人口，是药品上市后停药的重要原因[gydF4y2Ba1gydF4y2Ba]。严重的dhr，如过敏性休克、药物性超敏反应综合征、Stevens-Johnson综合征和大疱性表皮松解症，在世界范围内已被观察到，年发病率为每百万人0.05至3人。严重dhr的死亡率在5%至30%之间，在儿科人群中，包括儿童、婴儿甚至新生儿，占报告病例的10%至20% [gydF4y2Ba2gydF4y2Ba，gydF4y2Ba3.gydF4y2Ba]。gydF4y2Ba

医院严重dhr的报告目前仅通过由负责的临床医生操作的自发报告系统(srs)进行。以往的研究表明，srs中仅报告了10%至30%的严重药物不良反应[gydF4y2Ba4gydF4y2Ba]。即使遗漏的病例得到了妥善处理，只是没有被记录到SRS系统中，一份更彻底的报告将有助于改进药物指南。最近，常规收集的医疗数据，如电子健康记录(EHRs)越来越多地被用于补充SRS和实现积极的药物警戒。EHR系统包含详细的数据与入院，出院，诊断，药物和实验室测试的时间戳。然而，严重的DHR依赖于症状和体征进行检测，而这些症状和体征通常位于电子病历的自由文本区域，需要使用自然语言处理来提取信息。gydF4y2Ba

研究最多的医学语言处理应用之一是表型分析(例如，表型组特征的自动评估，如吸烟状况)[gydF4y2Ba5gydF4y2Ba]。患者严重dhr的自动识别也可以作为一项表型任务进行探索。在没有结构数据的情况下，临床笔记的表型分型可以制定为文档分类任务，这在自然语言处理领域已经得到了很好的研究。gydF4y2Ba

最近的工作[gydF4y2Ba6gydF4y2Ba-gydF4y2Ba8gydF4y2Ba有报道称，临床文件太长，语境化的语言模型无法处理。我们课题组前期整合了某医院的医疗数据，建立了垂直数据仓库。与以往只处理排放摘要的工作不同[gydF4y2Ba5gydF4y2Ba-gydF4y2Ba7gydF4y2Ba]，此DHR任务处理由与1次住院患者就诊相关的所有临床记录组成的文件。出院总结的平均字数通常为数百字。然而，在这个DHR数据集中，平均单词长度高达几千个汉字，有些文档包含数万个汉字。因此，为长文档分类选择最佳策略对于实现我们的目标至关重要。gydF4y2Ba

方法gydF4y2Ba

管道设计gydF4y2Ba

这项工作将DHR病例的自动识别作为一个长文档分类问题。为了训练目的，领域专家准备了一个包含文档级标记的语料库。gydF4y2Ba

图1gydF4y2Ba演示建议的系统管道。首先，对公开吸烟任务上的4种长文件分类策略进行了比较和评价。其次，针对DHR任务应用最佳策略。比较和评价了我们在DHR任务上对中医文本的预训练嵌入模型。在DHR数据集上执行网格搜索以调整机器学习分类器以获得最佳文档分类性能。最后，最佳管道到9年的数据在护理人员电子病历应用。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

伦理批准gydF4y2Ba

本研究由中国北京儿童医院机构伦理委员会审查并批准(2019-k-5)，并放弃知情同意。gydF4y2Ba

数据集和指标gydF4y2Ba

吸烟的任务gydF4y2Ba

吸烟挑战[gydF4y2Ba5gydF4y2Ba]自动从病人的出院总结中确定他们的吸烟状况。502份出院总结有5种状态:既往吸烟者、当前吸烟者、吸烟者、非吸烟者和未知。根据之前的研究，班级吸烟者被忽略了。gydF4y2Ba表1gydF4y2Ba显示训练和测试数据的分布。gydF4y2Ba

严重DHR任务gydF4y2Ba

数据源gydF4y2Ba

北京儿童医院的信息系统允许病人的病史和医生笔记被数字化记录，并通过网络即时提供给所有病人部门。早期基于医疗数据集成构建了垂直数据仓库。包含2012年1月1日至2020年12月31日315608例患者的431972份住院记录，包括详细的诊断信息、用药信息、实验室检查、病程数据等。其中，住院记录代表一个住院过程。如果患者多次住院，则同一患者将有多个住院记录。gydF4y2Ba

语料库建设gydF4y2Ba

重症出血热阳性病例采集自2个库:国家药品监督管理局报告系统记录的31例阳性病例和图表审查发现的183例阳性病例。重复数据删除后，收集阳性病例200例。每个阳性病例分为4个亚类中的1个。在北京儿童医院电子病历系统中随机抽取400例阴性病例。这些病例被指定为阴性(NEG)标签，并由医生手工检查，以确保他们没有出现严重的DHRs。gydF4y2Ba

严重DHR的4种亚型的定义见gydF4y2Ba多媒体附录1gydF4y2Ba详见2016年中国国家药品监督管理局药品再审评中心发布的《药品不良反应医学术语使用指南》[gydF4y2Ba9gydF4y2Ba]。gydF4y2Ba

训练和测试数据集gydF4y2Ba

这5类文档被随机抽取到训练和测试数据集中。训练和测试数据分布如图所示gydF4y2Ba表2gydF4y2Ba。正负比接近吸烟任务中对应的比值。gydF4y2Ba

评价指标gydF4y2Ba

采用微平均F1分数来评价不同模型的性能[gydF4y2Ba6gydF4y2Ba]。该指标用于多类分类问题，衡量准确率和召回率之间的平衡，并为每个类别赋予相同的权重。gydF4y2Ba

长文档分类策略gydF4y2Ba

评估和比较四种策略:gydF4y2Ba10gydF4y2Ba]，层次表示[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba11gydF4y2Ba]，更有效的自我关注[gydF4y2Ba12gydF4y2Ba]，重点句子选择[gydF4y2Ba7gydF4y2Ba，gydF4y2Ba8gydF4y2Ba，gydF4y2Ba13gydF4y2Ba，gydF4y2Ba14gydF4y2Ba]。长文件分类的最佳策略是基于公开的国家NLP临床挑战2016年吸烟任务结果[gydF4y2Ba5gydF4y2Ba]。与其他相关工作相比，这项任务的结果可以更公平。gydF4y2Ba

文档截断gydF4y2Ba

应用具有长度限制的转换器模型的最直接的方法是截断输入并选择第一个令牌块。这些模型通常要求长度限制为512个单词。gydF4y2Ba

更有效的自我关注gydF4y2Ba

自注意模型，如变压器的双向编码器表示(BERT)，需要相对于输入序列长度的二次计算时间和空间。Longformer模型使用稀疏自关注而不是完全自关注来处理较长的文档(最多4096个令牌)。gydF4y2Ba

层次结构表示gydF4y2Ba

在层次结构方法中，首先构建句子表示，然后将其聚合为文档级表示。在之前关于临床笔记表型任务的工作中，文档表示是通过在每个句子的BERT块之上的采样层来构建的[gydF4y2Ba6gydF4y2Ba]。gydF4y2Ba

关键句子选择gydF4y2Ba

对于文档分类任务，几个关键句子就足够了。在之前的工作中，人们探索了无监督的方法来生成关键句子，但效果并不总是很好[gydF4y2Ba13gydF4y2Ba，gydF4y2Ba15gydF4y2Ba]。在这项工作中，从任务特定指南中提取的关键字进行了探索。选取包含关键词的句子作为关键句。gydF4y2Ba

对于吸烟任务，从以前的工作中提取单字和双字作为关键字列表:香烟，烟雾，吸烟，吸烟者，烟雾，吸烟，烟草[gydF4y2Ba16gydF4y2Ba]。gydF4y2Ba

对于DHR任务，我们对两组关键词进行了评估和比较。术语频率-逆文档频率(TF-IDF)算法作为一种无监督的方法，计算了顶级特征词。那些包含数字、外文字母和特殊字符的单词从这2000个单词中删除。共有163个得分高于零的特征词被添加到关键词列表中。gydF4y2Ba

参考相应指南的临床记录部分与鉴别分类最相关。DHR数据集的每一个正面类别在相应的指引中都有明确的定义[gydF4y2Ba17gydF4y2Ba-gydF4y2Ba20.gydF4y2Ba]。医学术语是从指南中精心挑选出来的。将医学术语与一般文本区分开来不需要任何领域知识。这些关键字显示在gydF4y2Ba文本框1gydF4y2Ba中文及英文gydF4y2Ba文本框2gydF4y2Ba在英语。gydF4y2Ba

数据集与选定的文本gydF4y2Ba

通过oracle测试来评估关键句选择策略是否影响性能。这个oracle测试是这样执行的:(1)对于每个包含任何关键字的文档，分配它的金标签;(2)对于所有不包含关键字的文档，分配UNKNOWN标签(用于吸烟任务)或NEG标签(用于DHR任务)。gydF4y2Ba

如图所示gydF4y2Ba表3gydF4y2Ba，关键句选择降低了吸烟任务的两个数据集的最大字数和平均字数。对于训练集和测试集，oracle micro-F1均为1.0，这意味着关键句选择策略不影响整体性能。gydF4y2Ba

DHR任务评估了两个关键词列表:TF-IDF关键词和指南关键词。如图所示gydF4y2Ba表4gydF4y2Ba，关键句选择降低了DHR任务的训练和测试数据集的最大字数和平均字数。oracle测试表明，使用TF-IDF关键词，oracle micro-F1得分接近1.0。在使用指导关键字的情况下，该策略在整个管道中引入的误差约为2%至3%。gydF4y2Ba

变形金刚gydF4y2Ba

本文对基于语境化语言模型的域内和开放域预训练嵌入进行了评估。在实施方面，SBERT库[gydF4y2Ba10gydF4y2Ba用预训练的开放域或特定于域的语言模型计算文档嵌入。没有对这些预训练的模型进行微调。gydF4y2Ba

这项工作评估了开放域模型bert-base-uncase [gydF4y2Ba21gydF4y2Ba]和领域特定模型ClinicalBERT和DischargeBERT [gydF4y2Ba20.gydF4y2Ba]查阅英文临床笔记。gydF4y2Ba

本研究评估了开放域模型bert-base-chinese [gydF4y2Ba21gydF4y2Ba]和特定领域模型[gydF4y2Ba22gydF4y2Ba]查阅中文临床笔记。gydF4y2Ba

机器学习分类器gydF4y2Ba

机器学习分类器被堆叠在深度学习转换器之上。每个机器学习分类器在训练数据集上通过10倍交叉验证进行调优。一种自动网格搜索框架[gydF4y2Ba10gydF4y2Ba]搜索最优超参数。本研究评估了随机梯度下降(SGD)学习和libsvm支持向量分类(SVC)的线性模型。gydF4y2Ba

结果gydF4y2Ba

吸烟任务:长文档分类策略gydF4y2Ba

文档截断gydF4y2Ba

SBERT图书馆通过预训练模型BERT、ClinicalBERT和DischargeBERT实现了这一策略。如图所示gydF4y2Ba表5gydF4y2Ba在美国，这些模型表现不佳。当长文件直接输入变压器时，只有前512个单词的部分被保留下来。gydF4y2Ba

更有效的自我关注gydF4y2Ba

Longformer模型使用稀疏自关注而不是完全自关注来处理较长的文档(最多4096个令牌)。然而，如gydF4y2Ba表5gydF4y2Ba在美国，它的表现没有超过BERT基线。gydF4y2Ba

关键句子选择gydF4y2Ba

这项工作使用了来自Pedersen [gydF4y2Ba16gydF4y2Ba]选择重点句子。如图所示gydF4y2Ba表5gydF4y2Ba，每个模型在选定文本上的表现都更好。特定领域的预训练语言模型ClinicalBERT(91.09%)和DischargeBERT(93.07%)优于开放领域模型bert-base-uncase(90.01%)。gydF4y2Ba

层次结构表示gydF4y2Ba

在层次结构方法中，首先构建句子表示，然后将其聚合为文档级表示。为了公平比较，我们评估并报告了以前工作的结果[gydF4y2Ba6gydF4y2Ba用我们自己的评估脚本。如图所示gydF4y2Ba表6gydF4y2Ba,gydF4y2BafgydF4y2Ba_{的意思是gydF4y2Ba}[gydF4y2Ba6gydF4y2Ba](94.2%)达到了最先进的性能。gydF4y2Ba

如图所示gydF4y2Ba表6gydF4y2Ba，我们的方法(94.1%)达到了与表现最好的方法相当的性能。其他早期吸烟任务的工作(F1范围从77.0%到90.0%)没有达到相同的表现水平。gydF4y2Ba

关键句选择策略和层次表示策略的性能相当。此外，还比较了它们的效率和内存需求。总结如下gydF4y2Ba表7gydF4y2Ba，在提议的管道中训练机器学习分类器不需要GPU。层次表示模型需要Tesla M40 GPU (Nvidia Corp .)进行1天的训练。我们的方法比层次表示模型的推理速度快9倍。在文档截断和关键句选择两种策略下，转换器模型对每个文档只处理1个块，因此关键句选择并没有减少推理时间。gydF4y2Ba

严重的DHR任务:堆叠变压器和分类器gydF4y2Ba

吸烟任务表明，关键句子的选择改善了有长度限制的自注意变形。在DHR任务中，使用各种变压器和分类器对该策略进行了评估。如Methods中所述，我们对两类关键词进行了评估和比较。作为一种无监督方法，top TF-IDF [gydF4y2Ba8gydF4y2Ba]特征词用于关键句的选择。考虑到临床记录符合指南，关键词取自DHR指南。gydF4y2Ba

如图所示gydF4y2Ba表8gydF4y2Ba，无论是否有堆叠的变压器和分类器，指导关键字都能提高性能。TF-IDF关键字只对SVC分类器有帮助。gydF4y2Ba

9年电子病历的应用gydF4y2Ba

最后，将最佳配置应用于北京儿童医院9年的电子病历数据。共通报了1155例病例。根据重症DHRs标准，经2名儿科临床医生和2名药师复查，发现儿童重症DHRs 357例(gydF4y2Ba表9gydF4y2Ba):过敏性休克(n=39)、药物性超敏综合征(n=178)、Stevens-Johnson综合征(n=86)和大疱性表皮松解症(n=54)。356例严重DHRs中仅有36例报告给SRS。约89.89%的病例漏报，导致药品监管机构和临床医生的重视不足。这表明我们的方法可以主动识别严重dhr，为儿童的药物警戒提供了额外的证据。gydF4y2Ba

病例分析表明，许多可疑药物可能导致儿科严重dhr。疑似致过敏性休克的药物主要有天门冬酰胺酶注射液、l -天冬酰胺酶、头孢哌酮舒巴坦等。苯巴比妥、尼美舒利和头孢菌素类抗生素是导致药物性超敏反应综合征和Stevens-Johnson综合征的主要可疑药物。此外，拉莫三嗪、乙酰水杨酸赖氨酸、美罗培南与大疱性表皮松解的发生密切相关。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

结果表明，临床文献太长，无法执行文献分类基线。在长文档分类的4种策略中，层次表示和关键句选择在吸烟任务中表现最好。关键句子的选择速度比层次表示模型快9倍。从任务特定指南中提取的关键字比无监督方法表现更好。特定于领域的语言模型总是比一般的嵌入表现得更好。gydF4y2Ba

共通报病例1155例，其中临床医生和药师发现儿童重症DHRs病例357例。SRS仅报告了其中36例。该结果提示SRS报告率可能低至10.08%。审查临床记录和报告潜在严重DHR病例的自动管道可以帮助减少遗漏的DHR阳性病例数量，同时降低人工成本。gydF4y2Ba

病例分析还发现，更多的疑似药物与儿科严重dhr有关。该分析有助于促进上市后药品风险评估，有利于合理用药，完善药品指南。gydF4y2Ba

与前期工作比较gydF4y2Ba

我们的方法在吸烟任务上的表现与表现最好的方法相当(94.1% vs 94.2%)。对于DHR任务，我们的方法发现了357例阳性病例，其中约90%的病例被SRS遗漏。gydF4y2Ba

最近的研究表明，临床文件太长，语境化的语言模型无法处理[gydF4y2Ba6gydF4y2Ba-gydF4y2Ba8gydF4y2Ba]。与以往只处理排放摘要的工作不同[gydF4y2Ba5gydF4y2Ba-gydF4y2Ba7gydF4y2Ba]，此DHR任务处理由与1次住院患者就诊相关的所有临床记录组成的文件。出院总结的平均字数通常为数百字。然而，在DHR数据集中，平均字长高达几千个汉字，有些文档包含数万个汉字。gydF4y2Ba

本工作对4种策略进行了评估和比较:gydF4y2Ba10gydF4y2Ba]，层次表示[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba11gydF4y2Ba]，更有效的自我关注[gydF4y2Ba12gydF4y2Ba]，重点句子选择[gydF4y2Ba7gydF4y2Ba，gydF4y2Ba8gydF4y2Ba，gydF4y2Ba13gydF4y2Ba，gydF4y2Ba14gydF4y2Ba]。这些工作都没有考虑使用指南。gydF4y2Ba

限制gydF4y2Ba

该方法需要标注约200个阳性案例进行监督训练。当应用于医院数据库中的大型电子病历归档时，仍然需要某些预处理步骤来防止由于格式错误的文档而发生故障。这种预处理步骤可能因医院的系统而异。gydF4y2Ba

结论gydF4y2Ba

严重dhr的自动识别可以看作是一个文档分类问题。临床记录的长文档分类的最佳策略是关键句子的选择与任务特定的指导方针。DHR病例的报告不能仅仅依靠负责的临床医生。在同一时期的数据中，SRS系统报告了36例，而自动程序发现了357例。病例分析还发现，更多的疑似药物与儿科严重dhr有关。gydF4y2Ba