基于变形与生成对抗网络的住院中医处方推荐:发展研究

介绍

电子健康记录(EHR)系统的广泛使用导致了数字化医疗数据的爆炸式增长。随着数据量和复杂性的增长，医疗分析和决策变得越来越耗时和容易出错。在现实中，人类医生不能及时地充分利用他或她所掌握的所有可用信息。因此，利用EHR数据中包含的信息(其中大部分以文本形式)对于推动创新研究、提高医疗质量和降低成本至关重要。自然语言处理(NLP)是将自由文本中的相关信息转换为结构化数据以供进一步计算机化处理的关键。利用电子病历数据开发预测模型的动机是希望为临床卫生保健提供者提供以药物为导向的决策支持工具。为了构建这样的预测模型，我们使用NLP技术将患者的EHR数据转换为表示，然后该表示成为深度学习模型的输入，以预测医疗事件，例如药物订单。

生物医学NLP在过去的30年里取得了巨大的进步[1，2]并在近年来变得尤为活跃[3.]。以前，电子病历数据的分析使用传统的机器学习和统计技术，如逻辑回归、支持向量机和随机森林[4]。然而，近年来，正如Shickel等人的研究综述[5]， Sheikhalishahi等[6]，以及Miotto等人[7]，许多研究都致力于将深度学习技术应用于临床信息学任务的电子病历数据。自动编码器已被研究人员使用[8来预测一组特定的诊断。长短期记忆(LSTM)序列模型[9经过培训，可以为住院患者提供针对特定患者和特定时间的药物处方预测[10]。使用卷积神经网络(CNN)模型利用入院时可获得的信息预测出院药物[11]。Goldstein等人在研究中调查了许多文章[12关于使用电子病历数据开发风险预测模型。Rajkomar等人的研究报告了将深度学习技术应用于EHR数据以解决各种预测问题的全面研究[13]。利用电子病历数据成功训练递归神经网络来检测医疗事件[14-16]。

近十年来，人工智能在中医领域的应用研究非常活跃[17，18]。数据挖掘技术已被用于中医证候建模和糖尿病处方推荐[19]。PageRank算法[20.]被修改并应用于中药处方推荐中[21]。在我们以前的工作中[17]，使用CNN预测中医疾病，XGBoost与其他神经网络一起预测中医证候。遵循序列到序列的范式，北京大学的研究人员使用双向门控递归神经网络从症状描述生成中医处方[22]。他们提出了一个覆盖机制和一个软损失函数，作为他们遇到的重复问题的补救措施。然而，将症状描述作为输入的要求阻碍了这种方法的实用性。理想情况下，该模型直接从原始电子病历数据生成中药处方，类似于人类中医医生进行演绎推理的方式。

从原始电子病历数据生成处方通常包括两个部分。第一部分使用生物医学NLP [3.]提取人类医生使用的相关信息以形成特征表示的技术[23]。第二部分使用深度学习技术[7将这个特征表示映射到处方顺序中。

生物医学NLP的主要任务是从以自由格式的文本书写的临床叙述中提取相关信息，并将收集到的信息存储为结构化数据。许多深度学习技术[24-26]，如双向LSTM (BiLSTM)，已应用于生物医学NLP领域。BiLSTM条件随机场(CRF)和变压器随机场(transformer CRF)已被用于中文电子病历记录的命名实体识别(NER) [27，28]。然后将识别的实体形成不同的令牌。然后，患者EHR数据的特征表示变成一个令牌序列。然后使用词嵌入技术将标记转换为实值多维向量[29]。

本研究的目的是开发一种辅助工具，可以根据病人的临床电子病历为住院病人开中医处方。中药处方生成的预测模型是基于一种被称为变压器的序列转导模型[30.]。该模型完全基于注意，用多头自注意取代了编码器-解码器体系结构中最常用的循环层。该预测模型中使用的训练是监督训练，以EHR数据集中包含的人类撰写的处方作为训练目标。此外，生成对抗网络(GAN) [31]模型旨在通过减少过拟合的影响来增强训练集，从而进一步提高系统的整体性能。

方法

本节安排如下:简要介绍系统总体架构;然后，介绍了各个组成子系统，其中可能包括一些功能块;最后，对训练过程进行了描述培训小节，其中使用GAN模型从原始样本中生成添加了噪声的样本。

系统概述

中国的医院和医疗机构正在迅速朝着标准化电子病历的方向发展，以符合中华人民共和国卫生部发布的法规和规范。32-34]。根据患者的情况，一份标准的EHR文档可能包含多达53个部分。这些可能包括以下内容:

• 第一页记录，包含患者的基本个人信息，如性别、年龄、职业和婚姻状况
• 一种住院记录，包含病人入院时的病情描述，包括主诉、病史和家族病史
• 包含检测清单和相应结果的实验室检测记录
• 一种护理记录，包括护士对病人的病情、接受的治疗和护理、体温和生命体征的记录，以及医生的医嘱
• 包含整个住院诊断和治疗过程以及患者疾病的任何变化的治疗程序记录

提出的系统的高级框图如图所示图1．该系统包括4个子系统:自然语言处理子系统、特征提取子系统、矢量化子系统和处方预测子系统。NLP子系统对EHR文件进行处理，生成结构化数据，特征提取子系统对结构化数据进行处理，提取相关临床信息，用于处方预测。向量化子系统将用汉字书写的符号序列映射为数字序列，在多维空间中以向量的形式呈现。处方预测子系统是基于变压器的深度学习模型，根据输入向量数据自动生成处方。前3个子系统共同完成了从EHR文件中提取相关信息以形成预测模型输入变量的任务。类似的表征学习操作在我们之前的论文[17]。

简而言之，NLP将原始EHR数据规范化，特征提取器将规范化数据转换为标记序列，向量化子系统将标记映射为实数向量，预测模型执行推理过程以生成处方。

‎ 查看此图

NLP子系统

该子系统负责从原始EHR文档生成结构化数据。子系统内部框图如图所示图2．该子系统有3个功能模块:预处理模块、NER模块和英国医学杂志模块。

预处理块通过删除图片和不可用的组件来清理原始EHR文档。这确保了电子医疗记录的完整性和准确性。信息不完整或不一致的电子病历将被丢弃。

在初始清理之后，EHR文件的内容被划分为不同的部分。例如，入院记录分为主诉、病史和其他部分。然后，对所有生成的部分进行排序、格式化，并随后将其提供给NER块。

EHR文档中只有一小部分采用固定格式，其余部分采用非结构化的自由式叙述。对于固定格式的文本，使用脚本提取命名实体以形成结构化数据。

对于自由式叙述，使用称为实体识别的功能块来提取命名实体以形成结构化数据条目。NER块是使用带有CRF的BiLSTM网络实现的(BiLSTM-CRF) [24]。

然后，提取的命名实体，如症状、疾病、药物、检查和测试，根据英国医学杂志最佳实践知识库的中文版进一步标准化。

图3显示了处理结果的示例，其中原始EHR笔记的入院记录被转换为结构化数据，标记的单词被命名为实体。

‎ 查看此图

‎ 查看此图

特征提取子系统

为了有效地模拟由人类医生进行的推理过程，必须正确选择准确和相关的输入变量。这些变量应该代表人类医生在做出治疗决定时应该考虑的全部因素。文本框1总结了中医专家在做出治疗决定时考虑的主要因素。

特征提取子系统从标准化的结构化数据中提取上述关键特征，形成标记序列。图4显示了此特征提取的一个示例，其中从结构化数据生成一系列令牌。

‎ 查看此图

矢量化子系统

概述

在此之前，做出治疗决定所需的所有医学信息都被封装在以汉字表示的文本数据中。要被深度学习网络——转换器——使用，信息必须被映射成一个数字变量。在向量化过程中，将中文单词或短语表示为多维特征空间中的实值向量。本节解释如何通过词嵌入进一步处理标记化的特征。

训练词嵌入模型

该语料库收集了广安门医院和其他医院的102596份电子病历。的Jieba标记器用于执行标记化。开源建模工具Gensim是用来训练word2vec [29]模型，主要参数如下:min_count= 2,vector_size= 100,窗口= 5,sg= 1,海关= 1,时代= 50。

如参数所示，采用Skip-Gram模型。每个单词由100维的实值向量表示。

向量化

一旦单词嵌入模型得到训练，每个标记就由一个100维向量表示。对于输入序列中的每个单词，在分配另一个唯一标识符之前，使用表示为名称-值单元的数字类型值分配一个唯一标识符。一旦所有的记号都转换成向量，这些向量就被连接起来形成一个单一的向量变量，然后作为转换器的输入。

NLP、特征提取和向量化子系统通过将EHR文档转换为多维实值向量来共同完成特征学习的任务。图5展示了一个从EHR文本到词向量的映射示例。

‎ 查看此图

变压器子系统

变压器子系统负责为每个给定的输入嵌入推荐处方，如图所示图6．该子系统将在以下段落中进行描述。

输入嵌入是的向量max_num_tokens×vector_size维度。例如,max_num_tokens= 759,vector_size= 100．如果序列中的令牌数量小于max_num_tokens。反之，如果序列中的令牌数大于max_num_tokens，令牌的数量上限为max_num_tokens通过丢弃与当前处方生成时间相对应的最旧时间戳的令牌。首先将输入嵌入样本添加到相同大小的位置向量中，成为第一编码器的输入。

子系统的主体由两个相同的级联变压器编码器组成。与原变压器的编码器不同[30.]，包含6个相同的层，本研究中使用的编码器只有1层和4个子层。第一个是多头自我关注层Multi_heads= 4,head_dim= 8。第二个是100个归一化神经元的残差层。第三个是由2048个神经元组成的简单的、位置相关的、完全连接的前馈网络。第四层是100个归一化神经元的残差层。

第二个编码器后面是线性层、2048个神经元的前馈层、隐藏层和输出层，如图所示图6．输出层由819个神经元组成，具有s型激活函数。819个神经元中的每一个都对应一种草药成分。隐藏层由128个神经元组成，具有退出机制和归一化。辍学率设置为0.4740。这个隐藏层的目的是防止过拟合。

输出层的最终结果是819种药物成分的概率列表，值在0到1之间。然后通过为这些概率设置阈值来获得推荐处方。

‎ 查看此图

培训

训练变压器

变压器的训练是一个有监督的学习过程。输入是患者EHR的实值向量表示，输出是处方。学习的目标是让机器生成的处方与人类医生开出的医嘱相匹配。

增强训练数据

为了减轻所提出的预测模型的过拟合效应，一种GAN [31]网络用于扩充训练数据集。根据GAN网络的基本思想，训练生成模型G来表示原始训练数据集的分布，训练判别模型D来检测样本是来自原始样本集还是来自生成模型的输出。

在训练阶段，整个系统如图所示图7．对于每个原始训练样本，都有一个添加了噪声的样本。在该系统中使用GAN有效地使训练样本数量增加了一倍。

GAN网络的内部结构设计如图所示图8．Generator G包含2个相同的LSTM层，每个层的大小为279。每个LSTM层后面都有一个带有残余连接的规范化层。鉴别器G的输入可以是原始词嵌入样本，也可以是生成器G生成的加了噪声的样本。鉴别器D包括大小为279的LSTM层、大小为100的残差和归一化层以及大小为256的全连接层。最后，鉴别器D使用一个sigmoid函数输出一个二进制值。

我们遵循了一个典型的GAN网络训练过程[31]来训练GAN子系统，同时训练鉴别器和生成器。鉴别器和生成器交替训练，直到达到纳什均衡。

发电机首先产生abatch_size加入噪声的EHR，嵌入生成器网络随机初始化系数的样本。这些样本与原始的无噪声EHR嵌入样本连接，形成(2xbatch_size)嵌入样例，各带max_num_tokens×vector_size真正的价值。例如，我们可以有batch_size= 500,max_num_tokens= 560,vector_size= 100。这些(2×batch_size)样本作为鉴别器的输入。对于每个输入样本，输出标签表明样本是来自真实的原始嵌入还是来自生成器。以最小化预测误差为目标，采用反向传播算法对鉴别器网络进行训练。当二元交叉熵损失函数停止下降时，鉴别器的训练停止。鉴别器训练然后暂时停止，让位于生成器训练。

为了训练生成器，必须冻结鉴别器的所有网络系数。鉴别器现在在发电机训练期间与发电机串联工作。发电机产生batch_size加入噪声的嵌入样本，对于每个样本，鉴别器输出一个预测。生成器使用基于鉴别器输出的反向传播算法更新其参数。当二元交叉熵损失函数停止增加时，生成器的训练停止。然后，生成器训练暂时停止，以产生鉴别器训练。

上述鉴别器和生成器训练过程共同形成一个训练历元。整个GAN网络的训练是通过几个时代来完成的。当达到纳什均衡时，训练停止。

中包含的Python伪代码演示了整个训练过程多媒体附录1．

‎ 查看此图

‎ 查看此图

伦理批准

本研究通过广门医院伦理委员会(SQ2017YFGX 060073)机构审查委员会审查。

结果

数据集

本研究以广安门医院2017年1月1日至2018年12月31日的电子病历作为数据集。最初，EHR笔记有27,846份，其中6551份(23.53%)份因质量控制而被丢弃。符合下列条件之一的电子病历记录应被丢弃:

• 由于缺少几页基本内容，笔记是不完整的。
• 说明信息不一致。
• 笔记没有使用标准的描述。
• 该说明包含特殊的EHR情况，如化疗，手术后，并拆除骨折设置。

评价指标

该数据集包含6352个药物品种。一份完整的中药处方包括药物成分、剂量和汤剂制备说明。对于一台机器来说，要生成如此完整的中药处方，即使不是不可能，也是非常具有挑战性的。在我们目前的研究阶段，我们只关注处方中的药物成分。

鉴于中医的独特性质，判断两种中药方剂是否相同往往并不简单。[35]。通常，两种不同的草药可能有相同的医疗效果。当中医医生开药方时，他或她手上通常有多种草药成分可供选择。因此，两名中医可能会为同一诊断病症的同一患者开不同的草药。因此，有必要有一个统一的方法来评价机器生成的处方。为此，我们需要更高层次的抽象。图9展示了中药组织的一个例子。在本例中，2种中药(消炎散和精方汤)的草药成分不同，但属于同一母药类别，具有相同的医疗效果。在我们的研究中，我们得出的结论是，只要推荐的药物与人类撰写的处方属于同一父类，推荐的药物就应该被认为是正确的推荐。

为了定量评估基于变压器的深度学习模型的性能，我们将机器生成的处方与人类医生开出的处方进行了比较。这里，我们使用的指标是精确率和召回率，它基于3个变量。真阳性(TP)定义为医生处方中存在的药物数量，也存在于机器处方中。假阳性(FP)是指在医生处方中不存在但在机器处方中存在的药物数量。假阴性(FN)定义为医生处方中存在但机器处方中没有的药物数量。根据这些定义，我们定义了准确率和召回率如下:

精度率= TP / (TP + FP)（1)

召回率= TP / (TP + FN)（2）

‎ 查看此图

使用GridSearchCV进行超参数调优

数据集分为训练集和测试集，其中训练集占数据集的90%，测试集占其余部分。采用10倍交叉验证法对模型进行训练;即将训练集随机分成10个折叠，对模型进行10次训练。在10次训练中的每一次，使用GridSearchCV方法对超参数进行调优。每次训练都会产生一组超参数，最终的超参数是这10组参数的平均值。

变压器网络模型超参数的取值对模型的精度有很大的影响。采用网格搜索法，通过迭代确定这些参数的最优值。将每种类型的稀疏特征嵌入到一个d维嵌入层中。然后，使用一种新的方法对所有向量进行组合:使用自学习权值对相同类型和时间的向量进行平均。

该模型使用最小的对数损失进行了优化。采用了多种正则化方法，如矢量损失率和嵌入层损失率。此外，还采用了小规模的L2权重惩罚，增加了对大权重的惩罚。选择训练批大小为128，将大小相近的句子放入同一批中。每批大约有12000个单词。最后，使用Adam函数处理多标签任务。对于多标签任务，将带有最后一个时间戳的输入与序列嵌入的特殊结束相乘。训练使用Kears框架，在一台带有8个NVIDIA P100图形处理单元的服务器上执行。微调后的超参数及其各自的范围如图所示表1．

实验结果

为了直观地解释我们的实验结果，我们从一个具体的例子开始，说明EHR记录如何导致处方订单。这方面的一个例子显示在图10．左边是病人电子病历的快照。右侧是一个表，显示了人工撰写的订单与我们的模型生成的处方之间的并排比较。医生的处方包含12种成分，而模特的处方有11种。前5种食材两面都是一样的。两边的第六种配料是一样的，尽管它们有不同的中文名字。这是因为医生给这种草药起了一个昵称。剩下的成分不仅在名称上不同，而且在实质上也不同。然而，就医疗效果而言，这两种命令仍然被认为是等效的。这是因为在中医术语中，诊断必须以疾病(病症)的名称和证候列表作为结论[17]。在这种特殊情况下，诊断出的疾病是emaciation-thirst，主要症状是肝肾虚次级综合症是湿瘀．前6种草药成分针对的是原发性综合征。每个处方中剩下的成分都是用来治疗次级综合症的湿瘀．由于这两个处方治疗继发性证的成分只是略有不同，因此在我们的研究中它们被视为同一处方。

为了进一步解释这种处方比较，我们给出另一幅图，如图所示图11．医生的医嘱来了芪菊地黄丸，则称为模型的阶数六味地黄丸．它们是属于同一父类中药方剂的第二类方剂滋补肝肾．他们的不同之处在于如何祛湿化痰，以解决继发性综合症。

为了评估基于变压器的预测模型的性能，我们首先只使用原始样本进行模型训练，有目的地排除了添加噪声的样本。结果将在以下段落中描述。

根据时间顺序，系统分别在入院时、入院后24小时、入院后48小时、入院后3天、入院后1周给出处方建议。测试结果见表2．

从表2，我们首先观察到从训练数据集获得的准确率和召回率高于从测试数据集获得的准确率和召回率。这是可以理解的，因为模型之前已经看到了训练数据集的样本，但没有看到测试数据集的样本。第二个观察结果是，随着时间的推移，准确率和召回率都在提高。入院后，在随后的每次服药时间，收集到的相关信息更多，预测更加准确。虽然98%的患者入院时特征令牌数量<260个，但24小时内增加到296个，48小时内增加到333个，72小时内增加到366个，7天内增加到759个。在实验中，我们设max_num_tokens= 759．这意味着当特征令牌的数量<759时，使用零填充，当有>759个特征令牌时使用剪辑。选择适当的值max_num_tokens对于平衡整体系统性能和计算效率之间的权衡非常重要。如果这个值太大，训练和推理将消耗太多的计算能力。如果该值太小，则在入院时收集的一些关键信息将因裁剪而丢失，从而导致在远离入院时间(例如，入院后2周)的时间内处方预测的精度和召回率降低。

使用更多的训练样本对预测模型进行训练，得到第二组实验结果。训练数据集的大小增加了一倍，对于每个训练样本，GAN网络生成一个添加噪声的样本。查准率和查全率见表3．

可以看出在表3在美国，准确率和召回率都有明显的提高。结果令人信服地证明，插入GAN模块生成的加噪训练样本可以有效地克服过拟合问题，从而获得更好的预测性能。

‎ 查看此图

‎ 查看此图

比较研究

为了将我们提出的模型与现有处方生成模型的性能进行比较，我们实现了另外3个模型。基于cnn的模型[11]包括一个词嵌入层、一个包含3个不同大小过滤器的卷积层、一个池化层和一个全连接层。输出层包含819个神经元，相当于规定的草药品种的数量。seq2seq [36]模型包括一个CNN编码器和一个LSTM解码器。MedAR [37模型由词嵌入层、关注层、RethinkNet层组成，完成多标签分类。学习率为0.001，辍学率为0.8，优化函数为Adam。最后的输出层使用sigmoid函数，其中所有其他层使用非线性激活函数ReLU，如果x为负，则输出输入x为零，如果x大于等于零，则输出x本身。表4显示了所讨论的所有4种模型在入场时各自的精度和召回率。结果表明，该模型在准确率和查全率方面具有较好的性能。

讨论

主要研究结果

本研究主要完成了以下任务:

1. 使用深度学习NLP技术将原始中文电子病历文本转换为特征表示。
2. 本研究的主要贡献是提出了一种基于变压器的预测建模方案，用于从EHR数据的特征表示生成药物订单。
3. 本研究的第二个贡献是使用GAN来增加训练数据集，导致预测模型的性能显著提高。使用GAN，生成添加噪声的样本，使原始训练样本的数量增加一倍。这有助于缓解过拟合问题，使模型在泛化方面更加健壮。

限制

尽管在诊断和治疗方案建议的许多方面做出了努力，但仍有很大的改进空间。训练数据集仍然比较小，可能会有一些常用的药物没有包括在训练数据集中。中药方剂知识库尚不完善。有些药品没有标准名称，数据库中也没有对应的父药品名称。因此，推荐的药品名称仍为原医院药品名称。对于多标签预测任务，标签数量的增加会增加模型预测的难度，降低预测精度。因此，随着知识库的完善，标签集将得到进一步的优化，从而提高模型的预测精度。

未来的工作

本文报道了基于电子病历文本自动生成中医住院病人用药单的初步研究结果。推荐的药物包括西药和中药。对于中药，只推荐药名。在未来，草药成分的剂量，以及药物制备说明，将包括在建议中。将模型预测精度提高到二类水平也是今后工作的一个方向。未来的工作可以扩展训练数据集来优化模型。