中文电子病历中受保护健康信息的有效识别方法:算法开发与验证gydF4y2Ba

介绍gydF4y2Ba

背景gydF4y2Ba

随着信息技术的发展，电子病历在许多医院和医疗机构得到了广泛的采用和应用。电子病历的巨大优点包括易于存储和管理，并且可以大大提高信息检索的速度。它们可以提供各种疾病的丰富临床和医学信息，这些信息可能为临床医生提供决策依据。然而，许多个人的私人信息存储在电子病历中。电子病历的使用不当可能会导致隐私泄露，从而导致严重的问题。为了规范电子病历的使用和保护个人隐私，许多项目，如i2b2挑战，在2014年[gydF4y2Ba1gydF4y2Ba]，以及2016年的CEGS N-GRID挑战[gydF4y2Ba2gydF4y2Ba]，已经启动。防止隐私泄露的一种直观方法是去识别受保护的健康信息(PHI) [gydF4y2Ba3.gydF4y2Ba]，然后再进行信息处理。美国《健康保险流通及责任法案》将健康保险合约分为18种不同类型[gydF4y2Ba4gydF4y2Ba]，如姓名、身份证号、位置、日期和年龄。去识别PHI的过程可以分为2个步骤:在EHR中找到PHI，并用不敏感的信息替换它。因此，去识别过程可以被视为命名实体识别(NER)任务[gydF4y2Ba5gydF4y2Ba]。gydF4y2Ba

相关工作gydF4y2Ba

在过去的几十年里，基于规则的[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba7gydF4y2Ba]和基于机器学习的[gydF4y2Ba3.gydF4y2Ba，gydF4y2Ba8gydF4y2Ba，gydF4y2Ba9gydF4y2Ba]方法一直是识别句子或文档中实体的主流方法。基于规则的方法利用特殊的语义字典来建立一组正则表达式[gydF4y2Ba4gydF4y2Ba，gydF4y2Ba5gydF4y2Ba]从电子病历中提取PHI。然而，这些方法耗费大量的劳动和时间，泛化能力差。基于统计学原理的机器学习方法可以利用人工提取的文本特征自动检测EHRs中的PHI [gydF4y2Ba3.gydF4y2Ba，gydF4y2Ba10gydF4y2Ba]。例如，Jian等[gydF4y2Ba11gydF4y2Ba]设计了一组基于中文电子病历特征的正则表达式来过滤具有稀疏PHI的句子，然后使用过滤后的句子来训练条件随机场(conditional random field, CRF)模型进行PHI识别。Du等[gydF4y2Ba12gydF4y2Ba]人工从中文电子病历中提取PHI的词法和字典特征，训练一个CRF模型，并利用正则表达式捕获CRF中缺失的特征。在提取的词汇特征基础上，Zhang等[gydF4y2Ba13gydF4y2Ba]采用长短期记忆(LSTM)方法学习PHI句子的特征。然而，这些基于机器学习的方法严重依赖于高质量的人工特征选择，这需要大量的领域专业知识。近年来，许多深度学习模型被应用于PHI的去识别。与基于规则和基于机器学习的方法相比，深度学习模型可以从输入的单词或文本向量中自动提取特征[gydF4y2Ba14gydF4y2Ba，gydF4y2Ba15gydF4y2Ba]。然而，基于深度学习的模型需要非常大的带注释的数据集来进行模型训练，以避免过拟合。为了解决这个问题，执行数据扩充是很有诱惑力的[gydF4y2Ba16gydF4y2Ba，gydF4y2Ba17gydF4y2Ba在面对数据集不足时。gydF4y2Ba

目前，与其他语言相比，用深度神经网络去识别中文临床文本的PHI仍然是一个更大的挑战[gydF4y2Ba18gydF4y2Ba]。目前，对英语语料库中PHI去识别的研究较多。基于规则的、基于机器学习的、基于深度学习的和混合方法的性能不断提高[gydF4y2Ba19gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba]。然而，将这些方法直接应用于中国临床文献进行PHI去识别可能会导致不满意的结果。英汉两种语言在词形特征上的巨大差异，使得规则和词典的构建都是徒劳的。例如，汉语句子中间没有分隔符，因为汉语表达意思的基本语素由多个单词组成。此外，汉语语法更灵活，有些词可以作为多个词类存在。此外，由于没有大写字母，很难通过具体的规则来确定人名的位置。因此，深度神经网络需要一个非常大的中文生物医学语料库来学习汉语的高级语境语义特征。然而，为网络训练标注大量中文数据成本高、劳动强度大、耗时长。因此，在有限大小的注释中文数据集上训练深度神经网络的能力是非常必要的。为了减少模型对有限训练数据的依赖，一种直观的方法是对用中文语料库预训练的模型进行微调，并使用目标特定的下游数据集。 However, there are two limitations on applying pretrained language models to downstream tasks. First, if the pretraining tasks and the target tasks are not domain matched, the pretraining model may impair the performance of the target tasks [21gydF4y2Ba]。其次，当没有足够的数据来微调下游任务时，可能会出现过拟合问题。gydF4y2Ba

客观的gydF4y2Ba

在本文中，我们提出了一种使用TinyBERT [gydF4y2Ba22gydF4y2Ba]和中文PHI去识别的CRF模型。在我们的模型中使用的TinyBERT是从基于BERT(双向编码器表示来自变压器)的模型中提取出来的，该模型是在中文语料库上预训练的。它有两个优点:一是它可以克服中文和英文在形态特征上的差异，二是它的参数较少，这应该可以防止深度学习模型在小规模中文电子病历数据集上训练时出现过拟合的问题。此外，我们提出了一种混合数据增强方法，该方法使用数据增强和生成方法(DAGA) [gydF4y2Ba23gydF4y2Ba]并提及替换(MR) [gydF4y2Ba24gydF4y2Ba来创建更多的训练数据。增强的数据集有助于神经网络克服过拟合，增强深度神经网络的泛化能力。gydF4y2Ba

方法gydF4y2Ba

PHI识别模型gydF4y2Ba

本文结合TinyBERT [gydF4y2Ba22gydF4y2Ba]和CRF模型[gydF4y2Ba25gydF4y2Ba]提出了中文电子病历中PHI识别的方法。如图所示gydF4y2Ba图1gydF4y2Ba，该模型采用TinyBERT作为特征提取模块，CRF模型作为预测模块。首先对EHR句子中的单词进行标记，并且将句子的长度固定为128。然后将它们输入到TinyBERT的嵌入模块中，生成单词嵌入、位置嵌入和标记类型嵌入。将3个嵌入矩阵加在一起作为特征编码器的输入，由级联的自关注块组成，用于文本特征提取。该模型利用自注意机制，捕捉句子中的远距离相互依存特征，学习句子的语义。特征提取模块输出一系列序列标签的概率，作为CRF模型的发射分数。之后，将文本特征输入到CRF模块进行标签预测。gydF4y2Ba

TinyBERT是用变压器层蒸馏法从基BERT中生成的轻结构[gydF4y2Ba26gydF4y2Ba]。要提取的结构是一个嵌入层、多个变压器层和一个预测层。模型蒸馏过程的详细情况见gydF4y2Ba图2gydF4y2Ba。假设base BERT为教师模块，有M层变压器，TinyBERT为学生模块，有N层变压器，其中M = k × N。在蒸馏过程中，模型通过教师模块到学生模块指标之间的知识蒸馏(KD)函数来学习知识，如式1所示:gydF4y2Ba

θgydF4y2Ba_{年代gydF4y2Ba}(n) = g(k，θgydF4y2Ba_TgydF4y2Ba(m))gydF4y2Ba（1）gydF4y2Ba

在θgydF4y2Ba_{年代gydF4y2Ba}(n)为有n层变压器的学生模块参数，θgydF4y2Ba_TgydF4y2Ba(m)表示具有m个变压器层的教师模块参数，g(•)表示教师模块到学生模块的知识映射函数。形式上，g(•)通过使蒸馏损耗(L(distillation))最小来优化，L(distillation)由变压器层损耗(L(tr))、埋设层损耗(L(emb))和预测损耗(L(pr))相加。为了生成TinyBERT模型，将长度为1的训练序列同时输入到教师模块和学生模块进行标签预测，然后在训练过程中将蒸馏损失最小化，可由式2 ~式5计算，如下所示:gydF4y2Ba

L(emb) = ||EgydF4y2Ba^{年代gydF4y2Ba}EgydF4y2Ba^TgydF4y2BaWgydF4y2Ba_egydF4y2Ba||gydF4y2Ba_2gydF4y2Ba （3）gydF4y2Ba

L(pr) = cross_entropy (ZgydF4y2Ba^TgydF4y2Ba, ZgydF4y2Ba^{年代gydF4y2Ba}）gydF4y2Ba(4）gydF4y2Ba

L(蒸馏)= L(tr) + L(emb) + L(pr)gydF4y2Ba(5）gydF4y2Ba

h是注意头的个数。gydF4y2Ba表示gydF4y2Bai -gydF4y2Ba层注意图值，变压器块的输出特征图，嵌入层的输出，学生模块的预测逻辑向量。gydF4y2Ba表示gydF4y2Bai -gydF4y2Ba层注意图值、变压器块的输出特征图、嵌入层的输出、教师模块的预测逻辑向量。WgydF4y2Ba_hgydF4y2Ba和WgydF4y2Ba_egydF4y2Ba表示线性变换矩阵，和gydF4y2Ba，其中∈{A, H,E,Z}。gydF4y2Ba

经过知识蒸馏过程，得到的TinyBERT的参数大幅度缩减，同时保留了基本BERT的大部分知识。我们的模型利用最后一个TinyBERT编码器输出的文本特征，最终通过分类器(如softmax函数)获得预测的标签。然而，softmax函数将每个向量视为独立的，忽略了句子中单词标签之间的相关性;因此，可以预测一些不合理的结果。为了消除这个问题，我们引入了CRF模型来构建注释序列中的依赖关系和约束。与假设令牌的当前标签仅依赖于当前标签或当前标签仅依赖于前一个标签不同，CRF模型打破了局部令牌依赖的限制，并将重点放在整个句子上。可以在NER任务中学习的特定依赖规则见gydF4y2Ba图2gydF4y2Ba。gydF4y2Ba

句子中第一个单词的标签应该以“B-”或“O”开头，而不是“I-”。以“B - label_1 I - label_2 I - label_3 I -…”label_1、label_2和label_3应该有相同的命名实体标签。基于这一规则，很容易排除错误的预测，例如“b -个人-组织……”根据观察结果，CRF模型可以根据式(6)至式(8)中的依赖规则定义一个方程，对输入句子的预测序列标签进行评分:gydF4y2Ba

score(X|s) = emission_score + transition_scoregydF4y2Ba（6）gydF4y2Ba

其中s表示输入句子，gydF4y2Ba_{我的标签gydF4y2Ba}的预测标签的得分gydF4y2BaigydF4y2Ba句子中的单词是s，和gydF4y2Ba_{labeli→labeljgydF4y2Ba}表示转移的分数gydF4y2Ba标签gydF4y2Ba_我gydF4y2Ba来gydF4y2Ba标签gydF4y2Ba_jgydF4y2Ba分别的世界。在我们的方法中gydF4y2Baemission_scoregydF4y2Ba由TinyBERT模块的输出得到，gydF4y2Batransition_scoregydF4y2Ba是由CRF模块根据句子中的上下文信息计算出来的。为了使正确预测序列标签的概率最大化，所有预测分数的指数和标准化按式9计算:gydF4y2Ba

因此，优化我们模型的损失函数可以定义为式10:gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

一种混合数据增强方法gydF4y2Ba

从形式上讲，深度神经网络的性能和效率之间存在权衡。当对参数进行压缩时，网络的性能会下降，而效率会提高。在实践中，网络通过压缩变压器层数和词嵌入维数来提高效率，但这也会导致特征提取能力下降。为了保持其效率而不降低其性能，一种直观的方法是在大型数据集上对其进行微调。不幸的是，生成一个足够的、高质量的数据集是具有挑战性的。如前几份报告所述[gydF4y2Ba23gydF4y2Ba，gydF4y2Ba24gydF4y2Ba]，用噪声增强数据可以增强模型在句子级任务(如文本分类和情感判断)上的鲁棒性，但它会损害表征级任务(如NER)的性能。这种情况表明，增强的数据应该包含尽可能少的噪声。此外，Dai等人的研究[gydF4y2Ba27gydF4y2Ba表明混合数据增强平均优于任何单一的数据增强方法。受此工作启发，我们提出了一种新的混合数据增强方法，该方法将DAGA [gydF4y2Ba23gydF4y2Ba]及MR [gydF4y2Ba24gydF4y2Ba来增强原始数据，以进行特定任务的微调。DAGA用于增加训练集的大小，以避免过拟合，而MR用于使网络能够学习实体的不同表示。gydF4y2Ba

与其他数据增强方法不同，DAGA从头开始生成新的合成数据，而不依赖于WordNet(普林斯顿大学)或其他外部字典，这可能使它对资源有限的语言更有用。它将实体标签和单词标记混合在一起以创建一个线性句子。中给出了一个例子gydF4y2Ba图3gydF4y2Ba。生成的线性句子被输入到单词生成网络(如LSTM或BERT)中，以学习单词和标签的分布。给定一个符号序列(wgydF4y2Ba_1gydF4y2BawgydF4y2Ba_2gydF4y2Baw,……gydF4y2Ba_tgydF4y2Ba, w……gydF4y2Ba_NgydF4y2Ba)赋给网络，其中N表示序列的长度，网络通过公式11学习该序列中每个单词的隐藏状态:gydF4y2Ba

hgydF4y2Ba_tgydF4y2Ba=我gydF4y2Ba_tgydF4y2Ba (11)gydF4y2Ba

其中M为词生成网络中的可学习权矩阵，egydF4y2Ba_tgydF4y2Ba表示输入词的嵌入矩阵。单词生成网络在训练过程中通过最大化公式12计算的概率来学习预测序列中下一个标记的标签:gydF4y2Ba

在哪里gydF4y2BaVgydF4y2Ba表示词汇表的大小，gydF4y2Ba我*gydF4y2Ba表示单词w的索引gydF4y2Ba_tgydF4y2Ba在词汇中，和gydF4y2BahgydF4y2Ba_{t - 1gydF4y2Ba},我*gydF4y2Ba表示gydF4y2BaigydF4y2Bah元素gydF4y2Ba_{t - 1gydF4y2Ba}。这样，得到参数θ的目标函数如式13所示:gydF4y2Ba

配对的标记-标记线性句子促进了网络对词类之间上下文关系的学习，因此生成的合成数据的分布更接近原始数据，从而在数据增强过程中引入更少的噪声。此外，生成的合成数据引入了更多的多样性，增强了模型的鲁棒性。gydF4y2Ba

然而，我们最初收集的数据集可能包含较少实体和更多“O”标记词的句子。根据公式13,DAGA严重依赖上下文语义信息来生成句子。因此，仅对最初收集的数据集应用DAGA进行数据增强可能会导致实体稀疏性问题，这不利于模型学习丰富的数据特征。为了缓解这种情况，我们引入了MR作为另一种补充数据增强方法。对于句子中的每个标记实体，我们制定了一个二项分布来确定是否应该替换该实体。公式输出一个概率gydF4y2BaPgydF4y2Ba时，该实体被训练集中具有相同实体类型的另一个实体替代gydF4y2BaPgydF4y2Ba> 0。5。否则，实体将保留在原句子中。然而，由于原始采集数据集的规模较小，仅使用MR进行数据增强容易产生重复数据，这可能导致训练过程中的过采样，从而导致模型的过拟合。因此，我们将DAGA和MR合并在一起以增强数据集。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

结果gydF4y2Ba

数据gydF4y2Ba

原始电子病历包含患者病史、当前病情、入院摘要、病程的每日记录、诊断、治疗过程和出院摘要。电子病历均收集于中国重庆市当地医院。在本文中，我们的目标是识别电子病历中受保护的信息，如组织(ORG)、地点(LOC)、日期(DAT)和个人姓名(PER)，包括患者和医生的姓名。gydF4y2Ba

手工标注原始数据是一项耗时费力的任务，而且数据通常不足以用于特定疾病的研究，特别是罕见疾病的研究。受过去研究的启发[gydF4y2Ba28gydF4y2Ba，gydF4y2Ba29gydF4y2Ba]，我们使用深度学习方法对原始数据进行标注。在这种方法中，所有的原始数据被随机分成2部分。第一部分称为“迷你数据集”(包含所有原始数据的10%左右)，另一部分称为“正式数据集”。我们邀请了2名专业临床医生在迷你数据集中手动注释所有PHI。然后，我们使用CRF模型将带注释的迷你数据集提供给基本BERT进行微调。接下来，我们将带有CRF模型的基本BERT从训练模式切换到测试模式，以预测形式数据集中的PHI。然而，在正式数据集中可能存在一些不正确的预测(也称为坏案例)。因此，我们手动审查正式数据集中的预测PHI，并纠正不良情况。最后，我们得到了一个完整的带PHI标签的标注数据集。之后，患者姓名等私人信息被随机替代。gydF4y2Ba

实验设置gydF4y2Ba

我们将原始带注释的数据集随机分成一个训练集(记为data)gydF4y2Ba_生gydF4y2Ba)，评估集和测试集的比例为6:2:2。统计上，总共有2707个、1424个、509个和5046个标记为PER、ORG、LOC和DAT实体。我们的数据扩增方法应用于数据gydF4y2Ba_生gydF4y2Ba创建一个新的训练集，命名为“混合增强数据集”，表示为datagydF4y2Ba_{数据+先生gydF4y2Ba}。为了比较，我们分别对数据应用了DAGA和MRgydF4y2Ba_生gydF4y2Ba创建2个额外的训练集，记为datagydF4y2Ba_{数据的gydF4y2Ba}和数据gydF4y2Ba_{先生gydF4y2Ba}。评估集用于验证训练过程中的性能，测试集用于测试我们提出的模型和其他基线方法的性能。关于我们的混合增强数据集和每种类型实体的原始数据集的详细统计信息显示在gydF4y2Ba表1gydF4y2Ba。gydF4y2Ba

我们保留了CRF模块，用其他模块代替了我们模型的特征提取模块。这些模块包括2个基于递归神经网络(RNN)的模型，包括BiLSTM [gydF4y2Ba30.gydF4y2Ba]、门控循环单元(GRU) [gydF4y2Ba31gydF4y2Ba]和7个基于BERT的模型，包括基础BERT [gydF4y2Ba26gydF4y2Ba]，中文- bert -wwm [gydF4y2Ba32gydF4y2Ba]，中文- bert -wwm-ext [gydF4y2Ba32gydF4y2Ba]、中文- bert -base [gydF4y2Ba33gydF4y2Ba]和Chinese-BERT-large [gydF4y2Ba33gydF4y2Ba]，并以PCL-BERT [gydF4y2Ba34gydF4y2Ba]及PCL-BERT-wwm [gydF4y2Ba34gydF4y2Ba]。每个基准模型的详细设置列于gydF4y2Ba表2gydF4y2Ba。对于评价指标，我们使用精度、召回率和F1分数来评价数据集中的整体性能，根据式(14)至式(16)计算，如下:gydF4y2Ba

式中TP、FP、FN分别为真阳性率、假阳性率、假阴性。在128 GB内存的Intel至强中央处理器(CPU) (E5-2620, v3, 2.40 GHz)计算机上，采用base BERT、Chinese-BERT-wwm、Chinese-BERT-wwm-ext、Chinese-BERT-base、Chinese-BERT-large和TinyBERT模型进行实验。GRU、BiLSTM、PCL-MedBERT和PCL-MedBERT-wwm的实验在Nvidia RTX3090图形处理器(GPU)上进行。gydF4y2Ba

实验结果gydF4y2Ba

我们的模型与基线模型在测试集上的性能比较报告于gydF4y2Ba表3gydF4y2Ba。数据微调后gydF4y2Ba_生gydF4y2Ba其中，base BERT的准确率最高(98.55%)，PCL-MedBERT-wwm的召回率最高(99.18%)，F1评分最高(98.8%)。然而，在混合增强数据集上对模型进行微调后，我们的模型在精度(98.7%)、召回率(99.13%)和F1分数(98.91%)方面获得了最好的分数，与数据相比，精度提高了0.86%，召回率提高了0.53%，F1分数提高了0.69%gydF4y2Ba_生gydF4y2Ba。然而，与数据相比，其他基线模型在混合增强数据集上进行微调后获得了更好的性能gydF4y2Ba_生gydF4y2Ba。此外，2个基于rnn的模型的整体性能不如大多数基于bert的模型，并且经过数据训练后，BiLSTM在精度，召回率和F1得分上分别优于GRU 2.2%， 2.95%和2.58%gydF4y2Ba_生gydF4y2Ba，在混合增强数据集上训练后，分别提高1.63%、2.37%和2%。gydF4y2Ba

值得注意的是，在对数据进行微调后，中文- bert -base和中文- bert -large的性能都不如其他基于bert的基准模型gydF4y2Ba_生gydF4y2Ba。在增强数据集上进行微调后，这两个模型的改进优于其他模型。与数据微调相比gydF4y2Ba_生gydF4y2Ba其中，中文- bert -base的准确率提高13.94%，召回率提高11.69%，F1分数提高12.84%;中文- bert -large的准确率提高1.85%，召回率提高0.87%，F1分数提高1.36%。gydF4y2Ba

为了进一步评估混合数据增强方法的有效性，我们通过微调数据上的每个基准进行了消融研究gydF4y2Ba_{数据的gydF4y2Ba}和数据gydF4y2Ba_{先生gydF4y2Ba}。结果显示在gydF4y2Ba表4gydF4y2Ba。我们的模型的每个指标都对任一数据进行了微调gydF4y2Ba_{数据的gydF4y2Ba}或数据gydF4y2Ba_{先生gydF4y2Ba}比在数据上进行微调时性能更好gydF4y2Ba_生gydF4y2Ba。在对我们的模型进行数据微调后，精度、召回率和F1分数分别提高了0.48%、0.43%和0.46%gydF4y2Ba_{先生gydF4y2Ba}，在对数据进行微调后，分别提高了0.34%、0.48%和0.38%gydF4y2Ba_{数据的gydF4y2Ba}。然而，对单个增强数据集进行微调并不能确保我们的模型在每个指标上都优于其他基线方法。总体而言，PCL-MedBERT-wwm在对数据进行微调后获得了最好的精度和F1分数gydF4y2Ba_{先生gydF4y2Ba}和数据gydF4y2Ba_{数据的gydF4y2Ba}。gydF4y2Ba

值得注意的是，在对数据进行微调后，一些基准基准的结果有所下降gydF4y2Ba_{先生gydF4y2Ba}或数据gydF4y2Ba_{数据的gydF4y2Ba}。例如，在对数据模型进行微调之后gydF4y2Ba_{先生gydF4y2Ba}， PCL-MedBERT的准确率、召回率和F1分数下降了0.19%，基础BERT的准确率、召回率和F1分数分别下降了0.3%、0.1%和0.2%。中文- bert - wm-ext和中文- bert -large的情况类似。中文- bert - wm-ext的精度下降了0.29%，F1分数下降了0.05%，中文- bert -large的精度下降了0.47%。然而，在混合增强数据集上进行微调后，所有基准模型的性能都有所提高，证明了混合增强方法的有效性。gydF4y2Ba

在不同的数据集上对模型进行微调后，我们比较了模型在不同实体类型上的性能。如图所示gydF4y2Ba表5gydF4y2Ba，在单个增强数据集或混合增强数据集上对我们的模型进行微调，提高了每种实体类型的性能，这证明了我们提出的数据增强策略的有效性。值得注意的是，在对混合增强数据集进行微调后，我们的模型无法实现PER和DAT实体类型的最佳性能。对于数据类型，在对数据模型进行微调后获得了最佳结果gydF4y2Ba_{先生gydF4y2Ba}，与混合增强数据集相比，精度提高了0.1%，召回率提高了0.29%，F1分数提高了0.19%。对于PER类型，在数据上对模型进行微调后获得了最佳精度gydF4y2Ba_{数据的gydF4y2Ba};这比数据高0.16%gydF4y2Ba_{数据+先生gydF4y2Ba}。gydF4y2Ba

为了研究数据量对我们提出的模型的影响，我们建立了4个额外的训练集，它们具有不同的数据量，记为gydF4y2Ba，gydF4y2Ba，gydF4y2Ba,gydF4y2Ba。这些符号及其对应的含义列于gydF4y2Ba表6gydF4y2Ba。gydF4y2Ba

我们的模型在4个额外的训练集上进行微调后的结果见gydF4y2Ba表7gydF4y2Ba。从表中，我们可以观察到我们的模型进行了微调gydF4y2Ba在准确率、召回率和F1得分上分别仅获得91.33%、95.26%和93.26%的表现。当原始数据量增加到50%时，性能大大提高。此外，我们的模型的性能在两者上都进行了微调gydF4y2Ba或gydF4y2Ba比对数据进行微调时更好吗gydF4y2Ba_生gydF4y2Ba，gydF4y2Ba,或gydF4y2Ba。此外，我们的模型在上进行微调后获得了更好的性能gydF4y2Ba比gydF4y2Ba。结果还表明，我们拥有的原始数据越少，在混合增强数据集上进行微调后，我们的模型的性能提高得越多。gydF4y2Ba

记录使用测试集(包括1500个样本)的所有型号的不同设备使用的时间，以进行效率评估。所有的基准测试都在测试集中运行一个转发的进程;结果显示在gydF4y2Ba表8gydF4y2Ba。我们的模型在所有基于bert的基准测试中实现了最高的效率:CPU时间为158.22秒，GPU时间为62.39秒。从表中，我们可以观察到CPU时间的效率提高大于GPU时间的效率提高。计算资源越有限，效率的提高就越大。结果表明，该方法具有较高的效率和较高的性能。虽然GRU和LSTM模型的效率优于我们的模型，但这些模型在准确率、召回率和F1分数方面的表现较差。gydF4y2Ba

符号gydF4y2Ba	意义gydF4y2Ba
	随机抽取的样本，占数据的10%gydF4y2Ba生gydF4y2Ba。gydF4y2Ba
	随机选择的样本，包含50%的数据gydF4y2Ba生gydF4y2Ba。gydF4y2Ba
a、bgydF4y2Ba	混合数据gydF4y2Ba以及由DAGA和MR生成的整个数据集。gydF4y2Ba
	混合数据gydF4y2Ba以及随机抽取的由DAGA和MR生成的数据。gydF4y2Ba

^{一个gydF4y2Ba}DAGA:使用生成方法的数据增强。gydF4y2Ba

^bgydF4y2Ba提到替换。gydF4y2Ba

数据量gydF4y2Ba	P,gydF4y2Ba一个gydF4y2Ba％gydF4y2Ba	R,gydF4y2BabgydF4y2Ba％gydF4y2Ba	F1,gydF4y2BacgydF4y2Ba％gydF4y2Ba
	91.33gydF4y2Ba	95.26gydF4y2Ba	93.26gydF4y2Ba
	97.46gydF4y2Ba	98.36gydF4y2Ba	97.91gydF4y2Ba
d、egydF4y2Ba	98.13gydF4y2Ba	98.89gydF4y2Ba	98.51gydF4y2Ba
	98.51gydF4y2Ba	99.08gydF4y2Ba	98.8gydF4y2Ba

^{一个gydF4y2Ba}P:精度。gydF4y2Ba

^bgydF4y2Ba接待员:召回。gydF4y2Ba

^cgydF4y2BaF1: F1得分。gydF4y2Ba

^dgydF4y2BaDAGA:使用生成方法的数据增强。gydF4y2Ba

^egydF4y2Ba提到替换。gydF4y2Ba

案例研究gydF4y2Ba

为了直观地验证我们提出的方法的有效性，我们使用案例研究作为示例，如下所示gydF4y2Ba图4gydF4y2Ba。在情况1中，在对原始数据进行微调后，我们的模型错误地将数字“009942”从“O”类型分类为data类型。在对混合增强数据集进行微调后，这一问题得到了纠正。在案例2中，当我们的模型在原始数据上进行微调时，没有识别出应该具有ORG类型的实体“白血病基金”。然而，在对混合数据集进行微调之后，我们的模型能够通过上下文语义修改这个结果。这些案例研究证明了混合数据增强方法的有效性。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

讨论gydF4y2Ba

本文的主要贡献有:(1)描述了一个结合TinyBERT和CRF模型的新的高效模型来识别中文电子病历中的PHI;(2)描述了一种基于句子生成策略和MR策略的混合数据增强方法，用于增强中文电子病历;(3)报告我们提出的方法在性能和效率上都优于其他基准方法。这可能有两个原因。首先，TinyBERT的注意机制和CRF模型的最优搜索策略保证了我们的模型能够很好地学习文本的全局特征，并且轻量级的参数保证了模型在训练过程中不会出现过拟合。其次，DAGA生成更多多样性更小噪声的训练数据，增加数据分布的先验知识进行学习。MR策略随机替换句子中的实体，从不同角度学习实体的表示，提供了更丰富的上下文信息。模型对原始数据进行微调后的性能越差，对混合增强数据集进行微调后的性能改进就越大。此外，我们的模型对数据的训练曲线gydF4y2Ba_生gydF4y2Ba和数据gydF4y2Ba_{数据+先生gydF4y2Ba}都显示在gydF4y2Ba图5gydF4y2Ba。这说明我们的模型在训练过程中收敛速度很快，大大降低了训练成本。gydF4y2Ba

此外，我们执行了一个分析，以确定为什么在对数据进行微调后，一些基线方法的性能会下降gydF4y2Ba_生gydF4y2Ba或数据gydF4y2Ba_{数据的gydF4y2Ba}。我们发现，一方面，数据的稀疏性可能会带来一些缺点gydF4y2Ba_{数据的gydF4y2Ba}，这阻碍了模型关注句子中有用的上下文语义信息的能力，损害了特征提取。另一方面，将MR策略应用于原始数据集往往会产生重复数据，这可能导致训练过程中的过拟合。这两个缺点对中国bert -large模型的影响更大，因为该模型有更多的变压器和参数，因此对数据干扰更敏感[gydF4y2Ba25gydF4y2Ba]。然而，混合增强数据不能保证我们的模型在每一种实体上的性能都得到提高，尽管在整体测试集上的性能仍然得到了提高。此外，预训练数据集对下游任务有很大的影响。虽然在英语语料库上对基础BERT进行了预训练，但其性能明显优于中文BERT基础。中文- bert -base和中文- bert -large分别使用包括单词、字形和拼音信息在内的中文单词信息进行预训练。在我们的实验中，我们只使用单词信息对这些模型进行微调，就像其他基于bert的模型一样，并发现这会导致数据的严重性能下降gydF4y2Ba_生gydF4y2Ba。gydF4y2Ba

我们建议的模型的输入是结构化数据，需要从原始收集的数据中正确地准备这些数据。虽然我们采用了BERT模型来提高标注过程的效率，但这种方法对不同语言的电子病历的泛化性尚未得到证明。此外，位置信息可能与疾病类型相关，尽管我们在本文中没有具体评估PHI去识别对临床数据挖掘的影响。gydF4y2Ba

本文提出了一种结合TinyBERT和CRF模型的高效模型，用于中文电子病历中PHI的识别。该模型减轻了以往模型对计算资源的高度依赖，提高了任务的效率。为了克服标注数据不足的限制，我们提出了一种混合数据增强方法，该方法使用生成方法和MR策略来创建新的数据集以对模型进行微调。我们的实验结果表明，我们的模型性能优于基准模型，也是所有实验基准模型中效率最高的模型。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba