基于联邦学习的深度语境化国际疾病分类语言模型的训练:模型开发与验证研究

介绍

背景

世界卫生组织发布了一个统一的疾病诊断分类系统国际疾病分类(ICD)，而ICD第十次修订版(ICD-10)被广泛使用[1］.编码员根据《国际疾病分类》的规则对疾病进行分类，所得的《国际疾病分类》编码用于调查、统计和报销。ICD-10临床修改(ICD-10- cm)用于对医疗诊断进行编码，包括大约69,000个代码[2，3.］.ICD-10-CM代码包含7位数字;结构如图所示图1。

‎ 查看此图

在医院，每个病人的诊断首先以文本描述的形式写在电子健康记录中。然后编码器读取这些记录，将诊断分类为ICD代码。因为诊断最初是作为自由文本编写的，文本的模糊性使得诊断很难编码。对每个诊断进行分类是非常耗时的。一条出院记录可以包含1到20个代码。根据一项试验的估计，编码员平均花费20分钟为每位患者分配代码[4］.使用自动工具可以提高ICD分类的效率，减少人工。

相关工作

最近，深度学习和自然语言处理(NLP)模型已经被开发出来，将纯文本转化为向量，使其自动分类成为可能。Shi等[5提出了一种带有注意机制的分层深度学习模型。Sammani等[6]引入了双向门控循环单元模型，根据出院字母预测ICD代码的前3或4位数字。Wang等[7提出了一种带有注意机制和门控残差网络的卷积神经网络模型，将中文记录分类为ICD编码。Makohon等[8研究表明，带有注意机制的深度学习有效地增强了ICD-10的预测。先前的研究也提到了庞大数据集的必要性，以及对隐私敏感的临床数据如何限制了ICD-10自动分类模型的发展[6］.

联邦学习在医学领域取得了令人印象深刻的成果，被用于在多中心数据上训练模型，同时保持它们的私密性。联邦学习广泛应用于医学图像和信号分析，如脑成像分析[9]和脑电图信号的分类[10］.在临床NLP领域，Liu等[11提出了一种两阶段联合方法，该方法涉及使用来自不同医院的临床记录来提取医疗任务的表型。

之前，我们使用带有双向门控循环单元的Word2Vec模型对电子病历中的ICD-10-CM代码进行分类[12］.我们分析了ICD-10-CM编码的分布，并从出院记录中提取特征。这个模型有一个F₁ICD-10-CM代码分类得分为0.625。为了提高模型的性能，我们实现了来自变压器的双向编码器表示(BERT)，并找到了一种改进的方法F₁ICD-10-CM代码分类得分为0.715 [4］.我们还发现，当编码员使用分类模型辅助时，编码时间缩短;中位数F₁得分由0.832显著提高至0.922 (P< 0.05) [4］.此外，我们构建了一个系统来提高易用性，包括数据处理、特征提取、模型构建、模型训练和web服务接口[4］.最后，在预处理过程中引入了一种基于规则的算法，并对其进行了改进F₁ICD-10-CM分级评分为0.853 [13］.

客观的

本研究旨在进一步提高ICD-10分类模型的性能，并使该模型能够在医院间使用。在这项研究中，我们研究了联邦学习对需要ICD-10分类的医学文本训练的模型性能的影响。

方法

伦理批准

远东纪念医院的机构审查委员会批准了研究方案;批准号:109086-F)，国立台湾大学附属医院;批准文号:201709015ring)，台北退伍军人总医院(VGHTPE;批准号:2022-11-005AC)，该研究遵循赫尔辛基宣言的原则。由于使用了未识别的数据，知情同意不适用。

数据收集

我们的数据来自FEMH(2018年1月至2020年12月期间记录的数据)、NTUH(2016年1月至2018年7月期间记录的数据)和VGHTPE(2018年1月至2020年12月期间记录的数据)的电子健康记录。数据中包含出院单文本和ICD-10-CM代码。各医院编码员对ICD-10编码的基础真相进行了注释。

数据描述

删除重复记录后，我们的数据集分别包含来自FEMH、NTUH和VGHTPE的100,334、239,592和283,535份出院记录。每个记录包含1到20个ICD-10-CM标签。各章的标签分布见图2。这些章节按前三位数字分类。保险报销不使用V01 - Y98章代码;因此，他们被排除在我们的数据集中。章节U00 ~ U99的ICD-10-CM标签数量最少，章节J00 ~ J99的ICD-10-CM标签数量最多。三家医院的ICD-10-CM标签计数见多媒体附录1。

数据集中的文本包含字母字符、标点符号和一些中文字符。标点符号数和前10位汉字见多媒体附录2。最常见的标点符号是句号(“。”)，最不常见的是右括号(“}”)。

‎ 查看此图

预处理

我们首先从数据集中删除了重复的医疗记录。然后我们将所有全宽字符转换为半宽字符，并将所有字母转换为小写字母。短于5个字符的记录被删除，因为这些通常是无意义的单词，如“nil”和“none”。我们还删除了无意义的字符，例如换行符、回车、水平制表符和已形成的字符(分别为“\n”、“\r”、“\t”和“\f”)。最后，将所有文本字段连接起来。

为了在预处理阶段选择更好的方法来管理标点和汉字，我们使用FEMH数据来确定模型的性能，并在数据中包含这些字符。每个实验使用2个版本的数据。在第一个版本中，我们保留了这些特定的字符，而在第二个版本中，我们删除了它们。实验P考察标点符号的作用，实验C考察汉字的作用，实验PC考察标点符号和汉字的作用。另一种保留汉字信息的方法是使用汉字的英译。因此，我们还比较了该模型在保留汉字时的性能与使用谷歌翻译获取英文翻译时的性能。

标签使用单热编码。在69,823个可用的ICD-10-CM编码中，有17,745个出现在我们的组合数据集中，导致单热编码向量长度为17,745。最后的队列分别包括来自FEMH、NTUH和VGHTPE的100,334、239,592和283,535条记录;20% (femh: 20,067/100,334;台大医院:47918/239592;随机选取VGHTPE: 56,707/283,535)的记录作为测试集，其余记录作为训练集。

分类模型

我们比较了不同BERT变体的性能，包括PubMedBERT [14， RoBERTa(鲁棒优化BERT预训练方法)[15]，临床艾伯特[16]和BioBERT(用于生物医学文本挖掘的BERT) [17］.BioBERT是用pubmed的文本进行预训练的，pubmed是健康和医学科学领域最流行的书目数据库。ClinicalBERT使用MIMIC-III(重症监护医疗信息市场III)数据集进行预训练，其词汇来自英文维基百科和BookCorpus数据集。PubMedBERT是BERT的另一个变体，它使用来自PubMed的训练数据。PubMedBERT和BioBERT的主要区别在于它们的词汇表。BioBERT的词汇来源于英文维基百科和BookCorpus数据集，而PubMedBERT的词汇来源于PubMed。词汇量的差异影响临床文本中词汇的识别能力。RoBERTa使用了原始的BERT模型，但它也使用了更长的训练时间、更大的批处理规模和更多的训练数据。训练数据来自BookCorpus、CC-News (CommonCrawl News)和OpenWebText数据集。RoBERTa还应用了动态屏蔽，这意味着被屏蔽的令牌将被多次更改，而不是在原始BERT中固定。 The vocabularies and corpora of these BERT variants are summarized in表1。

对于我们的比较，文本首先被输入BERT标记器，它将字符串转换为标记。然后，对于满足512输入长度限制的每个文本数据，令牌的数量被截断为512。线性层将模型产生的词嵌入与单热编码多标签的输出层连接起来。线性层的输出大小为17,745，与标签的单热编码向量大小相匹配。采用二元交叉熵计算模型损失。我们训练了100个epoch的模型，学习率为0.00005。这些模型被我们的ICD-10-CM多标签分类任务微调，以比较它们的性能。图3总结了模型体系结构和预处理流程。选择性能最好的模型和预处理方法进行后续的联邦学习。

‎ 查看此图

联合学习

使用联邦学习，可以在不共享数据的情况下训练模型[18］.客户端(即本地机器)在交换模型参数权重的同时，将其训练数据保持在相同的模型架构上。服务器从每个客户端接收权重并取其平均值。更新模型后，服务器将新的权重发送回客户端。然后，客户可以开始新一轮的培训。我们更新了模型参数的权重FederatedAveraging算法(18]并使用Flower进行联合学习[19］.

Flower是一个面向研究人员的开源联合学习框架[19］.Flower具有服务器-客户端结构。服务器和客户端需要单独启动，并且需要为每个客户端分配一台服务器。它们通过开源的Google远程过程调用(gRPC;Google LLC) [20.］.使用gRPC，客户机应用程序可以直接调用服务器应用程序上的方法，这可以在不同的机器上完成。服务器上有一个注册中心，用于管理与所有客户机的通信。服务器中有3个主要模块。第一个模块——连接管理模块——维护所有当前gRPC连接。在服务器端，每个gRPC对应每个客户端。gRPC建立后，会触发register函数，将客户端的信息存储在一个数组中。如果客户端发起断开连接或连接超时，将调用register函数来清除客户端。第二个模块—桥接模块—缓存信息，而不管来自客户机还是服务器的gRPC信息将存储在该模块中。然而，由于缓冲区在两个方向上都是共享的，因此有必要使用状态转换方法来确保缓冲区中的所有信息都是相同的。 There are five states—the关闭，等待客户端写入，等待客户端读取，等待服务器写入,等待服务器读取州。第三个模块—服务器处理程序—管理服务器和客户机之间的通信。

客户设在三家医院，模型在当地数据上进行训练。每个客户端的权重被转移到服务器，在服务器上对权重进行平均，并生成全局模型(图4）.我们为客户端上的每一轮训练设置5个epoch，为服务器聚合设置20个epoch。我们的研究在2个节点上进行。每个节点有一个NVIDIA RTX 2080 Ti图形处理单元(NVIDIA Corporation)，具有64 GB RAM，一个节点有2个NVIDIA TITAN RTX图形处理单元，具有64 GB RAM (NVIDIA Corporation)。

‎ 查看此图

标签的关注

为了解释我们模型的输出，我们添加了一个标签注意力架构[21］.它根据词向量和每个标签向量的内积分别计算注意力。图5展示了我们如何将标签注意力架构添加到模型中。首先，我们通过使用ICD-10-CM代码的定义来微调BERT模型以生成标签向量。其次，我们构造了一个全连接层，其中的权值用标签向量初始化。第三，BERT产生的输出通过双曲正切函数传递，从而产生词向量。我们将单词向量(Ζ)输入到完全连接层和softmax层中。softmax层的输出()受到关注。第四，我们将单词向量(H)的双曲正切函数输入到另一个完全连接的层和sigmoid层。这和我们原来的建筑很相似。输出(y)可以从单热编码标签中减去，用于损失计算。最后，注意力被用来解释模型如何预测标签。 Attention was given to the input text for corresponding ICD-10-CM codes. The performance of the model after adding the label attention architecture was compared to its performance without this architecture.

‎ 查看此图

指标

我们用了微型F₁得分用于评估性能，因为它是精确率和召回率的调和平均值，因此比仅使用精确率或召回率时产生的结果更平衡。微F₁得分计算如下:

在哪里

和

TP_总和表示真阳性的和，《外交政策》_总和假阳性、和的和FN_总和表示假阴性的总和。

结果

比较不同BERT模型的性能

的F₁PubMedBERT、RoBERTa、ClinicalBERT、BioBERT的得分分别为0.735、0.692、0.711、0.721。的F₁在所有模型中，PubMedBERT得分最高，RoBERTa得分最低(表2）.由于这些结果，我们在随后的实验中使用了PubMedBERT。

模型在保留或删除标点或汉字时的性能

表3显示每个数据集预处理情况下令牌的平均数量。删除标点和汉字时，平均标记数为52.9个。实验P(标点)、实验C(汉字)和实验PC(标点和汉字)中保留字符的平均标记数分别为65.0个、53.1个和65.1个。标点符号和汉字分别占我们数据中标记的18.3%(1,301,988/7,096,460)和0.1%(7948/7,096,460)。

表4显示了F₁每个数据集预处理案例的得分。去掉标点和汉字后，模型的基线性能为0.7875。在实验P中F₁保留标点符号得分为0.8049，增加0.0174分(2.21%)。在实验C中F₁汉字保留得分为0.7984，增加0.0109分(1.38%)。在PC实验中F₁标点和汉字保留得分为0.8120，增加0.0245(3.11%)。在所有的实验中，保留这些字符比删除它们效果更好，其中实验PC的性能改善最大。

模型在翻译前后的表现

在我们把中文翻译成英文的实验中F₁保留汉字的得分为0.7984，翻译成英文的得分为0.7983。

联合学习

表5显示了在三家医院训练的模型的性能。在FEMH、NTUH和VGHTPE中训练的模型得到了验证F₁得分分别为0.7802、0.7718、0.6151。FEMH模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.7412、0.5116和0.1596。NTUH模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.5583、0.7710和0.1592。VGHTPE模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.1081、0.1058和0.5692。加权平均测试F₁FEMH、NTUH和VGHTPE模型的得分分别为0.4472、0.5353和0.2522。

表6展示了联合学习模型在三家医院的性能。联邦学习模型得到了验证F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.7464、0.6511和0.5979。联邦学习模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.7103、0.6135和0.5536。加权平均测试F₁联邦学习模型的得分为0.6142。

标签的关注

的F₁加标签注意机制和不加标签注意机制的模型得分为0.804(精度=0.849;召回率=0.763)和0.813(精密度=0.852;分别召回= 0.777)。

图6显示了对ICD-10-CM代码及其相关输入文本的关注的可视化。根据不同标签的注意力得分，这些单词被涂成蓝色。蓝色的强度代表了注意力得分的大小。我们以ICD-10-CM代码E78.5(“高脂血症，未指明”)和I25.10(“原生冠状动脉粥样硬化性心脏病，无心绞痛”)为例。

‎ 查看此图

讨论

主要研究结果

在对外部数据进行测试时，联邦学习模型的性能优于每个本地模型。加权平均数F₁联邦学习模型、FEMH模型、NTUH模型和VGHTPE模型的测试集得分分别为0.6142、0.4472、0.5353和0.2522 (表5和表6）.在外部数据上进行测试时，模型的性能有所下降。因为不同的医院有不同的医生、编码员和疾病，所以不同医院的临床记录风格可能不同。克服医院之间的这种差距是一项挑战。尽管在本地数据上进行测试时，联邦学习模型的性能不如在本地数据上训练的模型，但在外部数据上进行测试时，其性能高于在本地数据上训练的模型。此外，在VGHTPE数据集中，标签分布与其他两家医院数据集中的标签分布有很大不同(图2）.因此，VGHTPE模型只能实现F₁NTUH和FEMH测试集的得分分别为0.1058和0.1081。FEMH和NTUH模型F₁，分别为0.1596和0.1592表5）.

联邦学习提高了模型在外部数据上的性能。联邦学习可用于构建跨医院使用的ICD编码系统。然而，联邦学习所需的训练时间比局部深度学习所需的训练时间要长。联邦学习大约需要1周，本地培训大约需要2天。这有两个原因。首先，如果模型很大，服务器和客户机之间的通信将花费更长的时间。我们模型的大小约为859 MB。其次，不同的客户端可能具有不同的计算能力，较慢的客户端成为瓶颈[22，23］.其他客户机可能会等待较慢的客户机完成其工作。

PubMedBERT的性能优于BioBERT、ClinicalBERT和RoBERTa。表2结果表明，BERT模型的词汇量是影响模型性能的重要因素。PubMedBERT的词汇表主要包含医学术语，而其他三个模型的词汇表包含常用词。这种差异会影响临床文本中单词的识别能力。大多数已发表的BERT模型使用的词汇量为30,522个单词[24］.但是，这些词汇表数据不包含一些来自特殊字段的单词。例如，医学术语“淋巴瘤”出现在PubMedBERT的词汇表中，但没有出现在BioBERT、ClinicalBERT和RoBERTa的词汇表中。术语“淋巴瘤”可以通过PubMedBERT标记器转换为标记“淋巴瘤”，但该术语将被BioBERT、ClinicalBERT和RoBERTa分成3个标记——“l”、“## ymh”和“##oma”。

在大多数情况下，非字母数字字符被删除，因为它们被认为对模型无用[25］.与具有注意机制的模型相比，早期的NLP模型不能注意标点符号。额外的字符会使模型无法很好地关注关键字。英语文本和其他语言文本(如阿拉伯语)中的标点符号已被用于NLP [26］.Ek等[27]比较了两组日常会话文本的数据集，其中一组保留了标点符号，另一组没有。他们的结果显示，保留标点符号的数据集表现更好。

在实验P、C和PC中，当保留额外的字符时，所有模型的表现都更好(表4）.实验P证明PubMedBERT可以使用嵌入式标点符号。由于标点符号用于分隔不同的句子，删除它们将所有句子连接起来，从而使模型更难理解文本内容。我们的改善F₁保留标点符号的得分与Ek等人之前的研究结果相似[27］.我们的研究结果表明，保留标点符号可以提高临床领域文本的文本分类模型的性能。实验C证明PubMedBERT可以使用嵌入式汉字。虽然PubMedBERT主要是用英文文本进行预训练的，但它的词汇表中包含了许多中文字符。来自汉字的标记可能有助于ICD-10临床文本的分类任务，因为它们提供了诸如地名、创伤机制和当地习俗等信息。PC实验结果表明，保留标点和保留汉字的好处是叠加的。在翻译实验中F₁分数并没有太大的差别。这表明该模型可以从中英文临床文本中提取信息。BERT注意机制的使用提高了我们的模型对关键词的注意能力。标点符号和汉字为这些模型提供了有用的信息。因此，这种预处理策略——保留更多有意义的标记——为ICD-10分类任务模型提供了更多信息。

在我们之前的研究中，我们引入了一种注意机制来可视化对ICD-10定义输入文本的注意[4］.通过这种方法，我们训练了一个模型来预测ICD-10代码，并训练了另一个模型来提取注意力数据。这种方法可能会导致预测和注意之间的不一致。在这项研究中，我们引入了标签注意力架构来可视化对ICD-10代码输入文本的关注[21］.这种方法更好地说明了对用于预测ICD代码的输入词的关注，因为它与预测模型使用的方法是一致的。

的F₁加入标签注意机制后，模型得分下降0.009。虽然F₁分数下降，我们得到了可解释的预测。对于ICD-10-CM代码E78.5(“高脂血症，未指定”)和I25.10(“原生冠状动脉粥样硬化性心脏病，无心绞痛”)，我们的模型成功地将相关词汇“高脂血症”和“冠状动脉”(图6）.我们的可视化方法(即高亮显示输入单词)允许用户了解我们的模型如何从文本中识别ICD-10-CM代码。

限制

我们的研究有一些局限性。首先，我们的数据来自台湾三所三级医院。我们的研究结果对其他地区医院的外推性值得进一步研究。第二，虽然我们的研究结果表明，当保留标点和汉字时，模型性能更好，但这种效果可能仅限于特定的注释类型。这一发现应该在分类其他类型的临床文本的背景下进一步检查。第三，我们最后一个实验中翻译的文本可能不如母语人士翻译的准确。然而，手工翻译大量数据是很困难的。因此，我们只能通过使用谷歌翻译自动翻译文本。

应该注意的是，每个出院记录都有主要和次要诊断代码。虽然选择主要代码会使报销有所不同，但本研究提出的模型并未识别主要代码。为了使我们的模型能够识别主代码，我们在之前的工作中提出了一个序列到序列的模型[4］.它转换按字母顺序连接的原始预测标签，使它们按诊断代码排序。这种结构可以添加到本研究提出的模型中。基于主次诊断码的预测可以进一步提高系统的可用性。

结论

在保护数据隐私的同时，采用联邦学习对多中心临床文本进行ICD-10分类模型的训练。该模型的性能优于局部训练模型。我们通过标签注意架构突出显示输入单词，展示了可解释的预测。我们还发现PubMedBERT模型可以使用标点符号和非英语字符的含义。这一发现表明，改变ICD-10多标签分类的预处理方法可以提高模型性能。