使用图卷积网络将领域知识纳入语言模型以评估语义文本相似性:模型开发和性能比较

介绍

电子健康记录(EHRs)通过自动插入常用的文档短语和使用复制和粘贴命令(将一天的笔记内容复制到第二天的笔记内容)，提高了临床文档的效率，但与此同时，这些工具导致笔记变得越来越臃肿，有时是过时的、不相关的，甚至是错误的信息[1]。为了减少臃肿的临床文档，一种有趣的方法是识别高度相似的文本片段，以删除此类文本。Wang等[2，3.]创建了MedSTS数据集——评估语义文本相似性(STS)的自然语言理解基准任务的临床模拟——作为这一研究领域的资源。在本文中，我们展示了该模型以及随后的改进，该模型用于2019年8月的国家NLP临床挑战(n2c2)/开放健康自然语言处理(OHNLP)联盟语义相似性共享任务挑战[2]，其中包含MedSTS数据集。

在更广泛的自然语言处理(NLP)领域，STS评估是一项计算自然语言文本之间语义和内容相似性的任务[3.]，在2018年底发布时，变形器(BERT)语言模型的双向编码器表示在常用的通用英语STS基准(STS- b)数据集上具有最佳的已发布性能[4]。对于MedSTS数据集，研究表明，对生物医学领域进行微调的BERT模型也优于大多数先前最先进的模型[5]。2018年MedSTS挑战赛的第一次迭代(即在BERT发布之前)看到了4份提交，涉及传统机器学习模型(如随机森林)和最新深度学习架构(如循环神经网络和卷积神经网络)的混合使用。2019年MedSTS挑战赛收到了30多份参赛作品，其中大多数作品在某种程度上使用了BERT。提交数量的增加，以及提交的平均性能的提高，在很大程度上可以归因于语言模型开发的最新进展，其中BERT是一个流行的例子。

尽管取得了这些进步，但研究人员注意到，尽管语言模型展示了一小部分常识性推理和基本知识，但就生成事实正确的文本或甚至从训练数据中回忆明确事实的能力而言，这些模型非常有限[6]。缓解语言模型这些缺点的尝试通常涉及使用图表示学习技术[7-9]，它提供了一种以图形形式处理知识的自然方式。

图表示学习的最新进展产生了两类有前途的方法，它们可以与NLP模型结合使用，以整合知识(领域知识或常识知识)-图卷积网络(GCNs) [10]和知识图嵌入(KGEs) [11]。

GCNs将卷积概念从图像推广到图结构数据，从而使深度学习技术在图上的应用成为可能。KGE方法用于将知识图中的实体(节点)和关系(边)编码为密集的向量表示，很像词嵌入。kge提供了一种获取概念嵌入的方法，而GCNs提供了一种在基于图的学习环境中使用该信息的自然方法。例如，GCNs可以用预训练的kge初始化节点特征。

在本研究中，我们利用自然语言处理和图表示学习方面的最新进展，开发了一种更加知识感知的方法来评估MedSTS基准数据集。我们进一步研究了其他技术的优势，如数据增强、多源集成和知识蒸馏，它们为2019年n2c2/OHNLP联盟语义相似性共享任务挑战带来了具有竞争力的性能值。

方法

数据集

MedSTS是从梅奥诊所的临床电子病历中收集的句子对数据集。未识别的句子是根据它们出现的频率来选择的，并假设频繁出现的句子往往包含较少受保护的健康信息。句子配对的安排至少使它们在表面上有某种程度的相似性。这是基于表面词汇相似性度量的组合。从广义上讲，句子通常分为以下四类:体征和症状、紊乱、程序和药物。有关详情载于MedSTS的原始文件[3.]。对于2019年n2c2/OHNLP竞赛和本研究，研究了一个注释句对子集;在该子集的2054个句子对中，1652个(80.4%)被纳入训练集，412个(20.1%)被纳入测试集[2]。该子集由2名医学专家独立地对语义相似性进行评分。给注释者提供了一个6分(范围:0-5)的评分标准;0表示完全不相似，1表示两个句子在主题上相关但在其他方面不等同，5表示完全相似。两个注释者之间的一致性加权Cohen κ分数为0.67。两项评分的平均值作为评估化粪池系统的金标准[3.]。

概念图构建

对于MedSTS数据集中的每个句子，我们构建了一个相应的概念图来表示数据集的领域知识方面。概念图由使用特定于领域的标记器标记的概念组成MetaMap［12]，并被映射为特定的医学术语。其想法是，这样的图将以映射概念及其连接的形式提供包含显式领域知识的数据的额外表示。

统一医学语言系统(UMLS) [13]是生物医学和卫生保健研究的重要资源，它将许多卫生和生物医学词汇和术语整合在一个统一的、可互操作的系统下。MetaMap [12是一个广泛使用的NLP工具，它将生物医学和临床文本中的概念映射到UMLS元词典。我们在MedSTS数据集上应用MetaMap，提取属于UMLS医学临床术语系统化命名法(SNOMED CT)术语的生物医学和临床实体。因此，对于每个句子，我们获得了相应的提取概念列表、它们的概念唯一标识符和语义类型信息。

然后，我们使用概念(MRCONSO)从原始UMLS文件构建了SNOMED CT术语图。RRF文件)作为节点，并通过使用关系(MRREL。RRF文件)作为边。为简单起见，我们只考虑概念之间的连通性信息，并将语义信息留在关系类型中以供将来的工作使用。一旦我们有了一个完整的SNOMED CT图，我们通过从句子中提取的概念之间的最短路径，为MedSTS中的每个句子诱导子图。更具体地说，这是通过Networkx中的Dijkstra算法使用最短路径方法完成的[14)图书馆。虽然有许多可能的方法来构建这样的句子图，但我们决定使用简单的启发式最短路径方法来获得代表每个句子的连接图。这些概念图的例子，连同它们的原始句子，见(图1）.

‎ 查看此图

数据增加

考虑到数据集的大小很小，我们决定通过包含来自MetaMap输出文件的附加领域知识来增强它。值得注意的是，我们选择使用了2条信息——源术语中映射概念的首选名称和UMLS语义网络中概念的语义类型。映射概念的首选名称通常可以与该概念在文本中的显示方式相同，但是首选名称有时以同义词或缩写展开的形式提供潜在的有价值的信息。例如，在文本片段中，“患者在稳定的情况下被送往pacu，”这个术语pacu映射到UMLS的概念术后麻醉护理病房(PACU)，从而提供了缩写术语的完整描述。映射概念的首选名称字符串被简单地附加到数据集中的原始句子中。同样，映射概念的语义类型(例如，医疗保健相关组织就这个学期而言pacu)被附加在原句之后。我们使用的另一种方法是通过简单地向模型提供数据集的副本，其中包含以相反顺序格式化的句子(例如，“sentence2:sentence1”)，从而使数据集的大小增加一倍。这比简单地将训练次数增加一倍所获得的结果稍微好一些，这表明向模型提供数据集的反向副本可能会给它更明确的提示，即任务与句子的顺序无关。虽然我们使用的数据增强技术很简单，性能也得到了适度的改善，但最近的一篇论文[15提供了更多有趣的数据增强方法。在论文中[15]，作者使用反向翻译并执行片段重新排序来增强MedSTS数据集。

BERT模型

BERT模型是一种广泛使用的NLP模型，它是最近出现的使用转换器的语言模型的一部分[16作为积木。BERT模型堆叠了多层基于转换器的模块，这些模块主要使用多头自关注机制将文本编码为密集嵌入。该模型通过使用掩模语言建模目标和下一个句子预测目标进行训练，并且在HuggingFace Transformers库中可以很容易地获得BERT(以及其他类似模型)的预训练模型[17]。在BERT模型在一般NLP领域占据主导地位后不久，适用于生物医学和临床领域的几种BERT模型变体也出现了[5，18，19]。这些BERT模型的领域适应版本是在重症监护医疗信息市场版本3的一些组合上进行训练的[20.]， PubMed [21]和PubMed Central [22]数据库，并且这些版本在一些临床NLP任务中表现优于原始BERT模型，这表明它们更适合处理像MedSTS这样的临床文本数据集。

GCN方法

Kipf等[10[]为GCNs提供了一种高效的实现方法，并展示了GCNs在图分类、节点分类和链路预测等多个基准图数据集分析中的有效性，为图神经网络的普及做出了贡献。GCNs的变体很快成功地应用于各种领域和问题，包括物理系统中相互作用的建模[23]，药物-药物相互作用[24]和文本分类[25]。GCNs已经成为处理图结构数据的一种流行的深度学习模型，我们使用GCNs对概念图进行编码。

KGE方法

kge是一种相对较新的方法，用于学习多关系、异构知识图中实体和关系的密集向量表示。本质上，KGE模型通过使用预定义的评分函数将实体和关系映射到嵌入空间。由于其日益普及和实现方法的可用性，kge最近被应用于各个领域，包括生物医学知识图谱[26]。Chang等[26]表明，使用kge从医学术语和知识图中学习概念嵌入，可以说是一种更有原则、更有效的方法，而不是使用以前基于跳过克的模型(如Cui2Vec)的方法[27]或基于网络嵌入的模型，如Snomed2Vec [28]。虽然我们最初在提交时使用了Cui2Vec作为我们的实体向量，但在最近几个月它们可用后，我们后来使用了SNOMED CT kge。

用KGEs增强BERT用于MedSTS

我们将GCNs和kge的组成部分合并为一个单一的模型，方法如下:我们使用基于bert的模型作为MedSTS中句子对的文本编码器，使用基于gcn的模型作为与句子对对应的概念图的图编码器，使用预训练的SNOMED CT kge初始化图中的节点嵌入，将文本和图编码器的输出连接起来，并将最终的连接向量传递给完全连接层以获得语义相似度得分。通过比较随机初始化和Cui2Vec嵌入初始化，我们还测试了使用SNOMED CT kge的好处。管道的可视化显示在图2．

‎ 查看此图

集成与知识蒸馏

在训练完我们的模型后，我们采取了一个集成来进一步提高模型的性能。根据Xu等人[29]，我们使用以下BERT变体进行多源集成:BERT_base [4]， SciBERT [30.]，临床艾伯特[18]、多任务深度神经网络(mt - dnn) [31]和BlueBERT [32]。之后，我们进行了知识提炼——一种有效的模型压缩方法，其中一个较小的模型被训练来模仿一个较大的模型(即集成)。我们使用多源集成模型的预测作为教师有界回归损失函数中的软标签，根据Chen等人的研究[33]，以训练更多的个体模型，并获得知识提炼模型的最终集合。

结果

我们将提供的MedSTS训练集分成1313个训练样例和329个验证样例，并报告了412个样例的hold out测试集的Pearson相关系数。皮尔逊相关系数是选择的指标的竞争。我们使用HuggingFace Transformers库实现与语言模型相关的功能，并使用PyTorch Geometric [34]来实现GCNs。使用了许多默认的训练和微调超参数，而在验证集上调整了以下超参数:学习率为1e⁻⁴基于bert的模型(从5e中选择)⁻⁵1 e⁻⁴，和5e⁻⁴)，学习率为1e⁻³为GCNs(从1e中选择)⁻²1 e⁻³，和1e⁻⁴)和4个时代(从3、4和5个时代中选择)。

表1显示管道中不同组件的贡献。简单地使用现成的BERT_base模型并在MedSTS上对其进行微调，与2018年提交的模型相比，产生了更高的性能值。使用ClinicalBERT和使用我们之前描述的数据增强技术都获得了适度的收益。

除了我们的其他修改之外，添加一个图编码器来合并概念图，当节点嵌入随机初始化或使用预训练的Cui2Vec嵌入初始化时，结果略有改善。然而，使用SNOMED CT kge作为GCN中的节点特征导致性能提高，即比ClinicalBERT的性能提高1.3%(即数据增强后)，这表明SNOMED CT kge可以更好地开始表示概念。值得注意的是，由于基于bert的文本编码器是用预训练的检查点初始化的，因此用适当的预训练嵌入初始化图形编码器以允许图形编码器“赶上”文本编码器可能特别重要。我们称之为最佳表演环境ClinicalBERT_all．

我们还手动将句子对分为以下四类:与患者状况和状态(status)、教育或与患者互动(education)、药物(meds)和杂项或明显不同的主题(miscellaneous)相关的句子。中的列表1(以下Pearson相关分析)显示测试集(全部)和所描述的四个类别的分数。正如预期的那样，地位和教育类别中的句子对得分相对较高，因为这些类别中的许多句子和文本片段经常重复。具体来说，以“病人来了……”“讨论了风险……”，” or “identified illness as a learning need...” recurred noticeably in these two categories. Further, the medication and miscellaneous categories received relatively low correlation scores. For the miscellaneous category, this was expected, since many of the sentence pairs in this category were more difficult for the model to learn due to their greater variability. For the medication category, the gold-standard scores assigned by the annotators proved to be rather inconsistent and challenging to predict, even upon manual review by a medical expert.

表2给出了集成和知识蒸馏的结果。首先，我们采用了10个ClinicalBERT_all模型的集合，这些模型具有稍微不同的超参数，并且看到了性能的适度提高，正如预期的集合。第二，按照徐等人的说法[29]，我们采用了由各种模型类型(BERT_base, SciBERT, ClinicalBERT, mt - dnn和BlueBERT)组成的10个模型的集合，以及图形编码器，基于它们的验证性能并看到了轻微的改进。最后，利用教师有界回归损失函数[33]，我们使用多源集成模型的输出作为软标签来训练更多不同类型的最佳设置模型，并采用由10个这样的知识提炼模型组成的集成来获得轻微的性能增益。

讨论

主要发现

我们为临床MedSTS基准测试任务实施了一系列技术，并报告每种技术的性能都有轻微到中度的改善。使用预训练的、现成的、基于bert的模型并对其进行微调，作为一个强大的基线，在任务中优于所有预bert系统。我们发现我们的数据增强技术略有帮助，但是Wang等人[15]为MedSTS提供了更有趣和有效的数据增强方法。

添加图形编码器将概念图合并到管道中产生了可观的收益，特别是当图形编码器通过使用预训练的SNOMED CT kge进行初始化时。我们强调，由于图编码器是与预训练的文本编码器联合训练的，因此考虑为图编码器提供预训练的嵌入也是很重要的，这样它就不会在训练中落后太多。

正如预期的那样，合奏可以提高性能。进一步的改进可以通过使用来自不同来源的语言模型以及执行知识蒸馏来实现，知识蒸馏之后可以对蒸馏出来的模型进行集成。

我们还尝试使用其他几种没有产生任何性能提升的技术。首先，我们通过使用不同的一般和临床领域NLP数据集(包括医学自然语言推理)尝试多任务学习[35]，认识问题蕴涵[36]及英文STS-B [37在mt - dnn的多任务学习实现之后，这种方法没有产生任何改进，并且大大增加了训练时间。其次，我们尝试为不同的句子类别(药物、状态、教育和其他)手动注释MedSTS数据。这是作为辅助分类任务完成的(也是多任务学习的一个例子)，但这并没有带来明显的性能提升。最后，我们尝试了GCNs的不同变体，但我们发现，在超参数调优方面，与大型语言模型联合训练多种类型的图神经网络是困难的，因此决定将我们的分析限制在基本GCNs上。

方法的局限性

尽管结果表明，通过概念嵌入和GCNs进行数据增强和领域知识整合的策略确实带来了一些好处，但我们在本节中解决了一些局限性。

我们使用的数据增强技术包括来自MetaMap输出的额外文本和语义信息，以及颠倒句子顺序以使数据集大小增加一倍。在一般的NLP领域中，还有许多其他可能有用的潜在数据增强技术。值得注意的是，Wang等[15最近进行了段重新排序和反向翻译，以大大提高他们的模型在任务上的性能。

对于预训练的概念嵌入和GCNs，将它们与大型预训练的语言模型相结合在很大程度上仍然是实验性的。这可以通过使用图表示学习领域的最新发展来改进，例如图注意网络[38]和图匹配网络[39]。

数据集的局限性

由于实现每个组件的潜在方法丰富，以及数据集的大小和质量，因此应该谨慎考虑正面和负面的发现，与主流非临床NLP领域的数据集相比，相对较小且质量较低，非临床NLP领域对标记数据的访问不那么复杂。

在与数据集密切合作了几个月之后，我们注意到某些句子对在数据集的两个注释者的分数方面存在很大的不规则性。这在讨论药物的句子对中最为明显;通常，这些句子对描述了给病人开的药物处方，在剂量或药物类别方面有所不同。在一个分类水平上，与处方相关的句子对的相似性可以被视为很高，无论药物类别或剂量如何。在另一个分类水平上，当药物或给药方案不同时，似乎有几个这样的对被注意到具有低相似性。这种得分上的差异似乎也取决于所提到的药物类别。在不知道哪个注释者负责给定分数的情况下，很难得出结论性的结论，但我们推测某些药物类别对每个注释者都更显着。举个例子，一个心理健康专业的人可能主观上认为两种不同类别的精神科药物非常不同，但主观上认为心脏病学药物更相似。相比之下，心脏病学领域的个体可能会认为各种心脏病学药物是不同的，但可能会认为精神科药物类别中的药物总体上更相似。这种观点上的差异也可能受到注释者实践方面的影响，例如他们的实践是发生在住院环境、门诊环境、手术室还是医疗诊所。

许多评分不规范可能与评定主观相似性的任务性质有关。减轻注释者偏见的一种方法，如MedSTS原始论文中所讨论的[3.]，就是增加注释者的数量，并以平均分为金标准。例如，在英语STS-B中，每个句子使用5个注释者，并且注释者被限制在一定数量的句子对中进行注释[37]。尽管由于需要雇用足够的医学注释员，这种方法可能非常昂贵，并且由于患者隐私保护，对于临床文本实现起来非常麻烦，但对于注释员很少的情况，另一种方法可能是揭示对注释的潜在偏见因素，例如临床背景，或者为每个分数分配注释员ID。说明偏差或允许团队对注释器偏差进行建模可能有助于理解评分的不规则性，如果不使用专门定制的算法设计或功能，则很难解决这些不规则性，这需要特定的领域知识来适应独特的注释器偏差。

尽管我们对客观评价主观语义相似性的基本困难感到担忧，但我们的模型实现的高Pearson相关系数表明，该任务在很大程度上仍然是可处理的。MedSTS仍然是为数不多的，如果不是唯一的，公开的数据集，用于研究临床STS在电子病历。我们希望我们的建议可以引入额外的策略来对主观因素的差异进行建模，并为这个重要但具有挑战性的问题的未来数据集注释过程提供一些见解。

结论

作为2019年n2c2/OHNLP共享任务挑战的参与者，我们通过结合基于bert的文本编码器和基于gcn的图形编码器，为临床MedSTS基准任务开发了一个系统，以便将领域知识整合到NLP管道中。我们还尝试了其他技术，包括数据增强、预训练的概念嵌入、集成和知识蒸馏，以进一步提高模型的性能。尽管我们的结果落后于n2c2研讨会上得分最高的模型，但通过基于图的方法将领域知识纳入深度学习NLP模型是临床NLP的一个新进展。我们强调了我们对数据集注释中主观语义相似性的特定困难的影响的关注，但总的来说，我们相信临床语义相似性仍然是一个重要的研究主题，并且继续对MedSTS基准(为数不多的临床STS数据集之一)的研究将在处理电子病历中有价值的非结构化数据方面取得进展。MedSTS数据集应该通过对原始句子对池的进一步仔细注释来继续改进和扩大，未来的工作应该探索能够有效利用语言和领域知识的新方法。