嵌套生物医学事件的条件概率联合抽取:基于神经网络的统一抽取框架设计gydF4y2Ba

介绍gydF4y2Ba

背景gydF4y2Ba

近年来，事件提取研究受到了广泛关注，特别是生物医学事件提取，它对于理解科学语料库中描述的生物分子相互作用至关重要。事件是信息抽取领域中的重要概念。然而，基于不同的研究目的和研究视角，研究者对事件的定义不尽相同。在一般领域中，事件是描述涉及不同参与者的状态变化的特定事物，例如自动内容提取的评估，其中在层次结构中定义了事件的8个类别和33个子类别，每种类型的事件包含不同的语义角色。在生物医学领域，McDonald等[gydF4y2Ba1gydF4y2Ba]将事件提取定义为多关系提取，其目的是提取事件中不同实体之间的语义角色信息。例如，生物医学自然语言处理(BioNLP)评估任务定义了9种不同类别的生化事件。每个事件包括一个事件触发器和至少一个事件参数，不同的事件类型具有不同的语义角色。与自动内容提取中的事件不同，生物医学事件可能有嵌套的事件现象。gydF4y2Ba

为了清晰地描述生物医学事件提取的进展，我们定义了生物医学事件的4个概念，如下所示gydF4y2Ba图1gydF4y2Ba和gydF4y2Ba文本框1gydF4y2Ba．gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

事件提取任务包括3个子任务:命名实体识别、触发器识别和事件参数检测。以前的研究依赖于管道方法[gydF4y2Ba2gydF4y2Ba-gydF4y2Ba5gydF4y2Ba提取生物医学事件。例如，给定事件描述(一个句子)，如gydF4y2Ba图1gydF4y2Ba，事件提取系统在命名实体识别步骤中可以找到该句子中的2个实体(“TNF-alpha”和“IL-8”)。在识别触发器后，它可以识别一个gydF4y2Ba积极的监管gydF4y2Ba(" Pos_Reg ")由单词触发的事件提及gydF4y2Ba激活剂gydF4y2Ba和一个gydF4y2Ba表达式gydF4y2Ba(“Exp”)由单词触发的事件提及gydF4y2Ba表达式gydF4y2Ba．在识别的实体和触发器的基础上，系统检测参数并将它们与相关的事件触发器关联起来。因此，实体“TNF-alpha”是一个参与者gydF4y2Ba积极的监管gydF4y2Ba事件，实体“IL-8”是该事件的参与者gydF4y2Ba表达式gydF4y2Ba事件。由于前一步的结果是后续步骤的输入，如果前一步的精度有偏差，管道方法可能会引入级联误差。gydF4y2Ba

由于句法依赖树丰富了特征表示，以往的研究倾向于利用句法关系来提高事件提取的性能。例如，Kilicoglu等[gydF4y2Ba2gydF4y2Ba]利用外部工具来分割句子、注释词性(POS)和分析句法依赖性。然后，他们将这些特征结合起来，使用字典和规则提取生物医学事件。Björne等[gydF4y2Ba4gydF4y2Ba]将句法关系转化为路径嵌入，然后与词嵌入、POS嵌入、实体嵌入、距离嵌入和相对位置嵌入结合，输入卷积神经网络(CNN)模型，提取生物医学事件。但是，以往的研究只采用句法关系作为外部特征，忽略了从句法依赖树中获得的触发器与相关实体之间的相互关系，提高了提取简单事件而非嵌套事件的性能。gydF4y2Ba

在本研究中，我们主要使用多层事件提取(MLEE)语料库[gydF4y2Ba6gydF4y2Ba]和BioNLP共享任务(BioNLP- st) 2011 Genia事件(GE)语料库[gydF4y2Ba7gydF4y2Ba来评估我们的方法。对于MLEE将事件提取方法扩展到生物医学信息领域，覆盖从分子到整个生物体的生物组织的各个层面，有一定的解释。MLEE标签方案与BioNLP事件系统相同，但具有更丰富的事件类型:4大类(解剖类、分子类、一般类和计划类)和19个子类。具体信息见gydF4y2Ba表1gydF4y2Ba．gydF4y2Ba

为了减少级联错误的影响，我们提出了一种端到端的条件概率联合提取(CPJE)方法，该方法可以有效地将触发器分布信息传递给事件参数检测任务。为了捕获触发器和相关实体之间的相互关系，提高生物医学事件嵌套提取的性能，我们将句法依赖树集成到一个基于注意力的门图卷积网络(GCN)中，该网络可以捕获关键信息的流向。本研究的贡献如下:gydF4y2Ba

1. 我们提出了一个端到端的CPJE框架，CPJE，它有效地利用触发器分布信息来提高事件参数检测的性能，并削弱整个事件提取过程中的级联错误。gydF4y2Ba
2. 我们使用句法依赖树来捕获触发器和相关实体之间的相互关系，并将该树集成到基于注意力的门GCN中以提取嵌套的生物医学事件。gydF4y2Ba
3. 我们在MLEE和BioNLP-ST 2011 GE语料库上获得了最先进的性能，用于提取嵌套的生物医学事件。gydF4y2Ba

我们总结了事件提取任务的当前框架gydF4y2Ba相关的工作gydF4y2Ba部分。中介绍了我们的框架gydF4y2Ba方法gydF4y2Ba部分。中显示整体性能gydF4y2Ba结果gydF4y2Ba部分。我们介绍消融研究，可视化和案例研究gydF4y2Ba讨论gydF4y2Ba部分。本文对本文的工作进行了总结，并对今后的研究方向进行了讨论gydF4y2Ba结论gydF4y2Ba部分。gydF4y2Ba

相关的工作gydF4y2Ba

生物医学事件提取问题类似于一般领域事件提取和实体关系提取;因此，我们有许多理论基础和实验方法可供借鉴。gydF4y2Ba

实体关系提取gydF4y2Ba

生物医学事件可以看作是复杂的关系提取任务，关系提取方法在各个领域都取得了优异的效果。因此，我们研究了一些关系提取方法，以帮助构思事件提取模型的构建。随着深度学习的发展，越来越多的研究人员使用深度学习算法来实现实体关系的联合提取[gydF4y2Ba8gydF4y2Ba]。为了解决标记样本数量稀疏的问题，将远程监督方法应用于关系提取任务[gydF4y2Ba9gydF4y2Ba]。深度强化学习(RL)算法也被应用于关系提取任务，以解决有噪声的数据样本[gydF4y2Ba10gydF4y2Ba]。此外，随着图神经网络(gnn)的广泛应用，gnn已被用于某些关系提取任务[gydF4y2Ba11gydF4y2Ba，gydF4y2Ba12gydF4y2Ba]。gydF4y2Ba

通用领域事件提取gydF4y2Ba

总的来说，新闻事件提取是一个研究热点。一些方法通过研究特征工程提高了事件提取的性能。句子级特征提取包括触发器和事件参数的组合特征[gydF4y2Ba13gydF4y2Ba]或触发器和实体关系的组合特征[gydF4y2Ba14gydF4y2Ba]。文档级特征提取包括从多个文档中提取公共信息事件[gydF4y2Ba15gydF4y2Ba]和基于潜变量半马尔可夫条件随机场的联合事件参数提取[gydF4y2Ba16gydF4y2Ba]。其他人也使用深度学习来减少特征工程，这提高了模型的泛化能力和提取性能;例如，使用循环神经网络学习上下文依赖信息[gydF4y2Ba17gydF4y2Ba]，用非连续cnn检测事件[gydF4y2Ba18gydF4y2Ba]，利用GCNs获取句法结构信息[gydF4y2Ba19gydF4y2Ba]。这些方法为生物医学事件的提取奠定了较好的基础。gydF4y2Ba

生物医学事件提取gydF4y2Ba

提取生物医学事件是BioNLP-STs中的一项[gydF4y2Ba7gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba，gydF4y2Ba21gydF4y2Ba]。以往的研究主要是基于支持向量机模型探索人类工程特征[gydF4y2Ba22gydF4y2Ba-gydF4y2Ba25gydF4y2Ba]。由于管道方法中的误差传递，Riedel等[gydF4y2Ba26gydF4y2Ba]开发了具有双重分解的联合模型，Venugopal等[gydF4y2Ba27gydF4y2Ba利用马尔可夫逻辑网络进行联合推理。最近，大多数研究都观察到神经模型的显著益处。例如，一些人已经开始使用不同的神经模型添加POS标签和句法分析[gydF4y2Ba28gydF4y2Ba]，利用半监督框架改进了生物医学事件提取模型[gydF4y2Ba29gydF4y2Ba]，试图利用注意机制获取生物医学文本的语义关系[gydF4y2Ba5gydF4y2Ba]，并使用分布式表示获得上下文嵌入[gydF4y2Ba3.gydF4y2Ba，gydF4y2Ba4gydF4y2Ba，gydF4y2Ba30.gydF4y2Ba，gydF4y2Ba31gydF4y2Ba]。为了从生物医学知识库(KB)中吸收更多信息，Zhao等[gydF4y2Ba32gydF4y2Ba]利用RL框架从外部生物医学知识库中提取生物医学事件。Li等[gydF4y2Ba33gydF4y2Ba将基因本体融合成具有分布表征的树状长短期记忆模型。Huang等[gydF4y2Ba34gydF4y2Ba]使用GNN分层模拟来自统一医学语言系统的两个基于知识的视图，具有概念和语义推理路径。Trieu等[gydF4y2Ba35gydF4y2Ba]使用多个重叠的、有向的、无环的图结构，共同提取生物医学实体、触发器、角色和事件。Zhao等[gydF4y2Ba36gydF4y2Ba]将基于依赖的GCN与超图相结合，共同提取生物医学事件。Ramponi等[gydF4y2Ba37gydF4y2Ba提出了一种联合端到端框架，该框架将生物医学事件提取视为具有多标签感知编码策略的序列标记。gydF4y2Ba

与这些方法相比，我们的方法联合提取具有概率分布的生物医学事件，减轻了流水线方法带来的级联误差。此外，考虑到触发器和相关实体之间的潜在相互关系，我们的方法将句法结构集成到基于注意力的门GCN中，以捕获关键信息的流向，从而大大提高了嵌套生物医学事件的提取性能。值得一提的是，我们的方法不需要任何外部资源来协助生物医学事件提取任务。gydF4y2Ba

方法gydF4y2Ba

概述gydF4y2Ba

本节说明建议的CPJE模型。让gydF4y2BaWgydF4y2Ba= {gydF4y2BawgydF4y2Ba_1gydF4y2Ba，gydF4y2BawgydF4y2Ba_2gydF4y2Ba、……gydF4y2BawgydF4y2Ba_ngydF4y2Ba是一个有长度的句子gydF4y2BangydF4y2Ba,在那里gydF4y2BawgydF4y2Ba_我gydF4y2Ba是gydF4y2Ba我gydF4y2Ba句子中的单词。同样的,gydF4y2BaEgydF4y2Ba= {gydF4y2BaegydF4y2Ba_1gydF4y2Ba，gydF4y2BaegydF4y2Ba_2gydF4y2Ba、……gydF4y2BaegydF4y2Ba_kgydF4y2Ba}是句子中提到的一组实体，其中gydF4y2BakgydF4y2Ba是实体的数量。由于触发器可能包含多个令牌，因此我们使用BIO标记方案来注释句子中每个令牌的触发器类型。当我们获得句子中相应的事件触发器时，我们使用该信息来预测相应的事件参数。gydF4y2Ba

如图所示gydF4y2Ba图2gydF4y2BaCPJE模型主要包括3层:输入层、信息提取层和联合提取层。输入层将非结构化文本信息(如词序列、句法结构树、POS标签表示和实体标签信息)转换为结构化的离散表示，并将其输入到下一层。信息提取层将离散信息转化为连续特征表示，深度提取句子中的语义和依赖信息。联合提取层对之前的融合信息进行解析，并将解析后的信息发送到触发softmax分类器和事件softmax分类器中，共同提取生物医学事件。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

信息提取层gydF4y2Ba

由于输入层太肤浅(仅将文本转换为数字序列)，因此没有详细解释这一点。信息提取层的每个模块将在以下几节中介绍。gydF4y2Ba

词表示gydF4y2Ba

在单词表示模块中，提高对每个单词初始特征的表示能力gydF4y2BawgydF4y2Ba_我gydF4y2Ba在句子中转换为实值向量gydF4y2BaxgydF4y2Ba_我gydF4y2Ba通过连接以下各节中描述的嵌入。gydF4y2Ba

基于变压器嵌入的生物医学双向编码器表示gydF4y2Ba

我们使用了生物医学双向编码器表示(BioBERT)预训练模型[gydF4y2Ba38gydF4y2Ba来获得单词的动态语义表示gydF4y2BawgydF4y2Ba_我gydF4y2Ba．BioBERT嵌入包括令牌嵌入、段嵌入和位置嵌入，由多层双向变压器编码。因此，它包含了丰富的语义和位置信息。此外，它还可以解决单词的多义问题。我们定义gydF4y2Ba一个gydF4y2Ba_我gydF4y2Ba作为词向量表示的词gydF4y2BawgydF4y2Ba_我gydF4y2Ba．gydF4y2Ba

词类嵌入gydF4y2Ba

我们使用随机初始化的pos标注嵌入表来获得每个pos标注向量。我们定义gydF4y2BabgydF4y2Ba_我gydF4y2Ba作为该词的pos标记向量表示gydF4y2BawgydF4y2Ba_我gydF4y2Ba．gydF4y2Ba

实体标签嵌入gydF4y2Ba

与pos标签嵌入相似，我们使用BIO标签方案对句子中提到的实体进行标注，并通过查阅嵌入表将实体类型标签转换为实值向量。我们定义gydF4y2BacgydF4y2Ba_我gydF4y2Ba作为单词的实体向量表示gydF4y2BawgydF4y2Ba_我gydF4y2Ba．gydF4y2Ba

令牌的转换gydF4y2BawgydF4y2Ba_我gydF4y2Ba到向量gydF4y2BaxgydF4y2Ba_我gydF4y2Ba转换输入句子gydF4y2BaWgydF4y2Ba变成一个实值向量序列gydF4y2BaXgydF4y2Ba= {gydF4y2BaxgydF4y2Ba_1gydF4y2Ba，gydF4y2BaxgydF4y2Ba_2gydF4y2Ba、……gydF4y2BaxgydF4y2Ba_ngydF4y2Ba}，gydF4y2Ba,在那里gydF4y2Ba是连接操作，gydF4y2BaxgydF4y2Ba_我gydF4y2Baμ维(即?的维数之和gydF4y2Ba一个gydF4y2Ba_我gydF4y2Ba，gydF4y2BabgydF4y2Ba_我gydF4y2Ba,gydF4y2BacgydF4y2Ba_我gydF4y2Ba),gydF4y2Ba．gydF4y2BaXgydF4y2Ba被输入到后续块中，以获得更有价值的信息，用于提取生物医学事件。gydF4y2Ba

双向LSTMgydF4y2Ba

为了获取输入文本的上下文信息，避免长文本带来的梯度爆炸问题，我们选择经典的双向LSTM (BiLSTM)结构来提取单词表示的上下文特征。gydF4y2Ba

我们输入单词表示序列gydF4y2BaXgydF4y2Ba= {gydF4y2BaxgydF4y2Ba_1gydF4y2Ba，gydF4y2BaxgydF4y2Ba_2gydF4y2Ba、……gydF4y2BaxgydF4y2Ba_ngydF4y2Ba}转换成BiLSTM，得到正向隐藏单元gydF4y2BahgydF4y2Ba_tgydF4y2Ba^fgydF4y2Ba以及向后隐藏单元gydF4y2BahgydF4y2Ba_tgydF4y2Ba^bgydF4y2Ba在时间上具有φ维数gydF4y2BatgydF4y2Ba根据方程1。我们将前向LSTM和后向LSTM的所有隐藏状态表示为gydF4y2Ba和gydF4y2Ba，分别为gydF4y2BangydF4y2Ba为LSTM隐藏单元的个数:gydF4y2Ba

最后，我们将这两个矩阵连接起来以获得上下文表示gydF4y2BaBiLSTM:gydF4y2Ba

门之下gydF4y2Ba

为了获得句子的句法依赖性，我们参考Liu等人提出的方法[gydF4y2Ba19gydF4y2Ba应用gate GCN模型分析句子相关特征。我们考虑无向图G=(gydF4y2BaVgydF4y2Ba， ε)作为句子的句法依赖树gydF4y2BaWgydF4y2Ba,在那里gydF4y2BaVgydF4y2Ba是节点的集合，ε是边的集合。定义gydF4y2Ba，gydF4y2BavgydF4y2Ba_我gydF4y2Ba代表每个单词gydF4y2BawgydF4y2Ba_我gydF4y2Ba的句子gydF4y2BaWgydF4y2Ba，每条边gydF4y2Ba表示从单词开始的定向语法弧gydF4y2BawgydF4y2Ba_我gydF4y2Ba对单词gydF4y2BawgydF4y2Ba_jgydF4y2Ba，具有依赖类型gydF4y2Ba再保险gydF4y2Ba．此外，为了沿着方向移动信息，我们添加了相应的反向边(gydF4y2BavgydF4y2Ba_wgydF4y2Ba，gydF4y2BavgydF4y2Ba_我gydF4y2Ba)，带有依赖类型gydF4y2Ba再保险的gydF4y2Ba自我循环(gydF4y2BavgydF4y2Ba_我gydF4y2Ba，gydF4y2BavgydF4y2Ba_我gydF4y2Ba)。gydF4y2BavgydF4y2Ba_我gydF4y2Ba．根据统计，我们使用了斯坦福解析器[gydF4y2Ba39gydF4y2Ba来获得大约50种不同的句法依赖关系。为了便于GCN内部计算，我们只考虑信息流的方向，将原来的依赖关系简化为3种形式，如式4所示:gydF4y2Ba

为节点gydF4y2Ba，我们可以用隐藏向量gydF4y2BahgydF4y2Ba_vgydF4y2Ba^(j)gydF4y2Ba在gydF4y2BajgydF4y2Ba栅极GCN层来计算隐藏向量gydF4y2BahgydF4y2Ba_vgydF4y2Ba^{(j + 1)gydF4y2Ba}下一层:gydF4y2Ba

在哪里gydF4y2Ba再保险gydF4y2Ba（gydF4y2BaugydF4y2Ba，gydF4y2BavgydF4y2Ba)是节点之间的依赖类型gydF4y2BaugydF4y2Ba和gydF4y2BavgydF4y2Ba，gydF4y2BaWgydF4y2Ba_{再保险(u, v)gydF4y2Ba}^(j)gydF4y2Ba和gydF4y2BabgydF4y2Ba_{再保险(u, v)gydF4y2Ba}^(j)gydF4y2Ba分别为权重矩阵和偏置。gydF4y2BaNgydF4y2Ba（gydF4y2BavgydF4y2Ba)是节点的邻居的集合gydF4y2BavgydF4y2Ba,包括gydF4y2BaVgydF4y2Ba．边的权重(gydF4y2BaugydF4y2Ba，gydF4y2BavgydF4y2Ba)是gydF4y2BaggydF4y2Ba_{u, vgydF4y2Ba}^(j)gydF4y2Ba，将栅极应用于边缘，表示边缘的重要性，如式6所示:gydF4y2Ba

在这里,gydF4y2BaVgydF4y2Ba_{再保险(u, v)gydF4y2Ba}^jgydF4y2Ba和gydF4y2BadgydF4y2Ba_{再保险(u, v)gydF4y2Ba}^jgydF4y2Ba分别为栅极权矩阵和偏置。我们使用了BioBERT嵌入gydF4y2Ba一个gydF4y2Ba= {gydF4y2Ba一个gydF4y2Ba_1gydF4y2Ba，gydF4y2Ba一个gydF4y2Ba_2gydF4y2Ba、……gydF4y2Ba一个gydF4y2Ba_ngydF4y2Ba}初始化第一层GCN的输入。叠加gydF4y2BakgydF4y2BaGCN各层可以得到一个句法信息矩阵gydF4y2Ba,在那里gydF4y2Ba米gydF4y2Ba节点的维数是多少gydF4y2BavgydF4y2Ba_我gydF4y2Ba的相同维数gydF4y2Ba一个gydF4y2Ba_我gydF4y2Ba．gydF4y2Ba

多头的关注gydF4y2Ba

如图所示gydF4y2Ba图2gydF4y2Ba，多头注意力[gydF4y2Ba40gydF4y2Ba)由gydF4y2BaHgydF4y2Ba自关注，可以彻底了解节点之间的相似度，并计算每个节点的重要性，使模型能够关注更关键的节点特征。让gydF4y2BaWgydF4y2Ba_我gydF4y2Ba^问gydF4y2Ba，gydF4y2BaWgydF4y2Ba_我gydF4y2Ba^KgydF4y2Ba,gydF4y2BaWgydF4y2Ba_我gydF4y2Ba^VgydF4y2Ba是gydF4y2Ba我gydF4y2Ba的初始化权矩阵gydF4y2Ba问gydF4y2Ba，gydF4y2BaK,gydF4y2Ba和gydF4y2BaVgydF4y2Ba，由式7可知:gydF4y2Ba

在这里,gydF4y2Ba，gydF4y2Ba，gydF4y2Ba,gydF4y2BadgydF4y2Ba_kgydF4y2Ba＝gydF4y2BadgydF4y2Ba_vgydF4y2Ba＝gydF4y2Ba米gydF4y2Ba/gydF4y2BaHgydF4y2Ba．gydF4y2Ba

我们计算了得分矩阵gydF4y2Ba我gydF4y2Ba根据方程8的头。连接后gydF4y2BaHgydF4y2Ba正面，我们用方程9得到了注意力输出矩阵gydF4y2Ba米gydF4y2Ba．gydF4y2Ba是线性变换矩阵:gydF4y2Ba

节理抽采层gydF4y2Ba

薄铁片gydF4y2Ba

该标注器由单向LSTM(以BiLSTM给出的上下文表示作为输入)和注意力GCN模块生成的语法依赖表示(语法依赖表示)组成，用于解析前一层的信息。让gydF4y2Ba．完成标注模块后，我们得到了输出矩阵gydF4y2BaOgydF4y2Ba，将其发送给条件概率提取模块。gydF4y2Ba

条件概率提取gydF4y2Ba

大多数联合抽取模型同时将相同的源信息输入到不同的子任务分类器中，实现信息共享，如式10所示，其中gydF4y2Ba触发器的输出是否符合时间步长gydF4y2Ba我gydF4y2Ba和gydF4y2Ba参数的输出是同步的吗gydF4y2BajgydF4y2Ba．gydF4y2Ba

然而，当同一数据集中2个子任务的出现频率相差较大时，模型容易关注高频子任务而忽略低频子任务。与生物医学事件提取任务类似，对于触发器识别和事件参数检测子任务，每个事件触发器(即生物医学事件)可以包含0、1或2个参与元素，并且参与元素也可以是另一个事件;因此，触发器识别任务的贡献将大于事件参数检测任务。为了缓解上述问题，减少这两个子任务之间的级联误差，我们将触发识别后的softmax输出与源信息相结合，提取触发向量gydF4y2BaTrgydF4y2Ba_我gydF4y2Ba事件参数向量gydF4y2Ba可以gydF4y2Ba_jgydF4y2Ba根据触发器和候选参数的位置。最后，将其聚合输入事件提取分类器中，学习触发标签的分布特征，直接实现生物医学事件提取，无需后处理。gydF4y2Ba

在这里,gydF4y2BaWgydF4y2Ba^三gydF4y2Ba和gydF4y2BabgydF4y2Ba^三gydF4y2Ba分别是触发识别的权重矩阵和偏差。的触发softmax的概率输出gydF4y2BakgydF4y2Ba这个词是gydF4y2Ba软gydF4y2Ba_kgydF4y2Ba．gydF4y2BaWgydF4y2Ba^{事件gydF4y2Ba}和gydF4y2BabgydF4y2Ba^{事件gydF4y2Ba}分别是事件提取的权重矩阵和偏差。的字数gydF4y2Ba我gydF4y2Ba触发器和gydF4y2BajgydF4y2Ba候选的论点是gydF4y2Ba我gydF4y2Ba_米gydF4y2Ba和gydF4y2BajgydF4y2Ba_ngydF4y2Ba,分别。gydF4y2BaOgydF4y2Ba_kgydF4y2Ba源信息向量是gydF4y2BakgydF4y2Ba词。gydF4y2Ba

对比方程10和方程11，我们发现它只使用方程10实现了触发器和事件参数的联合提取;因此，它需要后处理来找出事件元组。然而，由于触发器分布信息的聚合，我们可以发现哪些事件参数属于步骤的触发器gydF4y2BatgydF4y2Ba用方程11。gydF4y2Ba

联合骰子损失gydF4y2Ba

由于生物医学事件语料库数据稀疏，正反例不平衡，交叉熵或负对数似然损失函数导致准确率和召回率之间存在较大差异。为了缓解这个问题，我们提出使用一个联合权值自调整的Dice损失函数[gydF4y2Ba41gydF4y2Ba]，详情如下:gydF4y2Ba

在这里,gydF4y2BaNgydF4y2Ba为语料库中句子的数量;gydF4y2BangydF4y2Ba_pgydF4y2Ba，gydF4y2BatgydF4y2Ba_pgydF4y2Ba,gydF4y2BaegydF4y2Ba_pgydF4y2Ba的令牌、提取的触发器候选项和参数的数量是否为gydF4y2BalgydF4y2Ba句子中，λ用于平滑目的，β是调整损失的超参数，θ是需要训练的模型参数。gydF4y2Ba

培训gydF4y2Ba

CPJE模型采用多个epoch进行训练。在每个epoch中，我们将训练集分成几个批次，每个批次包含一个句子列表，每个句子包含一组可变长度的标记。一个批次在一个时间步骤中进行。gydF4y2Ba

对于每个批处理，我们首先运行信息提取层来生成上下文表示gydF4y2Ba以及具有句法信息的注意表征gydF4y2Ba．然后，我们结合gydF4y2BalgydF4y2Ba和gydF4y2Ba米gydF4y2Ba作为LSTM的输入，生成源信息gydF4y2BaOgydF4y2Ba．最后，我们运行联合提取层来计算整个网络输出(触发器和事件)的梯度。之后，我们通过CPJE将错误从输出反向传播到输入，并更新所有网络参数。CPJE模型的总体过程总结于gydF4y2Ba文本框2gydF4y2Ba．gydF4y2Ba

数据gydF4y2Ba

我们的实验主要在MLEE语料库上进行[gydF4y2Ba6gydF4y2Ba]，如gydF4y2Ba表2gydF4y2Ba，其中包含4个类别，其中包含19个预定义的触发器子类别。总共有262个文档，56,588个单词，8291个实体和6677个事件。从gydF4y2Ba表2gydF4y2Ba，我们注意到解剖级事件的数量高于分子级和计划级事件的数量，尽管一般生物医学事件总体上占主导地位。总的来说，18%(1202/6677)的总事件涉及分子和解剖水平上的直接或间接争论。从gydF4y2Ba表1gydF4y2Ba，我们发现监管、积极监管、消极监管和计划过程事件的论点可能不仅仅是实体，还可能是其他事件;因此，这些事件是嵌套事件，约占所有事件的54.87%(3664/6677)。gydF4y2Ba

此外，我们使用BioNLP-ST 2011 GE语料库验证了我们的实验[gydF4y2Ba7gydF4y2Ba]。如图所示gydF4y2Ba表3gydF4y2Ba， BioNLP-ST 2011 GE语料库定义了9种生物医学事件类型。值得注意的是gydF4y2Ba绑定gydF4y2Ba事件可能需要>1个蛋白质实体作为其主题参数，并且agydF4y2Ba监管gydF4y2Ba事件很可能需要一个蛋白质或一个事件作为它的主题论证，并且需要一个蛋白质或一个事件作为它的原因论证。37.20%(9288/24,967)的事件(调控、正向调控和负向调控)导致了巢状结构。gydF4y2Ba

Hyperparameter设置gydF4y2Ba

对于我们实验的超参数设置，我们为BioBERT嵌入设置了768个维度，为pos标记和实体标签嵌入设置了64个维度。我们应用了一个包含128个隐藏单元的1层BiLSTM，并对我们的模型使用了一个2层GCN和2头自注意。辍学率为0.3，学习率为0.01，优化函数为随机梯度下降(SGD)。CPJE模型的训练基于Ubuntu 20.04操作系统，使用PyTorch(1.9.0版本)和Python(3.8.8版本)。图形处理单元是NVIDIA TITAN Xp，内存为12gb。gydF4y2Ba

结果gydF4y2Ba

MLEE的整体表现gydF4y2Ba

我们将我们的性能与中所示的基线进行比较gydF4y2Ba文本框3gydF4y2Ba．gydF4y2Ba

表4gydF4y2Ba说明了使用金标准实体的最先进方法的总体性能。从该表中可以看出，我们的CPJE模型在触发器识别任务中只取得了轻微的改进。对于事件提取任务，FgydF4y2Ba_1gydF4y2Ba得分明显优于其他基线。值得注意的是，我们的模型的准确率和召回率之间的差距比mdBLSTM(双向长短期记忆，多层次注意机制和基于依赖的词嵌入)模型要小得多，精度也比RL+KBs模型好得多。这表明我们的模型在减少级联错误方面比管道模型有更好的效果。此外，层次人工神经网络(HANN)模型也是一种联合抽取模型;然而，它的表现令人失望。这是因为HANN模型专注于提取文档级生物医学事件，其中包含许多跨句实体、触发器和事件。然而，其他模型旨在提取句子级事件;因此，这些模型的性能优于HANN模型。gydF4y2Ba

MLEE上嵌套事件的性能gydF4y2Ba

为了评估我们的模型在改进嵌套生物医学事件提取方面的有效性，我们将测试集分为2部分(gydF4y2Ba简单的gydF4y2Ba和gydF4y2Ba嵌套的gydF4y2Ba)。gydF4y2Ba简单的gydF4y2Ba表示1事件只将实体作为其参数;gydF4y2Ba嵌套的gydF4y2Ba意味着一个事件的一个参数可能是另一个事件。通常，嵌套事件存在于规则、积极规则、消极规则和计划的流程事件中。gydF4y2Ba

表5gydF4y2Ba说明了性能(FgydF4y2Ba_1gydF4y2Ba的分数)[gydF4y2Ba3.gydF4y2Ba]、RL+KBs模式[gydF4y2Ba32gydF4y2Ba]， deep peventmine [gydF4y2Ba35gydF4y2Ba]模型，HANN [gydF4y2Ba36gydF4y2Ba]模型，以及我们在触发器识别和事件提取子任务中的模型。在gydF4y2Ba简单的gydF4y2Ba和gydF4y2Ba嵌套的gydF4y2Ba与CNN模型相比，我们的框架分别提高了0.44%和1.25%，这表明我们的模型可以提高触发器识别的性能。但是，简单触发器和嵌套触发器之间没有明显的区别。在gydF4y2Ba嵌套的gydF4y2Ba结果表明，我们的CPJE模型比CNN模型高6.97%，比RL+KBs模型高2.57%，比DeepEventMine模型高9.53%，比HANN模型高15.8%，这说明我们的CPJE模型使用gate GCN和注意机制有助于提高嵌套事件提取的性能。gydF4y2Ba

MLEE上所有项目的表现gydF4y2Ba

为了更详细地说明我们的框架对不同事件的影响，gydF4y2Ba表6gydF4y2Ba展示所有事件类型的事件提取性能。从这个表中，我们得到了去磷酸化事件的最佳提取性能和转录事件的最差提取性能。其中，分解代谢事件的提取精度最高，磷酸化事件的提取召回率最高。gydF4y2Ba

BioNLP-ST 2011 GE的整体性能gydF4y2Ba

为了提高说服力，我们将实验扩展到BioNLP-ST 2011 GE语料库。我们将我们的事件提取结果与使用相同语料库的以前系统的事件提取结果进行了比较，如下所示gydF4y2Ba表7gydF4y2Ba．其中，图尔库事件提取系统(TEES) [gydF4y2Ba42gydF4y2Ba]， EventMine [gydF4y2Ba6gydF4y2Ba]、叠加泛化[gydF4y2Ba25gydF4y2Ba系统基于具有设计特征的支持向量机。美国有线电视新闻网[gydF4y2Ba4gydF4y2Ba]是cnn集成到TEES系统中以提取关系和事件。深矿坑[gydF4y2Ba35gydF4y2Ba基于双向变压器和重叠有向无环图来联合提取生物医学事件。HANN [gydF4y2Ba36gydF4y2Ba模型依赖于GCN和超图来获得局部和全局上下文。kb驱动树LSTM [gydF4y2Ba33gydF4y2Ba依赖于知识库概念嵌入来改进预训练的分布式单词表示。基于科学BERT的图边条件注意网络[j]gydF4y2Ba34gydF4y2Ba]采用由图边缘条件注意网络编码的分层图表示，将统一医学语言系统的领域知识整合到预训练的语言模型中。gydF4y2Ba表7gydF4y2Ba说明除了DeepEventMine之外，我们的方法优于之前的所有方法。gydF4y2Ba

KB驱动的树LSTM和GEANet-SciBERT都利用KB来增强单词的语义表示，以提高嵌套(规则)事件的提取性能。然而，KB驱动的树状LSTM仅利用传统的静态词嵌入，不能深度集成知识库中的信息;因此，它在嵌套事件上的性能不能令人满意。gydF4y2Ba

与KB驱动的树状LSTM方法不同，GEANet-SciBERT模型利用专门的医学KB和科学信息丰富了变形器双向编码器表示(BERT)的动态语义表示，并通过新颖的GNN增强了对嵌套事件的推断能力。因此，FgydF4y2Ba_1gydF4y2Ba嵌套事件提取的得分显著提高。gydF4y2Ba

有趣的是，DeepEventMine在提取BioNLP-ST 2011 GE上的嵌套生物医学事件方面表现出色，但在MLEE上表现被动。这一事实有三个原因。首先，DeepEventMine模型共同学习4个生物医学信息任务(实体检测、触发检测、角色检测、事件检测)，可以在模型训练时共享更多的生物医学特征和知识。其次，DeepEventMine模型使用更复杂的图结构(多个重叠的有向无环图)来获得丰富的语法信息。(最后，BioNLP-ST 2011 GE数据集的规模大于MLEE数据集;因此，DeepEventMine模型可以在大型语料库上进行充分训练，并提高提取嵌套事件的性能。gydF4y2Ba

讨论gydF4y2Ba

在本节中，我们将研究和讨论使用MLEE语料库的CPJE模型的性能。gydF4y2Ba

消融实验gydF4y2Ba

法案的影响gydF4y2Ba

虽然BioBERT的输出包含了丰富的语义信息，但将POS嵌入、实体嵌入和BioBERT嵌入串联起来后，会对语义信息产生一定的噪声影响。另外，BioBERT输出的维数为768，拼接后的总尺寸比较广泛，容易造成特征空间的组合爆炸现象。因此，我们考虑使用BiLSTM，它降低了总维数，并将其他信息与BioBERT信息集成在一起，以获得更丰富的语义表示。gydF4y2Ba

如果去除BiLSTM层，触发识别精度从82.20%下降到75.64%，触发识别FgydF4y2Ba_1gydF4y2Ba分数从80.18%下降到76.39%，进一步影响了事件提取性能(事件提取FgydF4y2Ba_1gydF4y2Ba得分从62.80%降至58.02%)。gydF4y2Ba

Softmax概率的影响gydF4y2Ba

为了评估触发预测后的softmax概率分布对事件提取任务的贡献，我们使用传统的联合提取方法(如式10所示)，该方法在提取候选触发向量和事件参数向量时仅使用源信息。gydF4y2Ba

如果仅使用源信息(软触发器)进行联合提取，则事件提取任务缺乏触发器识别后的概率分布信息，导致模型的召回率下降，进一步影响FgydF4y2Ba_1gydF4y2Ba分数(事件提取gydF4y2Ba_1gydF4y2Ba分数从62.80%降至60.09%)。但总体结果仍略高于管道基线，这也反映了联合提取可以消除级联误差。gydF4y2Ba

GCN的影响gydF4y2Ba

我们去掉了语法结构来评估GCN网络的重要性;因此，GCN模块在我们的模型中是无用的。如果模型缺少GCN组件，则触发识别的性能会略有下降(触发识别FgydF4y2Ba_1gydF4y2Ba分数从80.18%下降到78.78%)，事件提取结果明显差于所提模型(事件提取FgydF4y2Ba_1gydF4y2Ba分数从62.80%降至58.40%)。gydF4y2Ba

由于句法结构可以为事件提取提供重要的潜在信息，GCN模型可以感知句法结构中的信息流方向，并有效地捕获这些特征。因此，GCN模型对于事件提取至关重要。gydF4y2Ba

骰子丢失的影响gydF4y2Ba

面对生物医学语料库的不平衡，我们使用了Dice损失函数。为了验证Dice损失函数对事件提取的效果更好，我们使用交叉熵损失函数进行比较。gydF4y2Ba

数据集中大量的反例表明易反例是广泛的。大量直观的例子淹没了训练，使得模型无法区分正面和硬反面的例子。由于交叉熵损失以精度为导向，并且每个实例对损失函数的贡献相等，因此模型的精度提高了(事件提取精度从72.26%提高到89.26%)，但FgydF4y2Ba_1gydF4y2Ba得分不增加(事件提取FgydF4y2Ba_1gydF4y2Ba分数从62.60%下降到60.30%)。骰子损失是F的弱化版本gydF4y2Ba_1gydF4y2Ba分数-准确率和召回率的调和平均值。当数据集中的正样例和负样例不平衡时，Dice loss会减少对易负样例的关注，增加对正负样例和难负样例的关注，从而平衡精度和召回值，增加FgydF4y2Ba_1gydF4y2Ba分数。gydF4y2Ba

可视化gydF4y2Ba

对于注意门GCN的有效性，我们引用了文献中的“螺内酯对大鼠同种异体角膜移植存活的影响”gydF4y2Ba图3gydF4y2Ba作为示例来说明捕获的交互特性。从gydF4y2Ba图3gydF4y2BaB，我们知道这个句子包含两个事件:agydF4y2Ba监管gydF4y2Ba事件原因gydF4y2Ba影响gydF4y2Ba和一个gydF4y2Ba死亡gydF4y2Ba事件原因gydF4y2Ba生存gydF4y2Ba．此外，死亡事件是监管事件的论据之一。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

我们可以看到gydF4y2Ba图3gydF4y2Ba一个,gydF4y2Ba影响gydF4y2BaRow有中等强度的联系gydF4y2Ba影响gydF4y2Ba(self)，螺内酯(其参数)，和gydF4y2Ba生存gydF4y2Ba(它的参数和另一个事件)。与此同时,gydF4y2Ba生存gydF4y2BaRow与……有着密切的联系gydF4y2Ba生存gydF4y2Ba(自我),gydF4y2Ba影响gydF4y2Ba(另一件事)，以及gydF4y2Ba角膜移植gydF4y2Ba(它的参数)。此外，文字gydF4y2Ba老鼠gydF4y2Ba和gydF4y2Ba在gydF4y2Ba也有很强的联系gydF4y2Ba生存gydF4y2Ba，这意味着解析生成的语法依赖信息通过GCN传播。gydF4y2Ba

案例研究gydF4y2Ba

概述gydF4y2Ba

我们的框架在BioNLP-ST 2011 GE语料库中还没有达到最先进的结果。然而，提取嵌套生物医学事件的性能令人满意，特别是在MLEE语料库中。为了更直观地展示我们的模型在提取嵌套生物医学事件方面的性能，我们分析了从MLEE测试集中选择的3个嵌套事件示例，研究我们的模型与CNN相比的优缺点[gydF4y2Ba3.gydF4y2Ba]。gydF4y2Ba

案例1gydF4y2Ba

如图所示gydF4y2Ba图4gydF4y2Ba，情况1是一个简单的嵌套事件，其中事件参数的角色类型只有gydF4y2Ba主题gydF4y2Ba．它是一个嵌套事件;然而，CNN和我们的模型都获得了正确的事件提取结果。这是因为这个句子没有一个完整的成分，也许，它只是一个完整句子的一部分。句子结构越简单，模型越容易提取实际特征。因此，此类嵌套事件的提取性能通常是有利的。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

案例2gydF4y2Ba

案例2是一个一般的嵌套事件，其句子组件是完整的，事件参数的角色类型是gydF4y2Ba主题gydF4y2Ba和gydF4y2Ba导致gydF4y2Ba．如图所示gydF4y2Ba图5gydF4y2Ba， CNN模型检测到所有正确的事件触发器，但无法检测到正确的事件参数。CNN模型是一种流水线方法，将触发器识别和参数检测任务考虑为级联而不是并行关系。一般来说，他们首先将文本输入到CNN模型中，以识别句子中的触发器。然后，他们构造或候选对，并将其再次输入到CNN模型中以检测参数。最后，使用基于规则或基于机器学习的方法对触发器和参数进行后处理，以构建完整的生物医学事件。如果在这些步骤中出现错误，将直接影响事件提取的性能。然而，我们的联合方法将触发识别和参数检测视为可以提供有效信息的并行任务。因此，我们使用一个模型联合训练两个任务，并且只有在模型训练过程中才会产生错误。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

案例3gydF4y2Ba

案例3是一个跨句子嵌套事件，如gydF4y2Ba图6gydF4y2Ba．从这个例子中，我们可以确定需要改进的地方。由于多个事件相互嵌套，并且其中一些事件不在同一个句子中，这使得模型无法高效准确地提取所有事件。与CNN模型相比，虽然我们的模型可以识别gydF4y2Ba积极的监管gydF4y2Ba触发的事件gydF4y2Ba结果gydF4y2Ba，它不在同一个子句中gydF4y2Ba发展gydF4y2Ba触发的事件gydF4y2Ba创建gydF4y2Ba，导致gydF4y2Ba积极的监管gydF4y2Ba事件以缺少事件参数。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

结论gydF4y2Ba

本研究提出了一种基于多头注意图CNN的CPJE框架来实现生物医学事件提取任务。由于采用了联合提取框架，减少了两个子任务之间的级联误差。利用基于注意的门式GCN，可以有效地学习句法依赖信息以及触发器与相关实体之间的相互关系;从而提高了嵌套生物医学事件的提取性能。Dice损失取代了交叉熵损失，削弱了不平衡数据集的负面影响。总体而言，该模型获得了最佳的FgydF4y2Ba_1gydF4y2Ba在MLEE生物医学事件提取语料库中得分，并在BioNLP-ST 2011 GE语料库上取得了良好的表现。未来，我们将考虑整合外部资源知识，让模型学习更丰富的信息，提高跨句嵌套事件的性能。gydF4y2Ba