生物医学事件可以看作是复杂的关系提取任务，关系提取方法在各个领域都取得了优异的效果。因此，我们研究了一些关系提取方法，以帮助构思事件提取模型的构建。随着深度学习的发展，越来越多的研究人员使用深度学习算法来实现实体关系的联合提取[gydF4y2B一个 8gydF4y2B一个]．为了解决标记样本数量稀疏的问题，将远程监督方法应用于关系提取任务[gydF4y2B一个 9gydF4y2B一个]．深度强化学习(RL)算法也被应用于关系提取任务，以解决有噪声的数据样本[gydF4y2B一个 10gydF4y2B一个]．此外，随着图神经网络(gnn)的广泛应用，gnn已被用于某些关系提取任务[gydF4y2B一个 11gydF4y2B一个，gydF4y2B一个 12gydF4y2B一个]．gydF4y2B一个

总的来说，新闻事件提取是一个研究热点。一些方法通过研究特征工程提高了事件提取的性能。句子级特征提取包括触发器和事件参数的组合特征[gydF4y2B一个 13gydF4y2B一个]或触发器和实体关系的组合特征[gydF4y2B一个 14gydF4y2B一个]．文档级特征提取包括从多个文档中提取公共信息事件[gydF4y2B一个 15gydF4y2B一个]和基于潜变量半马尔可夫条件随机场的联合事件参数提取[gydF4y2B一个 16gydF4y2B一个]．其他人也使用深度学习来减少特征工程，这提高了模型的泛化能力和提取性能;例如，使用循环神经网络学习上下文依赖信息[gydF4y2B一个 17gydF4y2B一个]，用非连续cnn检测事件[gydF4y2B一个 18gydF4y2B一个]，利用GCNs获取句法结构信息[gydF4y2B一个 19gydF4y2B一个]．这些方法为生物医学事件的提取奠定了较好的基础。gydF4y2B一个

提取生物医学事件是BioNLP-STs中的一项[gydF4y2B一个 7gydF4y2B一个，gydF4y2B一个 20.gydF4y2B一个，gydF4y2B一个 21gydF4y2B一个]．以往的研究主要是基于支持向量机模型探索人类工程特征[gydF4y2B一个 22gydF4y2B一个-gydF4y2B一个 25gydF4y2B一个]．由于管道方法中的误差传递，Riedel等[gydF4y2B一个 26gydF4y2B一个]开发了具有双重分解的联合模型，Venugopal等[gydF4y2B一个 27gydF4y2B一个利用马尔可夫逻辑网络进行联合推理。最近，大多数研究都观察到神经模型的显著益处。例如，一些人已经开始使用不同的神经模型添加POS标签和句法分析[gydF4y2B一个 28gydF4y2B一个]，利用半监督框架改进了生物医学事件提取模型[gydF4y2B一个 29gydF4y2B一个]，试图利用注意机制获取生物医学文本的语义关系[gydF4y2B一个 5gydF4y2B一个]，并使用分布式表示获得上下文嵌入[gydF4y2B一个 3.gydF4y2B一个，gydF4y2B一个 4gydF4y2B一个，gydF4y2B一个 30.gydF4y2B一个，gydF4y2B一个 31gydF4y2B一个]．为了从生物医学知识库(KB)中吸收更多信息，Zhao等[gydF4y2B一个 32gydF4y2B一个]利用RL框架从外部生物医学知识库中提取生物医学事件。Li等[gydF4y2B一个 33gydF4y2B一个将基因本体融合成具有分布表征的树状长短期记忆模型。Huang等[gydF4y2B一个 34gydF4y2B一个]使用GNN分层模拟来自统一医学语言系统的两个基于知识的视图，具有概念和语义推理路径。Trieu等[gydF4y2B一个 35gydF4y2B一个]使用多个重叠的、有向的、无环的图结构，共同提取生物医学实体、触发器、角色和事件。Zhao等[gydF4y2B一个 36gydF4y2B一个]将基于依赖的GCN与超图相结合，共同提取生物医学事件。Ramponi等[gydF4y2B一个 37gydF4y2B一个提出了一种联合端到端框架，该框架将生物医学事件提取视为具有多标签感知编码策略的序列标记。gydF4y2B一个

与这些方法相比，我们的方法联合提取具有概率分布的生物医学事件，减轻了流水线方法带来的级联误差。此外，考虑到触发器和相关实体之间的潜在相互关系，我们的方法将句法结构集成到基于注意力的门GCN中，以捕获关键信息的流向，从而大大提高了嵌套生物医学事件的提取性能。值得一提的是，我们的方法不需要任何外部资源来协助生物医学事件提取任务。gydF4y2B一个

在单词表示模块中，提高对每个单词初始特征的表示能力gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}在句子中转换为实值向量gydF4y2B一个 xgydF4y2B一个_{我gydF4y2B一个}通过连接以下各节中描述的嵌入。gydF4y2B一个

我们使用了生物医学双向编码器表示(BioBERT)预训练模型[gydF4y2B一个 38gydF4y2B一个来获得单词的动态语义表示gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}。BioBERT嵌入包括令牌嵌入、段嵌入和位置嵌入，由多层双向变压器编码。因此，它包含了丰富的语义和位置信息。此外，它还可以解决单词的多义问题。我们定义gydF4y2B一个 一个gydF4y2B一个_{我gydF4y2B一个}作为词向量表示的词gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}。gydF4y2B一个

我们使用随机初始化的pos标注嵌入表来获得每个pos标注向量。我们定义gydF4y2B一个 bgydF4y2B一个_{我gydF4y2B一个}作为该词的pos标记向量表示gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}。gydF4y2B一个

与pos标签嵌入相似，我们使用BIO标签方案对句子中提到的实体进行标注，并通过查阅嵌入表将实体类型标签转换为实值向量。我们定义gydF4y2B一个 cgydF4y2B一个_{我gydF4y2B一个}作为单词的实体向量表示gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}。gydF4y2B一个

令牌的转换gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}到向量gydF4y2B一个 xgydF4y2B一个_{我gydF4y2B一个}转换输入句子gydF4y2B一个 WgydF4y2B一个变成一个实值向量序列gydF4y2B一个 XgydF4y2B一个= {gydF4y2B一个 xgydF4y2B一个_{1gydF4y2B一个}，gydF4y2B一个 xgydF4y2B一个_{2gydF4y2B一个}，…，gydF4y2B一个 xgydF4y2B一个_{ngydF4y2B一个}}，gydF4y2B一个,在那里gydF4y2B一个是连接操作，gydF4y2B一个 xgydF4y2B一个_{我gydF4y2B一个}μ维(即?的维数之和gydF4y2B一个 一个gydF4y2B一个_{我gydF4y2B一个}，gydF4y2B一个 bgydF4y2B一个_{我gydF4y2B一个},gydF4y2B一个 cgydF4y2B一个_{我gydF4y2B一个}),gydF4y2B一个。gydF4y2B一个 XgydF4y2B一个被输入到后续块中，以获得更有价值的信息，用于提取生物医学事件。gydF4y2B一个

为了获取输入文本的上下文信息，避免长文本带来的梯度爆炸问题，我们选择经典的双向LSTM (BiLSTM)结构来提取单词表示的上下文特征。gydF4y2B一个

我们输入单词表示序列gydF4y2B一个 XgydF4y2B一个= {gydF4y2B一个 xgydF4y2B一个_{1gydF4y2B一个}，gydF4y2B一个 xgydF4y2B一个_{2gydF4y2B一个}，…，gydF4y2B一个 xgydF4y2B一个_{ngydF4y2B一个}}转换成BiLSTM，得到正向隐藏单元gydF4y2B一个 hgydF4y2B一个_{tgydF4y2B一个}^{fgydF4y2B一个}以及向后隐藏单元gydF4y2B一个 hgydF4y2B一个_{tgydF4y2B一个}^{bgydF4y2B一个}在时间上具有φ维数gydF4y2B一个 tgydF4y2B一个根据方程1。我们将前向LSTM和后向LSTM的所有隐藏状态表示为gydF4y2B一个和gydF4y2B一个，分别为gydF4y2B一个 ngydF4y2B一个为LSTM隐藏单元的个数:gydF4y2B一个

最后，我们将这两个矩阵连接起来以获得上下文表示gydF4y2B一个BiLSTM:gydF4y2B一个

为了获得句子的句法依赖性，我们参考Liu等人提出的方法[gydF4y2B一个 19gydF4y2B一个应用gate GCN模型分析句子相关特征。我们考虑无向图G=(gydF4y2B一个 VgydF4y2B一个， ε)作为句子的句法依赖树gydF4y2B一个 WgydF4y2B一个,在那里gydF4y2B一个 VgydF4y2B一个是节点的集合，ε是边的集合。定义gydF4y2B一个，gydF4y2B一个 vgydF4y2B一个_{我gydF4y2B一个}代表每个单词gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}的句子gydF4y2B一个 WgydF4y2B一个，每条边gydF4y2B一个表示从单词开始的定向语法弧gydF4y2B一个 wgydF4y2B一个_{我gydF4y2B一个}对单词gydF4y2B一个 wgydF4y2B一个_{jgydF4y2B一个}，具有依赖类型gydF4y2B一个 再保险gydF4y2B一个。此外，为了沿着方向移动信息，我们添加了相应的反向边(gydF4y2B一个 vgydF4y2B一个_{wgydF4y2B一个}，gydF4y2B一个 vgydF4y2B一个_{我gydF4y2B一个})，带有依赖类型gydF4y2B一个 再保险的gydF4y2B一个自我循环(gydF4y2B一个 vgydF4y2B一个_{我gydF4y2B一个}，gydF4y2B一个 vgydF4y2B一个_{我gydF4y2B一个})。gydF4y2B一个 vgydF4y2B一个_{我gydF4y2B一个}。根据统计，我们使用了斯坦福解析器[gydF4y2B一个 39gydF4y2B一个来获得大约50种不同的句法依赖关系。为了便于GCN内部计算，我们只考虑信息流的方向，将原来的依赖关系简化为3种形式，如式4所示:gydF4y2B一个

为节点gydF4y2B一个，我们可以用隐藏向量gydF4y2B一个 hgydF4y2B一个_{vgydF4y2B一个}^{(j)gydF4y2B一个}在gydF4y2B一个 jgydF4y2B一个栅极GCN层来计算隐藏向量gydF4y2B一个 hgydF4y2B一个_{vgydF4y2B一个}^{(j + 1)gydF4y2B一个}下一层:gydF4y2B一个

在哪里gydF4y2B一个 再保险gydF4y2B一个（gydF4y2B一个 ugydF4y2B一个，gydF4y2B一个 vgydF4y2B一个)是节点之间的依赖类型gydF4y2B一个 ugydF4y2B一个和gydF4y2B一个 vgydF4y2B一个，gydF4y2B一个 WgydF4y2B一个_{再保险(u, v)gydF4y2B一个} ^{(j)gydF4y2B一个}和gydF4y2B一个 bgydF4y2B一个_{再保险(u, v)gydF4y2B一个} ^{(j)gydF4y2B一个}分别为权重矩阵和偏置。gydF4y2B一个 NgydF4y2B一个（gydF4y2B一个 vgydF4y2B一个)是节点的邻居的集合gydF4y2B一个 vgydF4y2B一个,包括gydF4y2B一个 VgydF4y2B一个。边的权重(gydF4y2B一个 ugydF4y2B一个，gydF4y2B一个 vgydF4y2B一个)是gydF4y2B一个 ggydF4y2B一个_{u, vgydF4y2B一个} ^{(j)gydF4y2B一个}，将栅极应用于边缘，表示边缘的重要性，如式6所示:gydF4y2B一个

在这里,gydF4y2B一个 VgydF4y2B一个_{再保险(u, v)gydF4y2B一个} ^{jgydF4y2B一个}和gydF4y2B一个 dgydF4y2B一个_{再保险(u, v)gydF4y2B一个} ^{jgydF4y2B一个}分别为栅极权矩阵和偏置。我们使用了BioBERT嵌入gydF4y2B一个 一个gydF4y2B一个= {gydF4y2B一个 一个gydF4y2B一个_{1gydF4y2B一个}，gydF4y2B一个 一个gydF4y2B一个_{2gydF4y2B一个}，…，gydF4y2B一个 一个gydF4y2B一个_{ngydF4y2B一个}}初始化第一层GCN的输入。叠加gydF4y2B一个 kgydF4y2B一个GCN各层可以得到一个句法信息矩阵gydF4y2B一个,在那里gydF4y2B一个 米gydF4y2B一个节点的维数是多少gydF4y2B一个 vgydF4y2B一个_{我gydF4y2B一个}的相同维数gydF4y2B一个 一个gydF4y2B一个_{我gydF4y2B一个}。gydF4y2B一个

如图所示gydF4y2B一个 图2gydF4y2B一个，多头注意力[gydF4y2B一个 40gydF4y2B一个)由gydF4y2B一个 HgydF4y2B一个自关注，可以彻底了解节点之间的相似度，并计算每个节点的重要性，使模型能够关注更关键的节点特征。让gydF4y2B一个 WgydF4y2B一个_{我gydF4y2B一个}^{问gydF4y2B一个}，gydF4y2B一个 WgydF4y2B一个_{我gydF4y2B一个}^{KgydF4y2B一个},gydF4y2B一个 WgydF4y2B一个_{我gydF4y2B一个}^{VgydF4y2B一个}是gydF4y2B一个 我gydF4y2B一个的初始化权矩阵gydF4y2B一个 问gydF4y2B一个，gydF4y2B一个 K,gydF4y2B一个和gydF4y2B一个 VgydF4y2B一个，由式7可知:gydF4y2B一个

在这里,gydF4y2B一个，gydF4y2B一个，gydF4y2B一个,gydF4y2B一个 dgydF4y2B一个_{kgydF4y2B一个}＝gydF4y2B一个 dgydF4y2B一个_{vgydF4y2B一个}＝gydF4y2B一个 米gydF4y2B一个/gydF4y2B一个 HgydF4y2B一个。gydF4y2B一个

我们计算了得分矩阵gydF4y2B一个 我gydF4y2B一个根据方程8的头。连接后gydF4y2B一个 HgydF4y2B一个正面，我们用方程9得到了注意力输出矩阵gydF4y2B一个 米gydF4y2B一个。gydF4y2B一个是线性变换矩阵:gydF4y2B一个

该标注器由单向LSTM(以BiLSTM给出的上下文表示作为输入)和注意力GCN模块生成的语法依赖表示(语法依赖表示)组成，用于解析前一层的信息。让gydF4y2B一个。完成标注模块后，我们得到了输出矩阵gydF4y2B一个 OgydF4y2B一个，将其发送给条件概率提取模块。gydF4y2B一个

大多数联合抽取模型同时将相同的源信息输入到不同的子任务分类器中，实现信息共享，如式10所示，其中gydF4y2B一个触发器的输出是否符合时间步长gydF4y2B一个 我gydF4y2B一个和gydF4y2B一个参数的输出是同步的吗gydF4y2B一个 jgydF4y2B一个。gydF4y2B一个

然而，当同一数据集中2个子任务的出现频率相差较大时，模型容易关注高频子任务而忽略低频子任务。与生物医学事件提取任务类似，对于触发器识别和事件参数检测子任务，每个事件触发器(即生物医学事件)可以包含0、1或2个参与元素，并且参与元素也可以是另一个事件;因此，触发器识别任务的贡献将大于事件参数检测任务。为了缓解上述问题，减少这两个子任务之间的级联误差，我们将触发识别后的softmax输出与源信息相结合，提取触发向量gydF4y2B一个 TrgydF4y2B一个_{我gydF4y2B一个}事件参数向量gydF4y2B一个 可以gydF4y2B一个_{jgydF4y2B一个}根据触发器和候选参数的位置。最后，将其聚合输入事件提取分类器中，学习触发标签的分布特征，直接实现生物医学事件提取，无需后处理。gydF4y2B一个

在这里,gydF4y2B一个 WgydF4y2B一个^{三gydF4y2B一个} 和gydF4y2B一个 bgydF4y2B一个^{三gydF4y2B一个} 分别是触发识别的权重矩阵和偏差。的触发softmax的概率输出gydF4y2B一个 kgydF4y2B一个这个词是gydF4y2B一个 软gydF4y2B一个_{kgydF4y2B一个}。gydF4y2B一个 WgydF4y2B一个^{事件gydF4y2B一个} 和gydF4y2B一个 bgydF4y2B一个^{事件gydF4y2B一个} 分别是事件提取的权重矩阵和偏差。的字数gydF4y2B一个 我gydF4y2B一个触发器和gydF4y2B一个 jgydF4y2B一个候选的论点是gydF4y2B一个 我gydF4y2B一个_{米gydF4y2B一个}和gydF4y2B一个 jgydF4y2B一个_{ngydF4y2B一个},分别。gydF4y2B一个 OgydF4y2B一个_{kgydF4y2B一个}源信息向量是gydF4y2B一个 kgydF4y2B一个词。gydF4y2B一个

对比方程10和方程11，我们发现它只使用方程10实现了触发器和事件参数的联合提取;因此，它需要后处理来找出事件元组。然而，由于触发器分布信息的聚合，我们可以发现哪些事件参数属于步骤的触发器gydF4y2B一个 tgydF4y2B一个用方程11。gydF4y2B一个

虽然BioBERT的输出包含了丰富的语义信息，但将POS嵌入、实体嵌入和BioBERT嵌入串联起来后，会对语义信息产生一定的噪声影响。另外，BioBERT输出的维数为768，拼接后的总尺寸比较广泛，容易造成特征空间的组合爆炸现象。因此，我们考虑使用BiLSTM，它降低了总维数，并将其他信息与BioBERT信息集成在一起，以获得更丰富的语义表示。gydF4y2B一个

如果去除BiLSTM层，触发识别精度从82.20%下降到75.64%，触发识别FgydF4y2B一个_{1gydF4y2B一个}分数从80.18%下降到76.39%，进一步影响了事件提取性能(事件提取FgydF4y2B一个_{1gydF4y2B一个}得分从62.80%降至58.02%)。gydF4y2B一个

为了评估触发预测后的softmax概率分布对事件提取任务的贡献，我们使用传统的联合提取方法(如式10所示)，该方法在提取候选触发向量和事件参数向量时仅使用源信息。gydF4y2B一个

如果仅使用源信息(软触发器)进行联合提取，则事件提取任务缺乏触发器识别后的概率分布信息，导致模型的召回率下降，进一步影响FgydF4y2B一个_{1gydF4y2B一个}分数(事件提取gydF4y2B一个_{1gydF4y2B一个}分数从62.80%降至60.09%)。但总体结果仍略高于管道基线，这也反映了联合提取可以消除级联误差。gydF4y2B一个

我们去掉了语法结构来评估GCN网络的重要性;因此，GCN模块在我们的模型中是无用的。如果模型缺少GCN组件，则触发识别的性能会略有下降(触发识别FgydF4y2B一个_{1gydF4y2B一个}分数从80.18%下降到78.78%)，事件提取结果明显差于所提模型(事件提取FgydF4y2B一个_{1gydF4y2B一个}分数从62.80%降至58.40%)。gydF4y2B一个

由于句法结构可以为事件提取提供重要的潜在信息，GCN模型可以感知句法结构中的信息流方向，并有效地捕获这些特征。因此，GCN模型对于事件提取至关重要。gydF4y2B一个

面对生物医学语料库的不平衡，我们使用了Dice损失函数。为了验证Dice损失函数对事件提取的效果更好，我们使用交叉熵损失函数进行比较。gydF4y2B一个

数据集中大量的反例表明易反例是广泛的。大量直观的例子淹没了训练，使得模型无法区分正面和硬反面的例子。由于交叉熵损失以精度为导向，并且每个实例对损失函数的贡献相等，因此模型的精度提高了(事件提取精度从72.26%提高到89.26%)，但FgydF4y2B一个_{1gydF4y2B一个}得分不增加(事件提取FgydF4y2B一个_{1gydF4y2B一个}分数从62.60%下降到60.30%)。骰子损失是F的弱化版本gydF4y2B一个_{1gydF4y2B一个}分数-准确率和召回率的调和平均值。当数据集中的正样例和负样例不平衡时，Dice loss会减少对易负样例的关注，增加对正负样例和难负样例的关注，从而平衡精度和召回值，增加FgydF4y2B一个_{1gydF4y2B一个}分数。gydF4y2B一个

我们的框架在BioNLP-ST 2011 GE语料库中还没有达到最先进的结果。然而，提取嵌套生物医学事件的性能令人满意，特别是在MLEE语料库中。为了更直观地展示我们的模型在提取嵌套生物医学事件方面的性能，我们分析了从MLEE测试集中选择的3个嵌套事件示例，研究我们的模型与CNN相比的优缺点[gydF4y2B一个 3.gydF4y2B一个]．gydF4y2B一个

如图所示gydF4y2B一个 图4gydF4y2B一个，情况1是一个简单的嵌套事件，其中事件参数的角色类型只有gydF4y2B一个 主题gydF4y2B一个。它是一个嵌套事件;然而，CNN和我们的模型都获得了正确的事件提取结果。这是因为这个句子没有一个完整的成分，也许，它只是一个完整句子的一部分。句子结构越简单，模型越容易提取实际特征。因此，此类嵌套事件的提取性能通常是有利的。gydF4y2B一个

案例2是一个一般的嵌套事件，其句子组件是完整的，事件参数的角色类型是gydF4y2B一个 主题gydF4y2B一个和gydF4y2B一个 导致gydF4y2B一个。如图所示gydF4y2B一个 图5gydF4y2B一个， CNN模型检测到所有正确的事件触发器，但无法检测到正确的事件参数。CNN模型是一种流水线方法，将触发器识别和参数检测任务考虑为级联而不是并行关系。一般来说，他们首先将文本输入到CNN模型中，以识别句子中的触发器。然后，他们构造或候选对，并将其再次输入到CNN模型中以检测参数。最后，使用基于规则或基于机器学习的方法对触发器和参数进行后处理，以构建完整的生物医学事件。如果在这些步骤中出现错误，将直接影响事件提取的性能。然而，我们的联合方法将触发识别和参数检测视为可以提供有效信息的并行任务。因此，我们使用一个模型联合训练两个任务，并且只有在模型训练过程中才会产生错误。gydF4y2Ba

案例3是一个跨句子嵌套事件，如gydF4y2B一个 图6gydF4y2B一个。从这个例子中，我们可以确定需要改进的地方。由于多个事件相互嵌套，并且其中一些事件不在同一个句子中，这使得模型无法高效准确地提取所有事件。与CNN模型相比，虽然我们的模型可以识别gydF4y2B一个 积极的监管gydF4y2B一个触发的事件gydF4y2B一个 结果gydF4y2B一个，它不在同一个子句中gydF4y2B一个 发展gydF4y2B一个触发的事件gydF4y2B一个 创建gydF4y2B一个，导致gydF4y2B一个 积极的监管gydF4y2B一个事件以缺少事件参数。gydF4y2B一个