初步研究TS领域的关注<我t一个lic> 词汇简化(LS) [ 1, 2]。LS系统通常包括替换复杂单词简单的替代品使用词汇数据库,如<我t一个lic> 释义数据库( 3],WordNet [ 4),或使用语言模型,如<我t一个lic> 从变压器双向编码器表示年代(BERT) [ 5]。最近的研究定义了TS作为<我t一个lic> sequence-to-sequence(seq2seq)任务和接近它通过利用模型架构与其他seq2seq任务,如机器翻译和文本摘要( 6- - - - - - 8]。Nisioi et al ( 9)提出了一个神经<我t一个lic> seq2seq模型,它使用<我t一个lic> 长时间的短期记忆(LSTMs)自动TS。简单句子对训练,最终通过人类的评估表明,TS系统生成的输出保存意义和语法正确 9]。阿夫扎尔et al ( 10)合并LSTMs医疗数据创建一个quality-aware文本摘要系统。张和Lapata [ 11)开发了一个LSTM-based神经encoder-decoder TS模型和训练使用<我t一个lic> 强化学习(RL)直接优化纱丽 12)成绩连同其他一些回报。莎丽是一种广泛使用的度量进行自动评价TS。

自然语言处理研究的最新进展,LSTM-based模型是由变压器的表现( 13)的语言模型( 13- - - - - - 16]。变形金刚都遵循着encoder-decoder结构组成的编码器和译码器<我t一个lic> l相同的层。每一层由两个子层,一个是一个前馈一层一层,另一个多线程的注意。Transformer-based语言模型,如巴特( 14),生成pretraining变压器(GPT) [ 15),而<我t一个lic> text-to-text-transfer-transformer( 16),取得强劲表现在自然语言生成文本摘要和机器翻译等任务。

在语言比起成功的基于变压器模型的基础上,最近马丁et al ( 17]介绍了<我t一个lic> 多语种无人监督的句子简化(混乱) 17),巴特( 14的语言模型,实现先进的TS基准性能培训从CCNet转述开采 18语料库。赵等( 19]提出一种semisupervised方法,结合反向翻译架构以及去噪autoencoders自动为目的的TS。无人监督的TS也是一个活跃的研究领域,但主要限于LS。然而,在最近的一项研究中,苏亚et al ( 20.)提出了一个无监督的方法执行TS词法和句法两个层面。一般来说,研究领域的TS主要关注能简化语句。然而,太阳et al ( 21)提出了一个文档级别的数据集(D-wikipedia)和基线执行文档级别的简化模型。同样,Devaraj et al ( 8)提出了巴特( 14]的模型,被训练使用不大可能的损失为目的的段落级医疗TS。尽管他们训练惩罚条款视为“行话”,增加了可读性,生成的文本有低质量和多样性 8]。因此,文档,或段落级简化的缺乏使得这一个重要的发展领域的工作。

TS的大多数研究使用数据从维基百科中提取和新闻文章 11, 22, 23]。这些数据集是成对的文句上的数据集(例如,对于每一个复杂句,有一个相应的简单句)。TS系统严重依赖文句上的数据集,从普通和简单的英文维基百科中提取,如WikiLarge [ 11),因为他们是公开的。后来徐所示( 24)数据质量有问题的数据集从维基百科中提取。他们提出了Newsela语料库,这是由教师改写新闻文章对不同班次的水平。自动句子对齐的方法( 25)是用于Newsela语料库能TS语句创建一个数据集。尽管能简化语句研究的进步,有必要对TS系统能够简化文本段落层次。

最近的工作都集中在文档级简化数据集建设( 17, 21, 26]。太阳et al ( 21)建造了一个文档级别的数据集,称为D-Wikipedia,通过调整英文维基百科和简单的英文维基百科跨越143546条对。虽然有许多能TS语句的数据集,数据集领域特定段落级TS的缺乏。医学领域的TS, Van den Bercken et al ( 27能简化语句)建造了一个数据集使用的句子对齐方法。最近,Devaraj et al ( 8)提出的第一个段落级医学简化数据集,包含4459简单对文本,这是用于分析的数据集和基线培训在这个研究。一个复杂的段落及其简化版本的一个片段从Devaraj等提出的数据集 8)所示 图1。数据集是开源和公开 28]。

TS的评价通常分为两类:自动评估和手动(如人类)评估。因为TS的主观性质,有人建议,最好的方法是执行手动评估,基于标准流利等意义保存,和简单 20.]。自动评价指标最常用的包括可读性指标如Flesch-Kincaid阅读方便( 29日),<我t一个lic> Flesch-Kincaid年级水平(FKGL) [ 29日),<我t一个lic> 自动化的可读性指数(ARI)、Coleman-Liau指数和指标等自然语言生成任务纱丽( 12)和蓝色( 30.]。

可读性指标被用来为文本分配一个年级水平标志着它的简单。所有的可读性指标计算使用一些词的组合权重,音节,信,或者单词统计,测量显示一定程度的简单性。自动评价指标,如蓝色( 30.和莎丽 12),广泛应用于研究TS,纱丽( 12有专门为TS开发任务。纱丽是通过比较计算生成的简化与源和目标引用。它平均计算<我t一个lic> F₁得分为3<我t一个lic> 语法重叠操作:添加、保存和删除。两个蓝色( 30.和莎丽 12]n-gram-based指标,这可能无法捕捉的语义生成的文本。

TS的解决方案提出了简化的任务复杂医学文本使用一个RL-based简化模型,优化多个奖励(<我t一个lic> 相关奖励,<我t一个lic> Flesch-Kincaid级奖励,词汇简单的回报)来实现一个更完整的和简洁的简化<我t一个lic> 。下面的内容将介绍这些奖励的计算,以及训练过程。

相关奖励措施目标文本的语义是如何捕获的简化版本。这是通过计算目标之间的余弦相似性计算文本嵌入(<我t一个lic> E<年代ub>T )和生成的文本嵌入(<我t一个lic> E<年代ub>G )。BioSentVec [ 31日),一个文本嵌入模型训练有素的医疗文件,用于生成文本嵌入。的步骤来计算相关性评分算法中描述1。

的<我t一个lic> RelevanceReward函数接受三个参数作为输入,即目标文本(<我t一个lic> T),生成的文本(<我t一个lic> G)和嵌入模型(<我t一个lic> 米)。这个函数<我t一个lic> ComputeEmbedding需要输入文本和嵌入模型(<我t一个lic> 米)作为输入,并生成相关的文本嵌入。最后,余弦相似性生成的文本嵌入(<我t一个lic> E<年代ub>G )和目标文本嵌入(<我t一个lic> E<年代ub>T )计算获得奖励(算法1,第4行)。

FKGL指的是年级水平必须达到理解了的信息。FKGL更高分数表明文本更为复杂,和一个较低的分数表明,文本就更简单了。文本FKGL (S)计算使用公式1 ( 29日]:

FKGL奖励(<我t一个lic> R<年代ub>Flesch )是旨在减少生成的文本和计算的复杂性,提出了算法2。

算法2的功能<我t一个lic> FleschKincaidReward有2个参数作为输入,即生成的文本(<我t一个lic> G)和目标文本(<我t一个lic> T)。的<我t一个lic> FKGLScore函数计算FKGL给定文本。一旦FKGL为<我t一个lic> T和<我t一个lic> G计算,Flesch-Kincaid奖励(<我t一个lic> R<年代ub>Flesch )计算相对的区别<我t一个lic> r(<我t一个lic> T),<我t一个lic> r(<我t一个lic> G)(算法2,4行)<我t一个lic> r(<我t一个lic> T),<我t一个lic> r(<我t一个lic> G)表示目标的FKGL和生成的文本。

词汇简洁是用来衡量是否在生成的文本(<我t一个lic> G)比源文本中的词(简单<我t一个lic> 年代)。拉班等( 26]提出使用之间的关系词的词汇简单奖励困难和词频 32]。如词频遵循<我t一个lic> zipf法律,拉班等 26用它来设计奖励功能,涉及到计算<我t一个lic> zipf新插入的单词的频率,<我t一个lic> Z(<我t一个lic> G- - - - - -<我t一个lic> 年代),删除的话,<我t一个lic> Z(<我t一个lic> S - G)。中定义的词汇简单的奖励是拉班等提出的一样( 26算法3)和描述。数据集的分析提出Devaraj et al ( 8)显示,87%的简单和复杂双Δ价值<我t一个lic> Z(<我t一个lic> 年代,<我t一个lic> GΔ)≈0.4<我t一个lic> Z(<我t一个lic> 年代,<我t一个lic> G)=<我t一个lic> Z(<我t一个lic> G- - - - - -<我t一个lic> 年代)- - -<我t一个lic> Z(<我t一个lic> 年代- - - - - -<我t一个lic> G)之间的差异<我t一个lic> zipf插入文字和删除的话,频率与词法奖励的价值(<我t一个lic> R<年代ub>词汇 )比例在0和1之间。

在算法3中,<我t一个lic> LexicalSimplicityReward需要源文本(<我t一个lic> 年代)和生成的文本(<我t一个lic> G)作为输入。功能<我t一个lic> ZIPFInserted( 25),<我t一个lic> ZIPFDeleted( 25)计算<我t一个lic> zipf新插入的单词和删除的单词的频率。最后,词汇奖励(<我t一个lic> R<年代ub>词汇 )计算和归一化,如第5行所示。

基线语言模型在本研究中用于执行简化是巴特 14),这是一个基于变压器encoder-decoder pretrained使用去噪的目标函数模型。译码器的部分模型自回归自然,使其更适合sentence-generation任务。此外,巴特模型实现强劲表现自然语言生成等任务总结,证明在XSum [ 33)和CNN /英国《每日邮报》( 34)数据集。在这种情况下,一个版本的巴特调整XSUM [ 33使用数据集。

Transformer-based语言模型是pretrained大语料库的文本,后来调整在下游任务通过最小化最大似然损失(<我t一个lic> Lml()函数 3]。考虑一个成对的数据集<我t一个lic> C,每个实例包含一个句子包含源<我t一个lic> n令牌<我t一个lic> x= {<我t一个lic> x₁、…<我t一个lic> x<年代ub>n }和目标序列包含<我t一个lic> 米令牌<我t一个lic> y= {<我t一个lic> y₁、…<我t一个lic> y<年代ub>n },<我t一个lic> Lml函数是在方程2和4中描述的计算算法。

在哪里<我t一个lic> θ代表了模型参数<我t一个lic> y_{< t} 表示前标记之前的位置<我t一个lic> t( 35]。

然而,通过最小化的结果<我t一个lic> Lml并不总是最优的。有两个主要原因的退化的结果。第一个被称为“风险偏好”( 36],它发生在每一步模型预计标准数据的训练,但是在测试期间没有接受适当的监督,导致错误的积累在预测。第二个被称为“崩溃”表示 37),这是一个退化的pretrained语言模型表示在微调。Ranzato et al ( 36)避免接触问题的偏见通过直接优化特定离散度量而不是减少<我t一个lic> Lml的帮助下RL-based算法称为强化[ 38]。加强的一个变种 38)称为自我批评序列训练( 39)是直接用于本研究优化某些奖励专门为TS设计;以下小节中提供了更多这方面的信息。

TS可以制定一个RL的问题,在“代理”(语言模型)与环境交互采取“行动”(下一个词预测)基于学习“政策”(<我t一个lic> p<年代ub>θ )定义的模型参数<我t一个lic> θ虽然观察一些奖励(<我t一个lic> R)。在这个工作中,巴特( 14)是作为语言模型,强化( 38)算法被用来学习最优政策,最大化的回报。具体来说,加强是使用一个基线稳定训练过程使用一个目标函数(<我t一个lic> 液化石油气)和一个基线奖励<我t一个lic> b方程(3):

在哪里<我t一个lic> p<年代ub>θ (<我t一个lic> y<年代ub>我 ^年代|…)表示的概率<我t一个lic> 我th词条件以前生成的采样序列的模型;<我t一个lic> r(<我t一个lic> y<年代up>年代 )表示奖励计算一个句子使用抽样生成;表示源句子,和<我t一个lic> n的长度是生成的句子。奖励计算的加权和相关奖励(<我t一个lic> R<年代ub>余弦 ),<我t一个lic> R<年代ub>Flesch ,词汇简单的奖励(<我t一个lic> R<年代ub>词汇 ; 图2),是由:

在哪里<我t一个lic> α,<我t一个lic> β,<我t一个lic> d分别与奖励相关联的权重。

近似基线奖励,自我批评序列训练( 39使用了)。基线计算通过计算奖励值一个句子生成使用贪婪的解码<我t一个lic> r(<我t一个lic> y*)由当前模型及其算法5中描述的计算。方程5中的损失函数的定义:

在哪里<我t一个lic> y*表示生成的句子使用贪婪的解码。更多细节描述贪婪的解码 多媒体附录1(参见[ 8, 14, 17, 25, 26, 39- - - - - - 42])。

直观地说,通过最小化方程描述的损失5,选择样本序列的可能性(<我t一个lic> y<年代up>年代 )是提升如果采样序列获得的奖励,<我t一个lic> r(<我t一个lic> y<年代up>年代 ),大于基线的奖励获得回报,也就是说,样本返回更高的回报比<我t一个lic> r(<我t一个lic> y*)。样品随后抑制获得较低的回报。该模型使用的组合训练<我t一个lic> Lml和政策梯度损失类似于( 43]。总体损失给出如下:

在哪里<我t一个lic> γ是一个比例因子,可以调整。

报告的可读性指标得分 表1表明FKGL TESLEA获得的分数更好(比如,一个较低的分数)与FKGL相比获得的分数比较技术抽象(即复杂医学段落中可用数据集)与对照的引用(即简单的医疗段落对应复杂医学段落)。此外,TESLEA FKGL达到最低的得分(11.84)与基线模型相比,表明TS显著改善。研究结果表明,(1)BART-based变压器模型能够在段落级别执行简化,这样输出减少阅读水平(FKGL)与技术提取相比,标准的引用和基线模型。(2)该方法优化TS-specific奖励允许生成文本对照的可读性比甚至引用,FKGL表示的分数 表1。减少FKGL分数可以用这一事实来解释FKGL奖励的一部分(<我t一个lic> R<年代ub>Flesch ),直接被优化。

此外,我们报告的纱丽 12)和胭脂分数( 44)所示 表2。莎丽是一个标准的指标能TS语句中使用自动任务。胭脂分数是另一个标准在文本摘要任务指标。结果表明,TESLEA匹配的性能基线模型胭脂和纱丽的分数。虽然没有明确的模式当胭脂和纱丽分数被认为,在文本的质量有差异所产生的这些模型和解释“文本质量测量”小节。

有重大进展在设计自动度量能够捕捉语言文本生成的语言模型的质量。这样一个能够衡量的质量生成的文本BARTScore [ 45]。BARTScore显示强烈的相关性与人类评估各种任务包括机器翻译、文本摘要。BARTScore有4个不同的指标(即忠诚得分,精度,还记得,f值),可以用来测量不同质量生成的文本。更多细节关于如何使用BARTScore中提到 多媒体附录2。

根据分析由元et al ( 45],信实得分生成文本的措施三个方面通过正、流感和前沿空中管制官。生成文本的f值措施两个方面(信息和正面)。在我们的分析中,我们使用这两个变种BARTScore测量正、流感、FAC,信息,和外壳。TESLEA达到最高的值( 表3信实的得分(0.366)和f值(0.097),表明TS的回报为目的不仅有助于简化模型生成的文本,而且还在某种程度上保存生成的文本的质量。所有的模型是相对贫穷的F-scores(即分数接近1人)。低的原因之一F-scores可能引入错误信息或幻觉在生成的文本、语言模型的一个常见的问题,可以通过调整培训战略,专注于通过奖励或目标函数的帮助信息。

定性分析我们随机选择50个句子从测试数据和基于巴特模型计算的平均数量标记词汇表。的可读性,我们计算了FKGL许多这些生成的文本和指出错误信息等任何文本不一致。分析表明,大多数模型生成的文本明显小于对照的引用( 表4)。此外,TESLEA——和BART-UL-generated文本与其他相比均有显著短基线模型和TESLEA FKGL最低分数在所有的模型中所描绘的一样 表4。

从定性的角度来看,大多数基线模型生成的句子包括大量的文本复制从原始复杂医学段落。克义斯模型生成的输出不完整,出现“嘈杂”。噪音的产生的原因之一可能是由于不稳定的培训由于缺乏一个巨大的语料库的特定领域的数据。BART-UL-generated段落由FKGL简化为表示,阿里分数,但他们在本质上是萃取(即模型从原始医学学会选择简化句子段落和他们结合形成一个简化)。PEGASUS-pubmed-large-generated段落也萃取在性质和类似于BART-UL-generated段落,但发现他们语法不一致。相对于基线模型,生成的文本TESLEA是简洁,语义上相关的,和简单,不涉及任何医疗与领域相关的复杂的词汇。 图5显示了一个示例的文本生成的模型,用蓝色文本指示复制文本。

除了复制文本,模型也诱导错误信息在生成的文本。最常见的诱发错误观察“证据是当前[日期],”所示 图6。这个文本错误发生由于数据的结构(例如,请包含语句与此相关的研究,但这些语句并不在原始文本;因此,模型试图将这些语句添加到生成的文本虽然不是事实正确)。因此相当大的要注意包括FAC措施在这些模型的训练。为一个更完整的评估质量的简化,人类进行了评估使用领域专家TESLEA生成的文本。