融合流注意力机制的中文摘要生成方法

针对现有文本摘要生成方法对源文全局语义信息提取不充分问题，提出了一种融合流注意力机制的并行编码器摘要生成算法模型.首先使用单颗粒的分词方法对源文进行分词；然后在编码阶段引入多头流注意力机制，从而更全面地提取源文的全局语义信息；其次运用并行编码器训练模型，使得输入序列中语义信息获得更大权重；最后将编码得到的全局语义信息送入到融合指针的解码器中，通过指针复制源文词汇，减少生成摘要中未登录词的出现，从而使得解码过程中生成的摘要更加全面准确地匹配源文语义.模型在CLTS和NLPCC两个数据集上进行实验，使用ROUGE-1、ROUGE-2和ROUGE-L作为评价指标.实验结果显示，与基准模型相比在CLTS数据集上分别有2.62%、1.44%和0.87%的提升，在NLPCC数据集上分别有2.82%、1.84%和1.64%的提升，表明所提算法模型在中文摘要生成任务上更加有效.     

多注意力机制的文本摘要事实一致性评估模型

事实一致性是摘要内容与源文档内容的信息一致。最近的研究表明,文本摘要模型生成的摘要存在较多与原文事实不一致的问题,设计能够检测并评估出事实不一致错误的方法至关重要。目前基于自然语言推理的方法存在对源文档内容提取简单,推理信息交互不充分等问题。提出多注意力机制的文本摘要事实一致性评估模型,利用预训练模型微调的sentence-BERT模型挑选源文档中的关键句,然后将摘要句与关键句组合成句子对,输入BERT模型编码获得向量表示结合ESIM进行句子对的推理,利用图注意力网络完成推理信息的聚合,提高文本摘要事实一致性评估模型的准确率。实验结果表明,该算法与多个典型算法在在领域内常用的数据集进行实验比较,其可行性和有效性得到验证。     

结合主题信息聚类编码的文本摘要模型

结合注意力机制的序列到序列模型在生成式文本摘要的研究中已取得了广泛应用,但基于该模型的摘要生成技术依然存在信息编码不充分、生成的摘要偏离主题的问题,对此提出了一种结合主题信息聚类编码的文本摘要生成模型TICTS(theme information clustering coding text summarization)。将传统的抽取式文本摘要方法与基于深度学习的生成式文本摘要方法相结合,使用基于词向量的聚类算法进行主题信息提取,利用余弦相似度计算输入文本与所提取关键信息的主题相关性,将其作为主题编码的权重以修正注意力机制,在序列到序列模型的基础上结合主题信息与注意力机制生成摘要。模型在LCSTS数据集上进行实验,以ROUGE为评价标准,实验结果相对于基线模型在ROUGE-1的得分上提高了1.1,ROUGE-2提高了1.3,ROUGE-L提高了1.1。实验证明结合主题信息聚类编码的摘要模型生成的摘要更切合主题,摘要质量有所提高。     

结合注意力与卷积神经网络的中文摘要研究

目前深度学习已经广泛应用于英文文本摘要领域，但是在中文文本摘要领域极少使用该方法进行研究。另外，在文本摘要领域主要使用的模型是编码-解码模型，在编码时输入的是原始的文本信息，缺乏对文本高层次特征的利用，导致编码的信息不够充分，生成的摘要存在词语重复、语序混乱等问题。因此，提出一种局部注意力与卷积神经网络结合的具备高层次特征提取能力的编码-解码模型。模型通过局部注意力机制与卷积神经网络结合的方式提取文本的高层次的特征，将其作为编码器输入，此后通过基于全局注意力机制的解码器生成摘要。实验结果证明，在中文文本数据集上该模型相对于其他模型有着较好的摘要效果。     

基于实体信息增强及多粒度融合的多文档摘要

研究发现对大规模的数据进行预训练可以更好地从自然语言文本中捕捉更丰富的语义信息,目前很多的多文档摘要的工作也应用了预训练模型并取得了一定的效果。但是这些预训练模型没有考虑到结构化的实体-关系信息。不能更好地从文本中捕获事实性知识。该文提出了基于实体信息增强和多粒度融合的多文档摘要模型MGNIE,该方法将实体关系信息融入预训练模型ERNIE中,增强知识事实以获得多层语义信息,解决摘要生成的事实一致性问题,进而从多种粒度进行多文档层次结构的融合建模,以词信息、实体信息以及句子信息捕捉长文本信息摘要生成所需的关键信息点。该文设计的模型在国际标准评测数据集MultiNews上的实验证明,所提模型对比强基线模型效果和竞争力获得较大提升。     

基于双编码器的中文文本摘要技术的研究与实现

针对自然语言处理领域生成式文本摘要任务中存在的语义编码不充分、摘要语句不通顺问题,提出一种基于序列到序列(Seq2Seq)结构的生成式摘要模型TCAtten-GRU.采用双编码器对源文信息进行充分编码,应用时间卷积网络(TCN)获取全文的语义信息,卷积神经网络(CNN)提取文本的高层特征.解码器采用结合指针机制和集束搜索的门控循环单元(GRU)解决生成摘要不通顺问题.中文短文本摘要数据集LCSTS的实验结果表明,该模型与RNN、RNN con-tent、MC-LSTM+atten和BiGRU-GRU+atten这4个模型对比,ROUGE-1提高了0.037-0.155,ROUGE-2提高了0.075-0.156,ROUG E-L提高了0.035-0.157,验证了该模型可以有效提升摘要质量.     

融合上下文信息和关键信息的文本摘要

文本摘要的一个迫切需要解决的问题是如何准确地概括文本的核心内容.目前文本摘要的主要方法是使用编码器-解码器架构,在解码过程中利用软注意力获取所需的上下文语义信息.但是,由于编码器有时候会编码过多的信息,所以生成的摘要不一定会概括源文本的核心内容.为此,该文提出一种基于双注意指针网络的文本摘要模型.首先,该模型使用了双注...     

融合BERT和卷积门控的生成式文本摘要方法

结合注意力机制的循环神经网络(RNN)模型是目前主流的生成式文本摘要方法,采用基于深度学习的序列到序列框架,但存在并行能力不足或效率低的缺陷,并且在生成摘要的过程中存在准确率低和重复率高的问题.为解决上述问题,提出一种融合BERT预训练模型和卷积门控单元的生成式摘要方法.该方法基于改进Transformer模型,在编码器阶段充分利用BERT预先训练的大规模语料,代替RNN提取文本的上下文表征,结合卷积门控单元对编码器输出进行信息筛选,筛选出源文本的关键内容;在解码器阶段,设计3种不同的Transformer,旨在探讨BERT预训练模型和卷积门控单元更为有效的融合方式,以此提升文本摘要生成性能.实验采用ROUGE值作为评价指标,在LCSTS中文数据集和CNN/Daily Mail英文数据集上与目前主流的生成式摘要方法进行对比的实验,结果表明所提出方法能够提高摘要的准确性和可读性.     

基于案件要素指导的涉案舆情新闻文本摘要方法

涉案舆情新闻文本摘要任务是从涉及特定案件的舆情新闻文本中,获取重要信息作为其简短摘要,因此对于相关人员快速掌控舆情态势具有重要作用。涉案舆情新闻文本摘要相比开放域文本摘要任务,通常涉及特定的案件要素,这些要素对摘要生成过程有重要的指导作用。因此,该文结合深度学习框架,提出了一种融入案件要素的涉案舆情新闻文本摘要方法。首先构建涉案舆情新闻摘要数据集并定义相关案件要素,然后通过注意力机制将案件要素信息融入新闻文本的词、句子双层编码过程中,生成带有案件要素信息的新闻文本表征,最后利用多特征分类层对句子进行分类。为了验证算法有效性,在构造的涉案舆情新闻摘要数据集上进行实验。实验结果表明,该方法相比基准模型取得了更好的效果,具有有效性和先进性。     

TSPT：基于预训练的三阶段复合式文本摘要模型

抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可以生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型（TSPT）,结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。