卷积自注意力编码过滤的强化自动摘要模型

技术是一种能从海量文本中获取重要信息的方法,它可以缓解大数据时代信息过载的问题.传统基于编码-解码自动摘要模型生成的摘要易出现句内重复、语义无关等现象,不利于读者理解文本的核心思想.受人工摘要书写方式的启发,即先理解文本局部信息,再从全局层面归纳信息、书写摘要,提出一种基于卷积自注意力编码过滤的自动摘要模型(CSAG).模型由编码器、卷积自注意力门控单元、解码器组成,结合卷积神经网络可以提取局部特征,多端自注意力机制可以学习长期依赖关系,模型可以根据上下文的局部和全局特征,从不同角度和不同层面提取文本潜在信息,确保模型生成正确流畅的摘要.然后通过策略梯度强化学习可直接利用不可微的度量指标ROUGE对模型进行优化,避免推理过程中出现曝光偏差问题.在Gigaword数据集上的多组对比实验结果表明,该文提出的模型在自动摘要任务上具有一定的优势.     

并行注意力机制在图像语义分割中的应用

在卷积神经网络中融入注意力机制越来越成为语义分割强化特征学习的重要方法.提出了一种融合了局部注意力和全局注意力的卷积神经网络.输入图像经主干网络的特征提取,并行输入给局部注意力和全局注意力模块.局部注意力模块以编码-解码结构实现多尺寸的局部特征融合,全局注意力模块根据每个像素与其所在特征图上所有像素的相关性捕获全局信息...     

DAPC：结合双注意力和指针覆盖的文本摘要模型

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC（Dual Attention and Pointer-Coverage based model）模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。     

基于改进Sequence-to-Sequence模型的文本摘要生成方法

基于循环神经网络和注意力机制的Sequence-to-Sequence模型神经网络方法在信息抽取和自动摘要生成方面发挥了重要作用。然而，该方法不能充分利用文本的语言特征信息，且生成结果中存在未登录词问题，从而影响文本摘要的准确性和可读性。为此，利用文本语言特征改善输入的特性，同时引入拷贝机制缓解摘要生成过程未登录词问题。在此基础上，提出基于Sequence-to-Sequence模型的新方法Copy-Generator模型，以提升文本摘要生成效果。采用中文摘要数据集LCSTS为数据源进行实验，结果表明所提方法能够有效地提高生成摘要的准确率，可应用于自动文本摘要提取任务。     

基于词注意力卷积神经网络模型的情感分析研究

情感分类任务需要捕获文本中的情感特征,利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks,CNN)已经被证明拥有出色的特征学习能力,但是该模型无法判别输入文本中特征词与情感的相关性,卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型,该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks,WACNN)。相比于卷积神经网络,该模型以篇章的文本信息作为输入,首先在词嵌入层之后增加注意力机制层,获取重要的局部特征词,使模型有选择地进行特征提取;然后在卷积层中增加大小为1的卷积核,提取单一词的特征;最后该方法对输入文本进行适当的文本填充,保证每个词都存在上下文信息,使模型有效提取到每个词的n-grams局部特征,避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.5%和2%的提升。     

结合主题信息聚类编码的文本摘要模型

结合注意力机制的序列到序列模型在生成式文本摘要的研究中已取得了广泛应用,但基于该模型的摘要生成技术依然存在信息编码不充分、生成的摘要偏离主题的问题,对此提出了一种结合主题信息聚类编码的文本摘要生成模型TICTS(theme information clustering coding text summarization)。将传统的抽取式文本摘要方法与基于深度学习的生成式文本摘要方法相结合,使用基于词向量的聚类算法进行主题信息提取,利用余弦相似度计算输入文本与所提取关键信息的主题相关性,将其作为主题编码的权重以修正注意力机制,在序列到序列模型的基础上结合主题信息与注意力机制生成摘要。模型在LCSTS数据集上进行实验,以ROUGE为评价标准,实验结果相对于基线模型在ROUGE-1的得分上提高了1.1,ROUGE-2提高了1.3,ROUGE-L提高了1.1。实验证明结合主题信息聚类编码的摘要模型生成的摘要更切合主题,摘要质量有所提高。     

基于双编码器的中文文本摘要技术的研究与实现

针对自然语言处理领域生成式文本摘要任务中存在的语义编码不充分、摘要语句不通顺问题,提出一种基于序列到序列(Seq2Seq)结构的生成式摘要模型TCAtten-GRU.采用双编码器对源文信息进行充分编码,应用时间卷积网络(TCN)获取全文的语义信息,卷积神经网络(CNN)提取文本的高层特征.解码器采用结合指针机制和集束搜索的门控循环单元(GRU)解决生成摘要不通顺问题.中文短文本摘要数据集LCSTS的实验结果表明,该模型与RNN、RNN con-tent、MC-LSTM+atten和BiGRU-GRU+atten这4个模型对比,ROUGE-1提高了0.037-0.155,ROUGE-2提高了0.075-0.156,ROUG E-L提高了0.035-0.157,验证了该模型可以有效提升摘要质量.     

基于注意力-拷贝机制的复杂文本摘要生成方法

自动文本摘要是一种利用计算机从原始文本中提取出一段能够反映原始文本主旨的连贯短文的文本摘要方法.所提出的基于注意力机制与拷贝机制的编码-解码抽象式文本摘要模型,能够在把握整体语义的同时利用注意力机制生成关键信息和局部细节;并通过借鉴人工摘要的复制思想,引入拷贝机制,提高模型的实体识别能力;同时使用文本简化、批量归一化和计划采样对模型进行了强化.通过使用中国裁判文书网法律文书数据集进行验证,结果表明所提方法能够应用于复杂文本摘要生成,也初步探讨了文本摘要在法律自动判决上的应用.     

改进编码-解码框架下的跨站脚本检测

为解决传统机器学习方法特征提取工作艰难导致对跨站脚本检测性能有限的问题,提出应用注意力机制改进编码-解码框架的方法并以此建立模型检测跨站脚本。由卷积神经网络和双向门控循环单元网络并行构成编码器,既考虑输入数据上下文信息,又充分提取有效特征;使用注意力机制解决传统编码-解码框架的“分心问题”;使用门控循环单元网络构成解码器,使用分类器进行分类检测。在收集到的数据集上进行仿真实验,验证了模型的有效性和性能优势。     

融入领域术语词典的司法舆情敏感信息识别

司法舆情敏感信息识别主要是从海量网络文本中识别出与司法领域相关的敏感舆情。当前,面向司法舆情敏感信息识别的研究较少,相比通用领域的敏感信息识别任务,司法舆情敏感信息具有描述不规范、冗余信息多以及领域词汇过多等特点,这使得通用模型并不适用该任务。为此,该文提出融入领域术语词典的司法舆情敏感信息识别模型。首先使用双向循环神经网络和多头注意力机制对舆情文本进行编码,得到具有权重信息的文本表示;其次将领域术语词典作为分类的指导知识,与舆情文本表征构建相似矩阵,得到融入领域术语词典的司法敏感文本表征;然后利用卷积神经网络对其进行局部信息编码,再利用多头注意力机制获取具有敏感权重的局部特征;最后实现司法领域敏感信息识别。实验结果表明,相比Bi-LSTM Attention基线模型,F₁值提升了8%。     

基于文本结构和图卷积网络的生成式摘要

目前主流的生成式自动文摘采用基于编码器—解码器架构的机器学习模型,且通常使用基于循环神经网络的编码器。该编码器主要学习文本的序列化信息,对文本的结构化信息学习能力较差。从语言学的角度来讲,文本的结构化信息对文本重要内容的判断具有重要作用。为了使编码器能够获取文本的结构信息,该文提出了基于文本结构信息的编码器,其使用了图卷积神经网络对文本进行编码。该文还提出了一种规范融合层,旨在使模型在获取文本结构信息的同时,也能关注到文本的序列化信息。另外,该文还使用了多头注意力机制的解码器,以提高生成摘要的质量。实验结果表明,在加入该文所提出的文本结构信息编码器、规范融合层后,系统性能在ROUGE评价指标上有显著的提高。     

融合上下文信息和关键信息的文本摘要

文本摘要的一个迫切需要解决的问题是如何准确地概括文本的核心内容.目前文本摘要的主要方法是使用编码器-解码器架构,在解码过程中利用软注意力获取所需的上下文语义信息.但是,由于编码器有时候会编码过多的信息,所以生成的摘要不一定会概括源文本的核心内容.为此,该文提出一种基于双注意指针网络的文本摘要模型.首先,该模型使用了双注...     

结合全局-局部特征和注意力的图像描述方法

为了进一步提高图像描述生成文本的精度,提出一种结合全局-局部特征和注意力机制的图像描述方法。该方法在传统的编码器-解码器模型上进行改进,从整体角度来看,编码器阶段使用残差网络ResNet101提取图像的全局特征和局部特征,以避免对象丢失或对象预测错误问题,在解码器阶段采用嵌入改进后的注意力机制的双向[GRU]生成文本序列。从局部角度来看,该模型提出的注意力机制是一种独立的循环结构,通过计算图像局部特征向量与语义向量之间的相似度来获取注意力权重,增强图像特征与语义信息之间的映射。在MSCOCO数据集上的实验结果显示,该算法在BLEU、CIDEr、METEOR等评价指标上均获得了不同程度的提升,表明使用该模型生成的描述文本准确度高且细节丰富。     

融合BERT和卷积门控的生成式文本摘要方法

结合注意力机制的循环神经网络(RNN)模型是目前主流的生成式文本摘要方法,采用基于深度学习的序列到序列框架,但存在并行能力不足或效率低的缺陷,并且在生成摘要的过程中存在准确率低和重复率高的问题.为解决上述问题,提出一种融合BERT预训练模型和卷积门控单元的生成式摘要方法.该方法基于改进Transformer模型,在编码器阶段充分利用BERT预先训练的大规模语料,代替RNN提取文本的上下文表征,结合卷积门控单元对编码器输出进行信息筛选,筛选出源文本的关键内容;在解码器阶段,设计3种不同的Transformer,旨在探讨BERT预训练模型和卷积门控单元更为有效的融合方式,以此提升文本摘要生成性能.实验采用ROUGE值作为评价指标,在LCSTS中文数据集和CNN/Daily Mail英文数据集上与目前主流的生成式摘要方法进行对比的实验,结果表明所提出方法能够提高摘要的准确性和可读性.     

融合关键词的中文新闻文本摘要生成

The existing seq2seq model often suffers from semantic irrelevance when generating summaries, and does not consider the role of keywords in summary generation. Aiming at this problem, this paper proposes a Chinese news text abstractive summarization method with keywords fusion. Firstly, the source text words are input into the Bi-LSTM model in order. The obtained hidden state is input to the sliding convolutional neural network, so local features between each word and adjacent words are extracted. Secondly, keyword information and gating unit are used to filter news text information, so as to remove redundant information. Thirdly, the global feature information of each word is obtained through the self-attention mechanism, and the hierarchical combination of local and global word features representation is obtained after encoding. Finally, the encoded word feature representation is input into the LSTM model with the attention mechanism to decode the summary information. The method models the n-gram features of news words through a sliding convolutional network. Based on this, the self-attention mechanism is used to obtain hierarchical local and global word feature representations. At the same time, the important role of keywords in abstractive summary is considered, and the gating unit is used to remove redundant information to obtain more accurate news text information. Experiments on Sogou's news corpus show that this method can effectively improve the quality of summary generation, and effectively enhance the values of ROUGE-1、ROUGE-2、ROUGE-L.     

Improving the readability and saliency of abstractive text summarization using combination of deep neural networks equipped with auxiliary attention mechanism

Rapid and exponential development of textual data in recent years has yielded to the need for automatic text summarization models which aim to automatically condense a piece of text into a shorter version. Although various unsupervised and machine learning-based approaches have been introduced for text summarization during the last decades, the emergence of deep learning has made remarkable progress in this field. However, deep learning-based text summarization models are still in their early steps of development and their potential has yet to be fully explored. Accordingly, a novel abstractive summarization model is proposed in this paper which utilized the combination of convolutional neural network and long short-term memory integrated with auxiliary attention in its encoder to increase the saliency and coherency of generated summaries. The proposed model was validated on CNN\Daily Mail and DUC-2004 datasets and empirical results indicated that not only the proposed model outperformed existing models in terms of ROUGE metric but also its generated summaries had higher saliency and readability compared to the baseline model according to human evaluation.

     

基于分类的中文文本摘要方法

自动文本摘要是自然语言处理领域中一项重要的研究内容,根据实现方式的不同其分为摘录式和理解式,其中理解式文摘是基于不同的形式对原始文档的中心内容和概念的重新表示,生成的文摘中的词语无需与原始文档相同。提出了一种基于分类的理解式文摘模型。该模型将基于递归神经网络的编码-解码结构与分类结构相结合,并充分利用监督信息,从而获得更多的摘要特性;通过在编码-解码结构中使用注意力机制,模型能更精确地获取原文的中心内容。模型的两部分可以同时在大数据集下进行训练优化,训练过程简单且有效。所提模型表现出了优异的自动摘要性能。