结合注意力与卷积神经网络的中文摘要研究

目前深度学习已经广泛应用于英文文本摘要领域，但是在中文文本摘要领域极少使用该方法进行研究。另外，在文本摘要领域主要使用的模型是编码-解码模型，在编码时输入的是原始的文本信息，缺乏对文本高层次特征的利用，导致编码的信息不够充分，生成的摘要存在词语重复、语序混乱等问题。因此，提出一种局部注意力与卷积神经网络结合的具备高层次特征提取能力的编码-解码模型。模型通过局部注意力机制与卷积神经网络结合的方式提取文本的高层次的特征，将其作为编码器输入，此后通过基于全局注意力机制的解码器生成摘要。实验结果证明，在中文文本数据集上该模型相对于其他模型有着较好的摘要效果。     

基于改进Sequence-to-Sequence模型的文本摘要生成方法

基于循环神经网络和注意力机制的Sequence-to-Sequence模型神经网络方法在信息抽取和自动摘要生成方面发挥了重要作用。然而，该方法不能充分利用文本的语言特征信息，且生成结果中存在未登录词问题，从而影响文本摘要的准确性和可读性。为此，利用文本语言特征改善输入的特性，同时引入拷贝机制缓解摘要生成过程未登录词问题。在此基础上，提出基于Sequence-to-Sequence模型的新方法Copy-Generator模型，以提升文本摘要生成效果。采用中文摘要数据集LCSTS为数据源进行实验，结果表明所提方法能够有效地提高生成摘要的准确率，可应用于自动文本摘要提取任务。     

基于图注意力和表指针网络的中文事件抽取方法

现有的中文事件抽取方法存在触发词和论元依赖建模不足的问题，削弱事件内的信息交互，导致论元抽取性能低下，特别是论元角色存在重叠的情况下.对此，文中提出基于图注意力和表指针网络的中文事件抽取方法(Chinese Event Extraction Method Based on Graph Attention and Table Pointer Network, ATCEE).首先，融合预训练字符向量和词性标注向量作为特征输入，并利用双向长短期记忆网络，得到事件文本的强化语义特征.再将字符级建模的依存句法图引入图注意力网络，捕获文本中各组成成分的长距离依赖关系.然后，使用表填充的方法进行特征融合，进一步增强触发词和其对应的所有论元之间的依赖性.最后，将学习得到的表特征输入全连接层和表指针网络层，进行触发词和论元的联合抽取，使用表指针网络对论元边界进行解码，更好地识别长论元实体.实验表明：ATCEE在ACE2005和DuEE1.0这两个中文基准数据集上都有明显的性能提升，并且字符级依存特征和表填充策略在一定程度上可以解决论元角色重叠问题.ATCEE源代码地址如下：https://github....     

一种基于注意力机制的中文短文本关键词提取模型

关键词抽取技术是自然语言处理领域的一个研究热点。在目前的关键词抽取算法中,深度学习方法较少考虑到中文的特点,汉字粒度的信息利用不充分,中文短文本关键词的提取效果仍有较大的提升空间。为了改进短文本的关键词提取效果,针对论文摘要关键词自动抽取任务,提出了一种将双向长短时记忆神经网络(Bidirectional Long Shot-Term Memory,BiLSTM)与注意力机制(Attention)相结合的基于序列标注(Sequence Tagging)的关键词提取模型(Bidirectional Long Short-term Memory and Attention Mechanism Based on Sequence Tagging,BAST)。首先使用基于词语粒度的词向量和基于字粒度的字向量分别表示输入文本信息;然后,训练BAST模型,利用BiLSTM和注意力机制提取文本特征,并对每个单词的标签进行分类预测;最后使用字向量模型校正词向量模型的关键词抽取结果。实验结果表明,在8159条论文摘要数据上,BAST模型的F1值达到66.93%,比BiLSTM-CRF(Bidirectional Long Shoft-Term Memory and Conditional Random Field)算法提升了2.08%,较其他传统关键词抽取算法也有进一步的提高。该模型的创新之处在于结合了字向量和词向量模型的抽取结果,充分利用了中文文本信息的特征,可以有效提取短文本的关键词,提取效果得到了进一步的改进。     

DAPC：结合双注意力和指针覆盖的文本摘要模型

基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC（Dual Attention and Pointer-Coverage based model）模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。     

字词融合的双通道混合神经网络情感分析模型

针对双向门控循环神经网络(BiGRU)无法获取文本局部特征,卷积神经网络(CNN)无法聚焦文本全局特征的问题,提出一种字词融合的双通道混合神经网络文本情感分析模型(CW_BGCA).首先,将文本分别用字符级词向量和词语级词向量表示;然后使用门控循环神经网络和卷积神经网络结合的混合神经模型分别从字向量和词向量中提取隐层特征,并分别引入注意力机制进行特征权重分配;最后将双通道网络提取的特征融合,输入到Softmax函数进行分类.在数据集上进行了多组实验验证,该方法取得了93.15%的F1值、93.47%的准确率,优于其他对照模型.试验结果表明,该模型能够有效的提高文本情感分析的性能.     

基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。     

一种新的基于段向量的文本自动摘要方法

文本自动摘要技术在网页搜索和网页内容推荐等多个领域都有着非常广阔的应用前景。经典的文本摘要算法采用统计学的方法来提取文章关键字,进而提取主题句。这种方法在一定程度上忽略了文本的语义和语法信息。近年来,分布式词向量嵌入技术已经应用到文本检索当中,基于该技术提出了一种词向量化的自动文本摘要方法,该方法主要分为4个步骤:词向量生成、基于词向量的段向量生成、关键词提取和主题句抽取,最终实现文本段落的自动摘要。实验结果表明,改进的文本自动摘要方法能够有效提取主题句。     

基于NN-Attention的中文短文本摘要

在以往的Attention模型中, 只采用了Bidirectional-RNN, BRNN对上下文信息是有效的, 但是无法提取文本的高维特征, 所以引入了CNN. 因为基于矩阵变换的Attention模型无法对CNN抽取的特征进行表征, 所以采用全连接神经网络对Attention模型进行改进, 提出了NN-Attention. 为了加速模型的训练, 采用的循环神经网络为GRU. 实验采用CSTSD数据集, 并用TensorFlow完成模型的构建. 实验结果表明, 该模型在CSTSD数据集中可以较好地实现文本摘要的自动生成.     

融合指针网络的新闻文本摘要模型

本文针对实际党建领域中的新闻标题进行自动生成,提出了一种融合指针网络的自动文本摘要模型-Tri-PCN.相比于传统基于编码器-解码器框架的自动文本摘要模型,党建新闻标题生成模型还需要满足(1)从更长的文本序列提取特征;(2)保留关键的党建信息.针对党建新闻比普通文本摘要任务面临更长文本序列问题,论文使用Transformer模型在解码阶段提取多层次全局文本特征.针对党建新闻标题生成过程中需要保留关键的党建信息,论文引入指针生成网络模型的复制机制在新闻标题生成时可以直接从新闻文本中复制关键词信息.实验采用ROUGE值作为评测指标,结果表明本文提出的Tri-PCN模型在党建新闻领域自动文本摘要任务上效果明显优于基准模型,比其他模型具有更好的效果.     

基于综合的句子特征的文本自动摘要

采用了一种综合的文本自动摘要方法来抽取出涵盖范围广、冗余信息少、最能反映文本中心思想的文本摘要.该方法充分考虑文本中的词频、标题、句子位置、线索词、提示性短语、句子相似度等特征因素,构建了一个综合的特征加权函数,运用数学回归模型对语料进行训练,去除冗余句子信息,提取关键句生成摘要.实验评估表明了该方法的可行性、有效性以及在摘要质量方面的优越性.     

一种融合义原的中文摘要生成方法

文本摘要旨在对冗长的文本进行简短精确的总结,同时保留文本的原始语义。该文提出一种融合义原的中文摘要生成方法(Add Sememe-Pointer Model, ASPM),以词为单位在LCSTS数据集上进行实验。算法利用基于Seq2Seq的指针网络模型以解决由于词汇表规模导致的未登录词问题。考虑到中文一词多义现象较多,只通过指针网络模型难以很好地理解文本语义,导致生成的摘要可读性不高。方法引入了义原知识库,训练多义词的词向量表示,准确地捕捉一个词在上下文的具体含义,并对LCSTS中的一些多义词进行义原标注,以使算法能更好地获取数据集中词语的语义信息。实验结果表明,该文提出的融合义原的中文摘要生成方法可以得到更高的ROUGE分数,使生成的摘要更加具有可读性。     

基于FA-TR模型的中文文本摘要生成

针对传统文本生成摘要方法在生成摘要时存在并行能力不足以及事实性错误问题,提出在Transformer框架基础上引入事实感知的FA-T R模型.提取源文本的事实性描述信息,对该信息进行编码后与源文信息编码相融合,加入源文的位置编码一起作为编码器的输入,通过解码器对语义向量进行解码生成目标摘要.该模型改善了生成的摘要歪曲或捏造源文本事实的现象,提高了摘要质量.通过在中文短文本摘要数据集LCSTS实验,采用ROUGE作为评价指标,与其它4种方法进行实验对比与分析,验证了该模型的可行性和算法的有效性.     

基于指针生成网络的中文对话文本摘要模型

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network, PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果.     

基于字符级双通道复合网络的中文文本情感分析

针对传统卷积神经网络（CNN）缺乏句子体系特征的表示,以及传统双向门限循环神经网络（BiGRU）缺乏提取深层次特征能力。以中文文本为研究对象,在字符级词向量的基础上提出双通道的CNN-BiGRU复合网络,同时引入注意力机制的模型进行情感分析。首先,在单通道上利用CNN提取深层次短语特征,利用BiGRU提取全局特征的能力深度学习短语体系特征,从而得到句子体系的特征表示;再通过增加注意力层进行有效特征筛选;最后,采用双通道结构的复合网络,丰富了特征信息,加强了模型的特征学习能力。在数据集上进行多组对比实验,该方法取得92.73%的◢F◣1值结果优于对照组,说明了提出的模型能有效地提高文本分类的准确率。同时在单句测试上量化出模型优势,且实现了模型的实际应用能力。     

面向法律裁判文书的生成式自动摘要模型

当前面向中文内容的自动摘要模型应用于法律裁判文书时,主要采用抽取式方法进行摘要.但由于法律文本比较冗长、结构化程度较低,抽取式摘要的精准度和可靠性有所欠缺.为了获得法律裁判文书的高质量文本摘要,文中提出了一种生成式多模型融合的自动摘要方法.在Seq2Seq模型的基础上,引入注意力(attention)机制,同时通过Bert预训练和强化学习等方法,结合选择门技术,提出了BASR(Bert Based Attention Seq2Seq Reinforced Model)模型.将50000篇法律裁判文书作为语料,以小额诉讼和简易程序类型的裁判文书为代表性研究对象,实验结果证明新模型有较好的效果,在ROUGE评价中相比传统的Seq2Seq+Attention模型取得了均值5.81％的性能提升.     

面向法律裁判文书的生成式自动摘要模型

当前面向中文内容的自动摘要模型应用于法律裁判文书时,主要采用抽取式方法进行摘要.但由于法律文本比较冗长、结构化程度较低,抽取式摘要的精准度和可靠性有所欠缺.为了获得法律裁判文书的高质量文本摘要,文中提出了一种生成式多模型融合的自动摘要方法.在Seq2Seq模型的基础上,引入注意力(attention)机制,同时通过Bert预训练和强化学习等方法,结合选择门技术,提出了BASR(Bert Based Attention Seq2Seq Reinforced Model)模型.将50000篇法律裁判文书作为语料,以小额诉讼和简易程序类型的裁判文书为代表性研究对象,实验结果证明新模型有较好的效果,在ROUGE评价中相比传统的Seq2Seq+Attention模型取得了均值5.81％的性能提升.     

基于改进TextRank的文本摘要自动提取

TextRank算法在自动提取中文文本摘要时只考虑句子间的相似性,而忽略了词语间的语义相关信息及文本的重要全局信息.对此,提出一种基于改进TextRank的文本摘要自动提取算法(SW-TextRank).通过Word2 Vec训练的词向量来计算句子之间的相似度,并综合考虑句子位置、句子与标题的相似度、关键词的覆盖率、关键句子以及线索词等影响句子权重的因素,从而优化句子权重;对得到的候选摘要句群进行冗余处理,选取适量排序靠前的句子并根据其在原文中的顺序重新排列得到最终文本的摘要.实验结果表明,SW-TextRank算法生成摘要的准确性比TextRank算法更高,摘要生成质量更好.     

基于TextRank的自动摘要优化算法

在对中文文本进行摘要提取时,传统的TextRank算法只考虑节点间的相似性,忽略了文本的其他重要信息。首先,针对中文单文档,在现有研究的基础上,使用TextRank算法,一方面考虑句子间的相似性,另一方面,使TextRank算法与文本的整体结构信息、句子的上下文信息等相结合,如文档句子或者段落的物理位置、特征句子、核心句子等有可能提升权重的句子,来生成文本的摘要候选句群;然后对得到的摘要候选句群做冗余处理,以除去候选句群中相似度较高的句子,得到最终的文本摘要。最后通过实验验证,该算法能够提高生成摘要的准确性,表明了该算法的有效性。     

基于改进TextRank的藏文抽取式摘要生成

目前,藏文抽取式文本摘要方法主要是提取文本自身的特征,对句子进行打分,不能挖掘句子中深层的语义信息。该文提出了一种改进的藏文抽取式摘要生成方法。该方法将外部语料库的信息以词向量的形式融入到TextRank算法,通过TextRank与词向量的结合,把句子中每个词语映射到高维词库形成句向量,进行迭代为句子打分,并选取分值最高的句子重新排序作为文本的摘要。实验结果表明,该方法能有效提升摘要质量。该文还在传统ROUGE评测方法的基础上,提出了一种采用句子语义相似度计算的方式进行摘要评测的方法。