基于多注意力CNN的问题相似度计算模型

在智能客服问答系统中,用户所提问句具有咨询意图复杂、上下文相关性弱以及口语化等特点,导致问句相似度计算的准确率不高,出现答非所问的情况。提出一种基于卷积神经网络的相似度计算模型MA-CNN。通过2个不同的注意力机制,同时关注词汇间的语义信息和句子间的整体语义信息,提高智能客服对问题的理解能力。实验结果表明,与基于词向量和基于循环神经网络的模型相比,MA-CNN模型对问句的辨识能力更强,其F1值最高可达0.501。     

基于注意力机制的Siamese-BiLSTM短文本相似度算法

提出将注意力机制引入至孪生网络(Siamese Network)结构,通过注意力机制对句子中单词进行重要性评分,以双向长短时记忆网络(BiLSTM)作为基准系统,获得文本语义的深层次特征表示,从而有效地提升短文本相似度的准确率。实验采用通用公开标注数据集Quora语句对集和蚂蚁金服句对集,结果表明,与传统神经网络以及Siamese-Net网络相比,所提出的算法在短文本相似度总体效果上有明显提升,验证了所提算法的有效性。     

基于Capsule-BiGRU的文本相似度分析算法

针对传统神经网络模型不能很好地提取文本特征的问题,提出基于capsule-BiGRU的文本相似度分析方法,该方法将胶囊网络（capsule）提取的文本的局部特征矩阵和双向门控循环单元网络（BiGRU）提取的文本的全局特征矩阵分别进行相似度分析,得到文本的相似度矩阵,将相似度矩阵融合,得到两个文本的多层次相似度向量,从而进行文本相似度的判定。将传统的胶囊网络进行改进,把与文本语义无关的单词视为噪声胶囊,赋予较小权值,从而减轻对后续任务的影响。针对文本相似度的任务,在文本特征矩阵提取前加入互注意力机制,对于待分析的两个文本,通过计算一个文本中单词与另一文本中所有单词的相似度来对词向量赋予权值,从而能更准确地判断文本的相似度。在Quora Questions Pairs数据集进行实验,实验结果表明所提出的方法准确率为86.16%,F1值为88.77%,结果优于其他方法。     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。     

融合多重注意力机制的卷积神经网络文本分类设计与实现

针对单一的卷积神经网络文本分类模型忽视词语在上下文的语义变化,未对影响文本分类效果的关键特征赋予更高权值的问题,提出了一种融合多重注意力机制的卷积神经网络文本分类模型.该模型将注意力机制分别嵌入卷积神经网络的卷积层前后,对影响文本分类效果的高维特征和低维特征进行权值的重新分配,优化特征提取过程,实现特征向量的精确分类....     

CNN-BiGRU网络中引入注意力机制的中文文本情感分析

传统卷积神经网络（CNN）中同层神经元之间信息不能互传，无法充分利用同一层次上的特征信息，缺乏句子体系特征的表示，从而限制了模型的特征学习能力，影响文本分类效果。针对这个问题，提出基于CNN-BiGRU联合网络引入注意力机制的模型，采用CNN-BiGRU联合网络进行特征学习。首先利用CNN提取深层次短语特征，然后利用双向门限循环神经网络（BiGRU）进行序列化信息学习以得到句子体系的特征和加强CNN池化层特征的联系，最后通过增加注意力机制对隐藏状态加权计算以完成有效特征筛选。在数据集上进行的多组对比实验结果表明，该方法取得了91.93%的F1值，有效地提高了文本分类的准确率，时间代价小，具有很好的应用能力。     

基于语义的文本相似度算法研究

文本相似度算法研究一直是文本挖掘领域非常重要的算法,指采用一定的策略比较两个文本之间的相似程度,目前文本相似度算法已经在文本分类、文本聚类、自然语言处理等多个领域崭露头角。本文主要就语义角度出发对文本之间相似度进行界定。     

基于文本相似度的关键词分类算法

由于对文档进行分类有时并不能有效地满足信息检索的需要,文本提出了一种在文本分类的基础上的关键词分类算法,用于优化基于多关键词组合的搜索系统。     

混合神经网络模型与注意力机制的地址匹配算法

中文地名地址的标准化在当前智慧城市的建设中起到至关重要的作用。传统的地名地址标准化技术通常使用基于文本字符层面的相似度计算或规则库匹配的方法,对复杂、特殊或冗余地址的处理效果较差。通过将地址标准化任务转换为针对地址相似的匹配度计算任务,提出了一种融合注意力机制与多层次语义表征的地址匹配算法。首先依据地址文本特殊的语法结构,利用Trie语法树构建标准地址树;而后基于注意力机制,利用Bi-LSTM网络与CNN网络生成地址对的多层次语义表示;最后通过曼哈顿距离计算相似度。在自主构建的数据集上,提出的SGAM模型的匹配准确度（91.22%）相比TextRCNN、FastText、基于注意力的卷积神经网络（ABCNN）等模型提升了4%~10%,表明SGAM模型在地址匹配任务上有着更好的性能表现。     

基于注意力机制Bi-LSTM算法的双语文本情感分析

针对双语微博情感分析方法稀缺且准确率低的问题,根据相同英文词汇在不同语境下对文本情感作用不同这一事实,提出基于注意力机制的双语文本情感分析神经网络模型。该模型使用双向循环神经网络模型学习文本的特征表示,并引入注意力机制,为文本不同词语赋予不同权重,得到融合特征后新的知识表示,从而实现双语文本情感识别。实验结果显示,与纯中文作为网络输入、纯英文作为网络输入和中英混合文本作为网络输入相比,注意力机制明显优于其他方法;与现有双语情感分析算法相比,该模型有效提升了情感分析的准确率。     

基于短语注意机制的文本分类

基于词注意机制的双向循环神经网络在解决文本分类问题时,存在如下问题:直接对词加权生成文本表示会损失大量信息,从而难以在小规模数据集上训练网络。此外,词必须结合上下文构成短语才具有明确语义,且文本语义常常是由其中几个关键短语决定,所以通过学习短语的权重来合成的文本语义表示要比通过学习词的权重来合成的更准确。为此,该文提出一种基于短语注意机制的神经网络框架NN-PA。其架构是在词嵌入层后加入卷积层提取N-gram短语的表示,再用带注意机制的双向循环神经网络学习文本表示。该文还尝试了五种注意机制。实验表明: 基于不同注意机制的NN-PA系列模型不仅在大、小规模数据集上都能明显提高分类正确率,而且收敛更快。其中,模型NN-PA1和NN-PA2明显优于主流的深度学习模型,且NN-PA2在斯坦福情感树库数据集的五分类任务上达到目前最高的正确率53.35%。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

融合残差连接与通道注意力机制的Siamese目标跟踪算法

针对Siamese跟踪算法在目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题,提出一种融合残差连接与通道注意力机制的目标跟踪算法.首先,通过残差连接将模板分支网络提取的浅层结构特征与深层语义特征进行有效的融合,以提高模型的表征能力;其次,引入通道注意力模块,使模型自适应地对不同语义目标特征通道加权,以提高模型...     

基于注意力机制的双通道DAC-RNN文本分类模型

在对中文文本进行分类的过程中,由于关键特征在整个文本中具有分布不均匀的特点,容易出现关键特征丢失的问题,降低了分类的准确性。针对这一问题,提出一种基于注意力机制的双通道文本分类模型。将输入文本通过词嵌入进行向量表示,利用Bi-LSTM通道提取文本中的上下文关联信息,利用CNN通道提取文本中连续词间的局部特征。在两个通道中均引入注意力机制进行全局权重分配,使模型能够进一步关注到文本中的关键词。在CNN通道中,将原始输入向量与各层CNN的输出向量进行选择性融合,从而实现特征重利用。在今日头条和THUCNews两个公开数据集上进行性能评估,实验结果表明,与其他分类模型相比,所提模型的分类准确率分别为97.59%、90.09%,具有更好的分类性能。     

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明：提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.     

融合知识图谱与注意力机制的推荐算法

为了解决信息过载问题,提出了一种融合知识图谱与注意力机制的推荐模型.在该模型中,将知识图谱作为辅助信息进行嵌入,可以缓解传统推荐算法数据稀疏和冷启动问题,并且给推荐结果带来可解释性.为了提升推荐准确率以及捕捉用户兴趣的动态变化,再结合深度学习中的神经网络以及注意力机制生成用户自适应表示,加上动态因子来更好地捕捉用户动态...     

融合三重注意力和评论评分的深度推荐算法

许多购物网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仍有很大的改进空间。一方面是评论中信息参差不齐,掺杂了很多无用信息;另一方面是大多数现有的推荐系统都假设一个用户对于某一商品特征的关注对于所有的商品都是相同的,无法准确体现用户偏好。本文提出一种融合三重注意力和评论评分的方面感知深度推荐模型ANAP（Attention and Neural Aspect Perception）,从词和特征2个层面出发,通过构造2种不同的注意力网络提取评论文本中的重要信息,降低无用信息的影响;为了准确体现用户偏好,通过构造注意力交互网络捕捉用户对不同项目各个方面的不同关注度,实现方面感知的细粒度建模。本文在6个真实数据集上进行实验,同时设计了注意力机制对比实验,结果表明ANAP模型有效提高了评分预测精度,平均绝对误差（Mean Absolute Error, MAE）比现有最佳算法降低了4.86个百分点。     

局部语义与上下文关系的中文短文本分类算法

短文本通常是由几个到几十个词组成,长度短、特征稀疏,导致短文本分类的准确率难以提升。为了解决此问题,提出了一种基于局部语义特征与上下文关系融合的中文短文本分类算法,称为Bi-LSTM_CNN_AT,该算法利用CNN提取文本的局部语义特征,利用Bi-LSTM提取文本的上下文语义特征,并结合注意力机制,使得Bi-LSTM_CNN_AT模型能从众多的特征中提取出和当前任务最相关的特征,更好地进行文本分类。实验结果表明,Bi-LSTM_CNN_AT模型在NLP＆CC2017的新闻标题分类数据集18个类别中的分类准确率为81.31%,比单通道的CNN模型提高2.02%,比单通道的Bi-LSTM模型提高1.77%。     

基于卷积神经网络和注意力模型的文本情感分析*

随着社交网络的兴起,使越来越多的用户针对各类事件更加方便的表达自己的观点。为了发现用户对于某个事件的态度,面向文本信息的情感倾向性分析逐步成为一个研究热点。已有的研究方法大多是根据手工标注好的情感词典,对文本信息使用朴素贝叶斯、支持向量机、最大熵方法等机器学习算法进行情感分析。但是,通过手工方式建立情感词典是一项费时费力的工作,为了避免对情感词典的依赖,本文提出基于卷积神经网络和注意力模型相结合的方法进行文本情感分析的研究。实验表明,本文提出的相关方法较已有的机器学习方法与单纯的卷积神经网络方法较明显的提高。