基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于情感融合和层次注意力机制的情感分析

针对两个反义词在相似语境下转化成词向量后空间距离相近,容易造成情感信息丢失,循环神经网络等的特征提取方式容易导致网络依赖增强,难以充分提取局部性特征。针对第一个问题,本文提出情感嵌入模块,在词嵌入的过程中加入情感向量与语义信息作为网络的输入层;针对第二个问题,本文提出层次注意力机制,将融合后的词向量切片形成两个子序列,将单词的词向量输入到双向门控循环网络,利用注意力机制对隐藏层进行加权计算,获得子序列文本信息,通过多个网络层获得整个文本序列信息;最后,经过softmax函数输出文本情感极性。在NLPIR微博语料库和NLPCC2014的微博公开数据集进行实验,表明该情感分析模型在准确率上有所提高,证明了模型的有效性。     

基于Bi-GRU和双层注意力机制的商品评论情感分析

本文针对现有商品评论情感分析模型均没有对商品评论文本进行细粒度划分的缺点,提出一种基于双向门控循环网络(Bi-GRU)和双层注意力机制的商品评论情感分类模型。该模型将商品评论文本划分成词级和句子级,通过Bi-GRU提取商品评论在词级和句子级的特征,同时在词级和句子级分别应用注意力机制对相应信息进行权重重分布,通过层级递进的方式获取到商品评论的情感倾向。实验结果表明,本研究提出的商品评论情感分析模型在评论数据集中取得了93.78%的准确率,相对于使用单层注意力机制的Bi-GRU提升了2.6%。     

基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。     

基于对话者语句交互图神经网络的对话情感分析

对话情感分析任务旨在通过理解人类在对话中表达情绪的方式,结合对话内容及对话者信息,识别对话中的每一个语句的情感分类。不同于其余文本情感分析任务,对话情感分析需要建模对话中的顺序上下文语境。然而,如何更直观有效地建模对话语境,并且充分考虑对话参与者的情绪变化,以提高对话情感分析任务的准确率等问题仍有待探索。因此,本文提出一种基于对话者语句交互图神经网络的对话情感分析模型。首先,通过微调RoBERTa预训练语言模型提取对话文本的语句特征和对话者信息特征;其次,使用Bi-GRU建模对话文本的序列上下文语境,获得上下文语句特征;最后,融合上下文语句特征和对话者信息特征构建对话者语句交互图神经网络模型。在公开数据集MELD上的实验结果表明,与其他基线模型相比,本文所提模型取得了更好的实验性能。     

基于多通道CNN-BiGRU与多特征融合方法

新闻推荐是根据用户的阅读习惯,为其推送更符合需求的内容,然而现有的方法仍存在特征学习不足的问题.针对此问题,提出了一种基于多通道CNN-BiGRU与多特征融合方法,主要由以下四部分组成：(1)词嵌入层.在词向量中融入实体嵌入向量,弥补单独仅使用词向量的不足,完成多通道词向量的构建;(2)多通道CNN-BiGRU模型.此...     

基于卷积神经网络和注意力机制的图像检索

当前先进的图像检索方法中,存在着不能很好地分辨图像中不同区域和内容的重要性的问题,导致计算资源分配不合理、检索正确率较低等一系列结果.为了解决这些问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)和注意力机制的图像检索方法.首先使用卷积神经网络提取特征,然后使用注意力机...     

基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。     

基于CRNN混合神经网络的多语种识别

在语种识别过程中,为提取语音信号中的空间特 征以及时序特征,从而达到提高多语 种识别准确率的目的,提出了一种利用卷积循环神经网络(convolutional recurrent neural network,CRNN)混合神经网络的多语种识别模型。该模型首先提 取语音信号的声学特征;然后将特征输入到卷积神经网络(convolutional neural network,CNN) 提取低维度的空间特征;再通过空 间金字塔池化层(spatial pyramid pooling layer,SPP layer) 对空间特征进行规整,得到固定长度的一维特征;最后将其输入到循环神经 网络(recurrenrt neural network,CNN) 来判别语种信息。为验证模型的鲁棒性,实验分别在3个数据集上进行,结果表明:相 比于传统的CNN和RNN,CRNN混合神经网络对不同数据集的语种识别 准确率均有提高,其中在8语种数据集中时长为5 s的语音上最为明显,分别提高了 5.3% 和6.1%。     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

融合注意力机制与残差网络的人耳识别方法

人耳特征具有良好的唯一性与稳定性等特点,近年来被广泛应用于身份识别领域。针对人耳采集易受头发、耳饰等物品遮挡问题,本文提出了一种基于ERNet的人耳识别方法。该方法在IResNet网络的基础上,引入改进的SE模块,通过融合最大池化与均值池化的统计特性,增强身份相关特征的表示,抑制非相关特征的影响,以此解决在非受控环境下由于遮挡原因造成的识别困难问题。大量实验结果表明,相比较于原网络,改进后的方法识别性能提高较为明显。在同等遮挡条件下,本文所提出的模型具有较好的鲁棒性能。     

基于注意力机制的特征点匹配网络的SLAM方法

已有的实时定位与地图构建(simultaneous localization and mapping,SLAM)方案采用的特征点匹配方法普遍会受视角变化的影响使得特征点的匹配比较困 难,进而 干扰到特征点匹配的精度,最终影响到三维(three-dimensional, 3D) 点云地图构建以及相机运动位姿估计的精度。为 此,本文提出 一种基于注意力机制的特征点匹配网络的SLAM方法。相比于现有的SLA M方法,本 文将SLAM中视觉里程计模块的特征点匹配的方法替换成了一个全新的、基于注意力机制的 特征点匹配网 络的特征点匹配方法,并和传统的特征点提取方法做了一个全新的特征点提取与匹配的组合 ,形成了一个 新的视觉里程计,进而形成了一个新的SLAM方法。首先,通过传统的特征点提取算法进行 特征点的提取, 对提取的特征点及描述子向量进行编码,通过图注意力神经网络进行学习得到匹配描述子, 根据匹配描述 子创建得分矩阵,采用最优传输算法求解最优得分矩阵,计算得到最优匹配点对,到这里就 完成了特征点 提取与匹配的整个过程;基于匹配点对完成相机的定位、建图和回环检测。本文采用KITT I公开数据集 进行实验,实验结果表明采用基于注意力机制特征点匹配网络的SLAM方案,在视角变化不 稳定的情况下,相机运动轨迹误差和相机位姿估计误差的精度明显有所提升。     

基于注意力机制的多分支特征级联图像去雨网络

针对已有去雨网络在不同环境中去雨不彻底和图像细节信息损失严重的问题,本文提出一种基于注意力机制的多分支特征级联图像去雨网络。该模型结合多种注意力机制,形成不同类型的多分支网络,将图像空间细节和上下文特征信息在整体网络中自下而上地进行传递并级联融合,同时在网络分支间构建的阶段注意融合机制,可以减少特征提取过程中图像信息的损失,更大限度地保留特征信息,使图像去雨任务更加高效。实验结果表明,本文算法的客观评价指标优于其他对比算法,主观视觉效果得以有效提升,去雨能力更强,准确性更加突出,能够去除不同密度的雨纹,并且能够更好地保留图像背景中的细节信息。     

结合胶囊网络和卷积神经网络的目标识别模型

通过改进动态路由和压缩函数的方式对Hinton等的胶囊网络模型进行改进。运用了加强数据集的方法,增加了数据集的大小,在一定程度上避免了过拟合现象的发生。通过实验表明,改进后的胶囊网络模型在结构上有了简化,在效率上比未改进的模型有了明显的提高。在改进的胶囊网络模型基础上,提出了将改进后的胶囊网络与卷积神经网络相结合的网络模型。该模型训练准确率达到97.56%,模型评估准确率达88%。     

基于门控卷积神经网络的图像超分辨重建算法北大核心CSCD

近年来,卷积神经网络被广泛应用于图像超分辨率领域。针对基于卷积神经网络的超分辨率算法存在图像特征提取不充分,参数量大和训练难度大等问题,本文提出了一种基于门控卷积神经网络(gated convolutional neural network, GCNN)的轻量级图像超分辨率重建算法。首先,通过卷积操作对原始低分辨率图像进行浅层特征提取。之后,通过门控残差块(gated residual block, GRB)和长短残差连接充分提取图像特征,其高效的结构也能加速网络训练过程。GRB中的门控单元(gated unit, GU)使用区域自注意力机制提取输入特征图中的每个特征点权值,紧接着将门控权值与输入特征逐元素相乘作为GU输出。最后,使用亚像素卷积和卷积模块重建出高分辨率图像。在Set14、BSD100、Urban100和Manga109数据集上进行实验,并和经典方法进行对比,本文算法有更高的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM),重建出的图像有更清晰的轮廓边缘和细节信息。