基于双通道卷积门控循环网络的语音情感识别

为了构建高效的语音情感识别模型,充分利用不同情感特征所包含的信息,将语谱图特征和LLDs特征相结合,构建了一种基于自注意力机制的双通道卷积门控循环网络模型。同时,为了解决交叉熵损失函数无法增大语音情感特征类内紧凑性和类间分离性的问题,结合一致性相关系数提出新的损失函数——一致性相关损失（CCC-Loss）。将语谱图和LLDs特征分别输入CGRU模型提取深层特征并引入自注意力机制为关键时刻赋予更高的权重;使用CCC-Loss与交叉熵损失共同训练模型,CCC-Loss将不同类情感样本的一致性相关系数之和与同类情感样本的一致性相关系数之和的比值作为损失项,改善了样本特征的类内类间相关性,提高了模型的特征判别能力;将两个网络的分类结果进行决策层融合。所提出的方法在EMODB、RAVDESS以及CASIA数据库上分别取得了92.90%、88.54%以及90.58%的识别结果,相比于ACRNN、DSCNN等基线模型识别效果更好。     

基于通道注意力和门控循环单元的图像去雨算法

在计算机视觉领域,雨线或者雨滴会使雨天拍摄的图像变得模糊,降低图像的质量.针对雨天图像质量低下的问题,提出了一种基于通道注意力和门控循环单元的图像去雨算法.该算法基本思路如下:首先将训练图像通过残差记忆模块提取特征;其次将提取的特征通过特征增强模块增加感受野,识别不同等级的雨线特征并将其增强,传递给后续的循环网络;最后网络循环过程中,通过门控循环单元块实现不同循环阶段之间的参数共享.实验结果利用客观评价指标和主观视觉效果进行评估,验证了该算法在较为复杂数据集上的有效性.     

基于残差门控循环卷积和注意力机制的端到端光学乐谱识别方法

光学乐谱识别对推动音乐智能化与数字化有着重大意义。传统的乐谱识别流程冗杂,易导致错误积累,但目前基于序列建模的乐谱识别方法不能从全尺度上获取音符上下文信息,在识别效果上仍有提升空间。为此,提出一种基于残差门控循环卷积和注意力机制的端到端光学乐谱识别方法。以残差门控循环卷积作为骨干网络,丰富模型提取上下文信息能力;结合一个注意力机制解码器,能更好地挖掘乐谱特征信息及其内部相关性,增强模型表征能力并对乐谱图像中的音符及音符序列进行识别。实验结果表明,改进后的网络与原卷积循环神经网络（CRNN）模型相比,符号错误率和序列错误率均显著下降。     

基于膨胀卷积和门控循环单元组合的入侵检测模型

基于机器学习的入侵检测模型在网络环境的安全保护中起着至关重要的作用.针对现有的网络入侵检测模型不能够对网络入侵数据特征进行充分学习的问题,将深度学习理论应用于入侵检测,提出了一种具有自动特征提取功能的深度网络模型.在该模型中,使用膨胀卷积来增大对信息的感受野并从中提取高级特征,使用门控循环单元(GRU)模型提取保留特征...     

基于残差的门控循环单元EI北大核心CSCD

传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit,GRU)的基础上提出了基于残差的门控循环单元(Residual-GRU,Re-GRU)来缓解梯度消失和网络退化问题.Re-GRU的改进主要包括两个方面:1)将原有GRU的候选隐状态的激活函数改为非饱和激活函数;2)在GRU的候选隐状态表示中引入残差信息.对候选隐状态激活函数的改动不仅可以有效避免由饱和激活函数带来的梯度消失问题,同时也能够更好地引入残差信息,使网络对梯度变化更敏感,从而达到缓解网络退化的目的.进行了图像识别、构建语言模型和语音识别3类不同的测试实验,实验结果均表明,Re-GRU拥有比对比方法更高的检测性能,同时在运行速度方面优于Highway-GRU和长短期记忆单元.其中,在语言模型预测任务中的Penn Treebank数据集上取得了23.88的困惑度,相比有记录的最低困惑度,该方法的困惑度降低了一半.     

基于图卷积网络和门控循环单元的多站点气温预测模型

时空预测任务在神经科学、交通、气象等领域应用广泛.气温预测作为典型的时空预测任务,需要挖掘气温数据中固有的时空特征.针对现有气温预测算法存在预测误差大、空间特征提取不充分的问题,提出一种基于图卷积网络和门控循环单元的气温预测(GCN-GRU)模型.首先,使用重新分配权重和多阶近邻连接方式修正图卷积网络(GCN),以有效...     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

基于双微阵列与卷积神经网络的语音识别方法

为解决噪声环境下语音识别率降低以及传统波束形成算法难以处理空间噪声的问题,基于双微阵列结构提出了一种改进的最小方差无畸变响应（MVDR）波束形成方法。首先,采用对角加载提高双微阵列增益,并利用递归矩阵求逆降低计算复杂度;然后,通过后置调制域谱减法对语音作进一步处理,解决了一般谱减法容易产生音乐噪声的问题,有效减小了语音畸变,获得了良好的噪声抑制效果;最后,采用卷积神经网络（CNN）进行语音模型的训练,提取语音深层次的特征,有效地解决了语音信号多样性问题。实验结果表明,提出的方法在经CNN训练的语音识别系统模型中取得了较好的识别效果,在信噪比为10 dB的F16噪声环境下的语音识别率达到了92.3%,具有良好的稳健性。     

基于门控循环单元和胶囊特征的文本情感分析

针对简单的循环神经网络（RNN）无法长时间记忆信息和单一的卷积神经网络（CNN）缺乏捕获文本上下文语义的能力的问题，为提升文本分类的准确率，提出一种门控循环单元（GRU）和胶囊特征融合的情感分析模型G-Caps。首先通过GRU捕捉文本的上下文全局特征，获得整体标量信息；其次在初始胶囊层将捕获的信息通过动态路由算法进行迭代，获取到表示文本整体属性的向量化的特征信息；最后在主胶囊部分进行特征间的组合以求获得更准确的文本属性，并根据各个特征的强度大小分析文本的情感极性。在基准数据集MR上进行的实验的结果表明，与初始卷积滤波器的CNN（CNN+INI）和批判学习的CNN（CL_CNN）方法相比，G-Caps的分类准确率分别提升了3.1个百分点和0.5个百分点。由此可见，G-Caps模型有效地提高了实际应用中文本情感分析的准确性。     

基于循环神经网络的专利价格自动评估

专利价格评估是知识产权交易的重要内容,现有方法在进行专利价格评估时没有有效地考虑专利的市场、法律、技术维度对专利价格的影响,而专利的市场因素对专利价格的评估起到关键作用.针对上述问题,提出一种基于循环神经网络(RNN)的专利价格自动评估方法.该方法以市场法为基础,对其他各种因素进行综合考虑,并利用门控循环单元(GRU)...     

基于门控循环单元和胶囊特征的文本情感分析

针对简单的循环神经网络（RNN）无法长时间记忆信息和单一的卷积神经网络（CNN）缺乏捕获文本上下文语义的能力的问题,为提升文本分类的准确率,提出一种门控循环单元（GRU）和胶囊特征融合的情感分析模型G-Caps。首先通过GRU捕捉文本的上下文全局特征,获得整体标量信息;其次在初始胶囊层将捕获的信息通过动态路由算法进行迭代,获取到表示文本整体属性的向量化的特征信息;最后在主胶囊部分进行特征间的组合以求获得更准确的文本属性,并根据各个特征的强度大小分析文本的情感极性。在基准数据集MR上进行的实验的结果表明,与初始卷积滤波器的CNN（CNN+INI）和批判学习的CNN（CL_CNN）方法相比,G-Caps的分类准确率分别提升了3.1个百分点和0.5个百分点。由此可见,G-Caps模型有效地提高了实际应用中文本情感分析的准确性。     

基于卷积神经网络的翻录语音检测算法

针对翻录语音攻击说话人识别系统,危害合法用户的权益问题,提出了一种基于卷积神经网络（CNN）的翻录语音检测算法。首先,通过提取原始语音与翻录语音的语谱图,并将其输入到卷积神经网络中,对其进行特征提取及分类;然后,搭建了适应于检测翻录语音的网络框架,分析讨论了输入不同窗移的语谱图对检测率的影响;最后,对不同偷录及回放设备的翻录语音进行了交叉实验检测,并与现有的经典算法进行了对比。实验结果表明,所提方法能够准确地判断待测语音是否为翻录语音,其识别率达到了99.26%,与静音段梅尔频率倒谱系数（MFCC）算法、信道模式噪声算法和长时窗比例因子算法相比,识别率分别提高了约26个百分点、21个百分点和0.35个百分点。     

基于时序超图卷积神经网络的股票趋势预测方法

传统的股票预测方法大多基于时间序列模型,忽视了股票之间复杂的关系,并且该关系往往超出成对连接,例如同行业板块内股票或者基金持仓多支股票.针对该问题,提出一种基于时序超图卷积神经网络(HGCN)的股价走势预测方法,根据金融投资事实构造超图模型以拟合股票之间的多元关系,该模型包括两大组件:门控循环单元(GRU)网络和超图卷...     

CNN-BiGRU网络中引入注意力机制的中文文本情感分析

传统卷积神经网络（CNN）中同层神经元之间信息不能互传，无法充分利用同一层次上的特征信息，缺乏句子体系特征的表示，从而限制了模型的特征学习能力，影响文本分类效果。针对这个问题，提出基于CNN-BiGRU联合网络引入注意力机制的模型，采用CNN-BiGRU联合网络进行特征学习。首先利用CNN提取深层次短语特征，然后利用双向门限循环神经网络（BiGRU）进行序列化信息学习以得到句子体系的特征和加强CNN池化层特征的联系，最后通过增加注意力机制对隐藏状态加权计算以完成有效特征筛选。在数据集上进行的多组对比实验结果表明，该方法取得了91.93%的F1值，有效地提高了文本分类的准确率，时间代价小，具有很好的应用能力。