基于深度LSTM的端到端的语音识别

基于长短时记忆(LSTM)神经网络在语音识别方面的良好性能,本文引入了一种新的深度LSTM方法.该方法利用深度控制门控函数连接多层LSTM单元,在循环神经网络中引入了上下层之间的线性相关性,可以更深层地构建语音模型.同时利用链接时序分类的训练准则进行模型训练,搭建端到端语音识别系统,解决了隐马尔可夫模型需要将标签和序列强制对齐的问题.实验表明,深度LSTM可以提高语音建模的性能,相比使用标准LSTM的模型,在准确率方面提高约4%.     

基于MGU的大规模IP骨干网络实时流量预测

为克服长短时记忆网络(long short-term memory, LSTM)计算成本相当大的弊端,提出基于最小门控单元(minimal gated unit, MGU)的大规模IP骨干网络实时流量预测方法。试验结果表明,与基于LSTM的流量预测方法相比,该方法以较少的模型训练时间获得了相当甚至略优的流量预测性能,在流量预测精度和实时性方面也优于已有的前馈神经网络(feed forward neural network, FFNN)和门控循环单元神经网络(gated recurrent unit, GRU)方法。     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

基于门控循环单元神经网络的广告点击率预估

为提高在线广告的投放效果,改善用户广告体验度,增加广告收益,提出了一种基于门控循环单元神经网络模型的广告点击率预估方法。该方法结合了门控循环单元网络特有的门控单元结构和广告数据时序性特点,利用按时间反向传播算法训练网络模型;提出一种门控循环单元神经网络训练步长改进算法,使得训练时间更少,模型更加精确。实验表明,与逻辑斯特回归、随机森林、朴素贝叶斯和循环神经网络模型相比,提出的方法在广告点击率预估的概率上更准确,有助于广告主、媒体和目标受众用户三方博弈,实现共赢。     

面向文本非结构化数据的输变电系统故障诊断方法

从非结构化数据中提取信息,有效诊断输电系统故障对于精确确定设备的运行状态具有重要意义。提出基于深度学习网络的输变电系统故障诊断方法;面向非结构化数据处理问题,提出非结构化数据特征提取、深度神经网络构建、深度神经网络训练、故障诊断等一系列深度学习处理方式;构建并改进循环神经网络RNN,将长短时记忆模型(LSTM)添加到神经网络中的记忆单元,并提出相应的神经网络训练策略。以南方电网故障巡检报告作为数据源,仿真分析结果验证了该方法的有效性。     

基于深度学习的语音门禁系统设计

基于深度可分离卷积神经网络(Depthwise Separable Convolutional Neural Network,DS-CNN)设计一个嵌入式离线语音门禁系统.系统首先利用深度学习库TensorFlow搭建DS-CNN声学模型并完成模型训练,然后将训练好的模型移植到嵌入式平台实现离线式语音识别,最后根据识别结果控制继电器执行相应动作.为避免人工设计的滤波器在特征提取时造成信息损失,系统采用语音信号的语谱图作为声学模型输入,通过多层卷积单元自动提取说话人语音特征进行分类判断,并引入语音唤醒机制,保证系统的安全性和低能耗.系统测试结果表明,该门禁系统1次识别成功率达95%以上,平均响应时间满足设计要求,具有较好的实用性.     

基于卷积神经网络的目标检测

为了完成视频图像中人体检测,将卷积神经网络和梯度算法结合.将YOLO网络模型结构以及算法函数进行了优化调整.为了保留视频时间信息,引入了卷积神经网络反馈时间维度.采用长短记忆卷积神经网络(LSTM)进行训练,通过将迭代过程的最优解保留,加快了梯度算法中的搜索速度,并且保证收敛于全局最优解.     

基于GRU的结构智能振动控制算法研究

针对人工神经网络在结构振动控制领域中存在对高度非线性函数表达能力不足,易出现过拟合等问题,提出一种基于门控循环单元(GRU)神经网络的结构智能振动控制方法.以3层Benchmark模型为研究对象,构建了适用于结构振动控制的GRU智能控制器,并将其性能与长短时记忆(LSTM)和反向传播(BP)神经网络控制器进行对比.同时...     

基于GRU-RNN的网络入侵检测方法

针对数据集中少数分类用例过采样问题,本文依据网络入侵行为具有时序特征的特点,将门控循环单元记忆模块引入递归神经网络当中,提出了一种基于记忆和时序的入侵检测网络模型——GRU-RNN模型。针对原始攻击数据具有离散性且分布较广的问题,对数据进行数值化及归一化的预处理操作,并对攻击的时序性进行分析,探讨门控循环单元在递归神经网络中应用于入侵检测的可行性,构建GRU-RNN网络模型,选取最优的损失函数、分类函数,提出了基于时序的不平衡学习入侵检测模型,用于检测具有时序特征的攻击行为。将模型应用在KDD数据集中进行实验测试,表明与其他不平衡学习方法相比,本模型具有更好的识别率与收敛性。     

语音识别中卷积神经网络优化算法

为解决卷积神经网络在进行语音识别时通过样本训练神经网络所花费的时间过长的问题,提出了采用分数阶的理论处理卷积神经网络中的节点函数Sigmoid函数,使Sigmoid函数的收敛速度加快,而在不影响卷积神经网络进行语音识别的正确率的前提下,从而达到了减少训练所需时间提高整个神经网络的训练效率的目的 .实验结果表明:在保证正确率的前提下采用分数阶进行处理有效的减少了训练所花的时间.     

基于深度学习的空管语音识别

文章在分析空中交通管制业务的基础上,研究一种适用于我国民航管制通话的端到端语音识别算法。文章设计了基于卷积神经网络和循环神经网络的深度学习模型,以CTC作为损失函数使用已标注数据进行迭代训练,从而优化模型参数。以空中交通管理中的管制通话语音作为模型的输入,最终输出中文汉字和空管专有名词。使用真实采集的管制通话语音数据进行实验,在10 h的训练数据上词错误率为9.49%。实验结果表明,与传统的语音识别算法比较,该算法有更优异的识别效果。     

基于循环神经网络的城市轨道交通短时客流预测

为更好地预测城市轨道交通的短时客流情况,提出了基于循环神经网络模型的预测方法。首先,针对轨道交通进出站客流数据,利用Pearson相关系数确定短时客流影响因素;然后,改进K-means聚类算法划分高、中、低客流量三类轨道站点,分析客流时空分布规律及高峰时间段;最后,采用分别基于长短时记忆神经网络（LSTM）与门控循环单元（GRU）的短时客流预测方法,预测不同类型站点在不同时段的客流。实验结果表明：5 min为预测的最佳时间粒度,在此时间粒度下GRU模型整体性能优于LSTM模型。     

基于深度学习的Vigenère密码变型算法的模拟与分析

以Vigenère密码为代表的古典密码算法仍活跃在云计算和在线短信服务等资源受限场景下，以保障信息的安全。近年来，深度学习技术在密码分析领域初现其独特的优势，而其分析机理还需进一步探索。利用深度学习的机器翻译技术，对Vigenère密码变型算法进行了模拟与分析。首先，提出了一种适用于资源受限设备的改进的Vigenère密码变型算法，利用密文频率分布和重合指数验证了其安全性。其次，基于长短时记忆网络和门控循环单元网络实现了密钥长度达35位字符的Vigenère密码变型算法的模拟，并验证了神经网络模型加解密的高效性。进一步建立了密钥恢复模型，实现了Vigenère密码变型算法30位字符的密钥恢复。最后，给出了神经网络超参数的选择建议。     

感知联合优化的深度神经网络语音增强方法

基于深度神经网络的语音增强模型的训练一般采用均方误差作为代价函数,没有针对语音增强问题进行优化。针对这一问题,从相邻帧网络输出之间的相关性和各时频单元的语音存在情况两方面进行考虑;通过在代价函数中对相邻帧的网络输出进行关联,并设计一个反映时频单元语音存在情况的感知系数,提出了一种感知联合优化的深度神经网络语音增强方法。实验结果表明,相比基于均方误差的语音增强方法,该方法显著地提高了增强语音的语音质量和可懂度,具有更好的语音增强性能。     

基于循环谱和改进的深度神经网络的频谱分析方法

频谱分析的关键在于准确识别信号的调制方式,而常用的自动调制识别方法在低信噪比下的识别率低,并且能够识别的信号调制方式种类数少。基于此种情况,提出了一种基于循环谱和改进的深度神经网络的频谱分析方法。该方法使用卷积神经网络、长短时记忆和深度神经网络相结合的神经网络(CLDNN)并将循环谱特征作为该网络的原始输入特征。仿真结果显示所提出的方法在信噪比为-2 dB时能够达到90%的识别准确率,极大的提高了低信噪比情况下的信号识别性能。     

基于自注意力和门控机制的答案选择模型

针对现有答案选择方法语义特征提取不充分和准确性差的问题,引入自注意力和门控机制,提出了一种答案选择模型。该模型首先在问题和答案文本内部利用层叠自注意力进行向量表示,并在自注意力模块中让单词和位置分开进行多头注意力;然后将答案句通过卷积神经网络(Convolutional neural network, CNN)得到的向量表示输入注意力层,根据问题生成与问题相关的答案表示,并通过门控机制融合两种表示;最后计算问题和答案文本的相关性分数,得到候选答案的排名和标注。结果表明:该模型与双向长短时记忆网络模型、自注意力模型和基于注意力的双向长短时记忆网络模型相比,在WebMedQA数据集上平均倒数排名分数分别提高了8.37%、4.79%和2.03%,预测答案正确率也有提高。这表明提出的模型能够捕获更丰富的语义信息,有效提升了答案选择的性能。     

卷积记忆图协同过滤

针对推荐系统中用户和项目的向量表示问题,提出了一种端到端的具有记忆单元的图神经网络.在图神经网络中引入门控循环单元解决高阶连通节点间信息损失问题,可以使得用户和项目节点从高阶邻居获得更加完整的特征信息,然后利用卷积神经网络对网络输出层间的特征向量进行融合以获得不同阶段下用户的偏好.实验结果表明,与最优对比算法相比,采用所提卷积记忆图协同过滤推荐算法在4个数据集上的评分预测性能分别提升了1.98%,4.17%,9.27%和2.70%.     

基于语音识别的朝鲜语语音检索方法

针对基于语音识别的语音检索方法对语言模型的强依赖问题,通过改进声学模型学习框架提出了一种新的朝鲜语语音检索方法.该方法首先修改KoSpeech框架的网络模型,通过训练得到了朝鲜语的声学模型; 其次通过语音文档分割方法构建了语音文档索引库; 最后利用编辑距离匹配的方法实现了语音检索.实验结果表明,改进的朝鲜语声学模型学习框架降低了语音检索方法对语言模型的依赖和大规模数据集的要求.当k取9时, top -k评价方法的检索均值平均精度达到86.74%, 召回率达到95.25%, 该结果表明本文提出的方法是有效的,具有一定的实际应用价值.     

嵌入注意力机制并结合层级上下文的语音情感识别

由于情感语料问题、情感与声学特征之间关联问题、语音情感识别建模问题等因素,语音情感识别一直充满挑战性.针对传统基于上下文的语音情感识别系统仅局限于特征层造成标签层上下文细节丢失以及两层级差异性被忽略的缺陷,本文提出嵌入注意力机制并结合层级上下文学习的双向长短时记忆(BLSTM)网络模型.模型分3个阶段完成语音情感识别任务,第1阶段提取情感语音特征全集后采用SVM-RFE特征排序算法降维得到最优特征子集,并对其进行注意力加权;第2阶段将加权后的特征子集输入BLSTM网络学习特征层上下文获得最初情感预测结果;第3阶段利用情感标签值对另一独立BLSTM网络训练学习标签层上下文信息并据此在第2阶段输出结果基础上完成最终预测.模型嵌入注意力机制使其自动学习调整对输入特征子集的关注度,引入标签层上下文使其联合特征层上下文实现层级上下文信息融合提高鲁棒性,提升了模型对情感语音的建模能力,在SEMAINE和RECOLA数据集上实验结果表明:与基线模型相比RMSE和CCC均得到较好改善.     

基于Bi -LSTM的面部特征与语音特征的映射模型

针对人脸动画技术中的面部特征与语音特征的映射问题,提出了一种基于双向长短时记忆网络(Bi -LSTM)的映射模型学习方法.首先,在训练视频中同步地分别提取语音信号的MFCC参数和视频帧序列中的人脸特征点参数.其次,训练映射模型过程中将MFCC参数作为Bi -LSTM网络的输入,将面部特征参数作为网络的期望输出,并引入参数调优机制对迭代次数、隐层单元数、批处理大小、优化器类型等进行实验调优,以此得到最优的映射模型.对最优映射模型进行实验结果表明,采用双向Bi -LSTM 网络明显优于单向的LSTM网络,而且经过参数调优后映射准确率达到0.895; 因此,本文方法可以为后续的基于语音驱动的人脸视频合成应用提供有效的人脸特征预测参数.