基于循环神经网络的散焦图像去模糊算法

近年来,基于深度学习的运动模糊去除算法得到了广泛关注,然而单幅散焦图像去模糊算法鲜有研究。为针对性地解决单幅图像的散焦模糊问题,提出一种基于循环神经网络的散焦图像去模糊算法。首先级联两个残差网络,分别完成散焦图估计和图像去模糊;随后,为了保证散焦图和清晰图像的深度特征可以更好地跨阶段传播以及阶段内相互作用,在残差网络中引入LSTM（long short-term memory）循环层;最后,整个残差网络进行了多次迭代,迭代过程中网络参数共享。为了训练网络,制作了一个合成散焦图像数据集,每一张散焦图像都包含对应的清晰图像和散焦图。实验结果表明,该算法相较于对比算法在主客观图像质量评价上均有显著优势,在复原结果中具有更锐利的边缘和清晰的细节。对于真实双像素图像散焦模糊数据集DPD,该算法相比DPDNet-Single在峰值信噪比（PSNR）和结构相似性（SSIM）上分别提高了0.77 dB、5.6%,因此所提方法可以有效处理真实场景散焦模糊。     

基于递归神经网络的风暴潮增水预测

风暴潮增水的准确预测能极大地减少人员伤害和经济损失,具有重要的实用价值。传统的风暴潮预报方法主要包括经验和数值预报,很难建立起相对准确的模型。现有的基于机器学习风暴潮预报方法大都只提取出静态数据间的关系,并没有充分挖掘出风暴潮数据背后的时序关联特性。文中提出了一种基于递归神经网络的风暴潮增水预测方法。本文对风暴潮时序数据进行特定的处理,并设计合适结构的递归神经网络,从而完成时序数据的预测。相较于传统的BP神经网络,递归神经网络能更好地应对时序数据的预测问题。将该方法用于潍坊水站的增水预测中,结果表明,相对于BP神经网络,递归神经网络能得到更好的预测结果,误差更小。     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于递归神经网络的加速度传感器动态特性补偿

提出了一种基于递归神经网络的加速度传感器动态性能补偿方法,利用神经网络良好的非线性映射能力,建立传感器的动态逆模型,用实际工作参数训练神经网络,实现对加速度传感器动态特性的补偿。实验结果表明:经过动态补偿后,加速度传感器的系统工作频带得以拓宽,检测信号达到稳态的时间从补偿前的7m s缩短到大约1m s,传感器的动态性能得到明显的改善。     

基于递归神经网络的网络流量组合预测模型

为了提高网络流量的预测精度,提出了一种基于Elman递归神经网络,小波和自回归的网络流量组合预测模型.对流量时间序列进行小波分解,得到小波变换尺度系数序列和小波系数序列,对具有平稳特征的尺度系数序列用AR模型进行预测:而对体现了网络流量非线性、非平稳特性的小波系数序列使用Elman递归神经网络进行预测,最后通过Mallat算法重构得到网络流量的预测值.     

基于FPGA的递归神经网络加速器的研究进展

递归神经网络(RNN)近些年来被越来越多地应用在机器学习领域,尤其是在处理序列学习任务中,相比CNN等神经网络性能更为优异。但是RNN及其变体,如LSTM、GRU等全连接网络的计算及存储复杂性较高,导致其推理计算慢,很难被应用在产品中。一方面,传统的计算平台CPU不适合处理RNN的大规模矩阵运算;另一方面,硬件加速平台GPU的共享内存和全局内存使基于GPU的RNN加速器的功耗比较高。FPGA 由于其并行计算及低功耗的特性,近些年来被越来越多地用来做 RNN 加速器的硬件平台。对近些年基于FPGA的RNN加速器进行了研究,将其中用到的数据优化算法及硬件架构设计技术进行了总结介绍,并进一步提出了未来研究的方向。     

分层神经网络在入侵检测系统中的应用

入侵检测技术是提高网络安全的重要手段之一,旨在利用分层神经网络解决入侵检测问题。针对入侵检测研究的通用审计数据集,首先将数据进行预处理以便运算;其次利用RBF网络实现粗检测;再次利用Elman BP网络进行细检测,从而实现分层神经网络的入侵检测;最后在MATLAB平台下进行仿真实验,仿真结果表明,分层神经网络结构在入侵检测中体现出良好的特性。     

An automated hierarchical gait pattern identification tool employing cross-correlation-based feature extraction and recurrent neural network based classification

Abstract: In this paper Elman's recurrent neural network (ERNN) is employed for automatic identification of healthy and pathological gait and subsequent diagnosis of the neurological disorder in pathological gaits from the respective gait patterns. Stance, swing and double support intervals (expressed as percentages of stride) of 63 subjects were analysed for a period of approximately 300 s. The relevant gait features are extracted from cross-correlograms of these signals with corresponding signals of a reference subject. These gait features are used to train modular ERNNs performing binary and tertiary classifications. The average accuracy of binary classifiers is obtained as 90.6%–97.8% and that of tertiary classifiers is 89.8%. Hence, two hierarchical schemes are developed each of which uses more than one modular ERNN to segregate healthy, Parkinson's disease, Huntington's disease and amyotrophic lateral sclerosis subjects. The average testing performances of the schemes are 83.8% and 87.1%.     

服务器性能预测的递归神经元网络方法

正确有效地预测服务器性能负载,是计算机系统性能管理系统的一个重要环节。通常,传统的预测方法有最小二乘、二次指数平滑法等,但这些模型往往不能很好地捕捉服务器性能负载数据的时序关系。利用基于局部回归的递归神经网络（RNN）,采用改进的RPROP学习算法进行服务器性能负载的预测。并与传统的二次指数平滑法相比较,实验结果证明,RNN得到的预测结果要比二次指数平滑法高出5个百分点以上,并且有较强的预测能力,可以预测较长周期的数据。     

基于递归神经网络的热电偶测温滞后的动态补偿

提出了一种基于递归神经网络的热电偶测温滞后的动态补偿方法,利用神经网络良好的非线性映射能力,建立传感器的动态逆模型,实现对传感器的动态补偿。实验结果表明:检测信号经过动态补偿后,能够克服传感器的测量滞后,达到稳态的时间从补偿前的26 s缩短到大约5 s,传感器的动态性能得到较大的提高。     

动态递归神经网络在柴油机系统辨识中的应用

对所提出的动态递归神经网络进行了分析,以及如何利用它们来进行系统辨识。设计了用于辨识柴油机的实验,最后在此基础上对柴油机的模型进行了辨识,取得了较好的效果。     

基于自适应递阶遗传算法的神经网络优化策略

基于递阶结构的遗传算法可以同时对多层前向神经网络进行结构优化和权重求解。与基本的遗传算法相比，这种算法不仅在权重训练方面更加快速稳定，而且能在学习过程中确定网络的拓扑结构，具有较高的学习效率，而在遗传过程中采用自适应的交叉和变异概率能有效加快遗传速度和避免早熟现象的出现。     

改进型内部递归神经网络在QSAR中的应用

药物定量构效关系一直是药物现代化研究中的关键问题。现已发现具有一定特征或一定作用机制的同源活性化合物,其主要结构因素与活性强度间存在着一定的关系。通过运用计算机建模仿真、神经元计算等方法,可以搜索化学组成与药效相随变动规律,以及预测未知化合物的生物活性。本文将内部递归神经网络应用到药物定量构效关系建模中。为了提高其网络的性能,本文提出了改进型内部递归神经网络,具体策略包括:运用动量法和自适应学习率改进网络的学习能力,采用提早结束法改善网络的泛化能力,并成功地将其应用于除草剂的定量构效关系建模中。     

基于自适应递归模糊神经网络的污水处理控制

针对污水处理过程中具有的非线性、大时变等特征,提出了一种基于自适应递归模糊神经网络(recurrent fuzzy neural network,RFNN)的污水处理控制方法.该方法利用自适应RFNN识别器建立污水处理过程的非线性动态模型,建立的模型可以为RFNN控制器提供污水处理过程中的状态变量信息,保证了控制器根据系统响应调整操作变量的精确性;并且RFNN辨识器及RFNN控制器基于自适应学习率进行学习,确保了递归模糊神经网络的收敛精度和速度,并通过构造李雅普诺夫函数证明了此算法的收敛性;最后,基于基准仿真模型(benchmark simulation model 1,BSM1)平台进行仿真实验.结果表明,与PID、模型预测控制及前馈神经网络相比,该方法对污水处理中溶解氧浓度和硝态氮浓度的跟踪控制精度具有明显的提升.     

高速公路匝道回归神经网络控制器的设计

提出用回归神经网络进行入口匝道控制的思路。阐述了Elman回归神经网络原理与入口匝道控制原理,选取上、下游时间占有率和车速作为匝道控制器的输入量,并设计了Elman回归神经网络入口匝道控制器,采用一种改进的算法对回归神经网络进行训练。仿真实验表明,该控制器学习误差小,泛化能力好,具有良好的应用前景。     

Structural information aware deep semi-supervised recurrent neural network for sentiment analysis

With the development of Internet, people are more likely to post and propagate opinions online. Sentiment analysis is then becoming an important challenge to understand the polarity beneath these comments. Currently a lot of approaches from natural language processing’s perspective have been employed to conduct this task. The widely used ones include bag-of-words and semantic oriented analysis methods. In this research, we further investigate the structural information among words, phrases and sentences within the comments to conduct the sentiment analysis. The idea is inspired by the fact that the structural information is playing important role in identifying the overall statement’s polarity. As a result a novel sentiment analysis model is proposed based on recurrent neural network, which takes the partial document as input and then the next parts to predict the sentiment label distribution rather than the next word. The proposed method learns words representation simultaneously the sentiment distribution. Experimental studies have been conducted on commonly used datasets and the results have shown its promising potential.     

基于循环神经网络的空载电动出租车的充电桩推荐方法

提出了一种基于循环神经网络的空载电动出租车的充电桩推荐方法（CPRM-IET,charging pile recommendation method for idle electric taxis）,来为空载状态下的电动出租车推荐最佳充电桩。空载状态下的电动出租车移动一般依赖于驾驶人的潜意识移动倾向和驾驶习惯,因此需要根据其历史移动轨迹来预测其未来移动,从而找到充电额外移动最小的若干充电桩。在CPRM-IET中,使用了一种基于双阶段注意力机制的循环神经网络（DA-RNN,dual-stage attention-based recurrent neural network）模型来预测电动出租车的未来轨迹,DA-RNN模型包括输入注意力机制和时间注意力机制。输入注意力机制在每个时刻为输入的行驶记录分配权重,而时间注意机制为编码器的隐藏状态分配权重。根据预测轨迹,再选择额外移动最小的若干充电桩,并推荐给电动出租车驾驶人。仿真结果表明,CPRM-IET可以在额外移动和均方根误差方面取得较好的结果,反映了CPRM-IET可以准确地预测空载电动出租车的未来轨迹,并向这些电动出租车推荐合适的充电桩。     

基于对角递归神经网络的冷凝器污脏测量

提出了一种在线测量冷凝器污脏的新方法。该方法选取传热端差作为研究对象,运用对角递归神经网络建立变工况端差模型,成功分离出冷凝器污脏对端差的影响,准确实现冷凝器污脏程度的在线监测。根据此方法,研制了以数字信号处理器为核心的测量装置,并进行了现场试验,试验结果证明:该方法有效、可行。     

基于自结构动态递归模糊神经网络的无人机姿态控制*

针对无人机非线性、强耦合等特点,提出了基于该自结构动态递归模糊神经网络的姿态控制系统,给出了基于Lyapunov函数的系统稳定性证明。对四层模糊神经网络进行了优化和改进,设计了自结构动态递归模糊神经网络,该网络可以根据系统状态在线更新权值、创建/删除节点、优化网络结构。仿真表明：该控制方法的突出优点是,在兼顾考虑了系统中的不确定性因素、非线性因素及外部干扰并存的情况下,保证系统的稳定性和跟踪性能;同时此网络结构比固定结构的模糊神经网络响应速度快,因此更具优越性。     

基于循环卷积神经网络的实体关系抽取方法研究

针对目前大多数关系抽取中对于文本语料中较长的实体共现句,往往只能获取到局部的特征,并不能学习到长距离依赖信息的问题,提出了一种基于循环卷积神经网络与注意力机制的实体关系抽取模型。将擅长处理远距离依赖关系的循环神经网络GRU加入到卷积神经网络的向量表示阶段,通过双向GRU学习得到词语的上下文信息向量,在卷积神经网络的池化层采取分段最大池化方法,在获取实体对结构信息的同时,提取更细粒度的特征信息,同时在模型中加入基于句子级别的注意力机制。在NYT数据集的实验结果表明提出方法能有效提高实体关系抽取的准确率与召回率。