时序行为提名的上下文信息融合方法

在针对视频的人体活动定位和识别领域中,现有的时序行为提名方法无法很好地解决行为特征长期依赖性而导致提名召回率较低。针对此问题,提出了一种上下文信息融合的时序行为提名方法。该方法首先采用三维卷积网络提取视频单元的时空特征,然后采用双向门控循环网络构建上下文关系预测出时序行为区间。针对门控循环单元(GRU)存在参数较多和梯度消失的问题,通过输入特征控制门结构增强并行计算能力,通过引入加权平均增强历史和当前时刻信息融合能力,提出了一个简化的门控循环单元(S-GRU)。最后在数据集Thumos14上进行实验验证和比较,结果表明基于双向S-GRU循环网络的时序行为提名方法提高了提名召回率。     

基于门控循环单元网络的输电杆塔螺栓紧固检测

输电塔杆螺栓紧固检测是保障高压电网安全的重要依据,传统的人工检测方法需要员工爬上输电杆塔检测操作,通常伴有一定程度的风险,而采用无人机巡检受许多外在的因素的影响,其检测效果并不理想.因此,本文提出一种基于门控循环单元网络的输电杆塔螺栓紧固检测方法,利用振动传感器和传感分析仪构建一套采集输电铁塔声波数据的作业流程,提取训练样本中声波数据的线性预测倒谱系数LPCC构成特征向量;训练门控循环单元网络(Gated Recurrent Unit,GRU)分类模型从而检测未知紧固状态的声波样本,实验结果达到实用分析性能.通过本算法的应用,解决了在检测输电铁塔螺栓紧固问题上传统方法上的人力和方法性能问题.     

基于特征迁移学习的综合能源系统小样本日前电力负荷预测

基于历史数据和深度学习的负荷预测已广泛应用于以电能为中心的综合能源系统中以提高预测精度,然而,当区域中出现新用户时,其历史负荷数据往往极少,此时,深度学习难以适用.针对此,本文提出基于负荷特征提取和迁移学习的预测机制.首先,依据源域用户历史负荷数据,融合聚类算法和门控循环单元网络构建源域数据的特征提取和分类模型;然后,利用该模型提取当前待预测目标域小样本的特征及其类别信息,进而给出基于特征相似度和时间遗忘因子的特征融合策略;最后,依据融合特征,给出基于迁移学习和特征输入的负荷预测.将所提算法应用于卡迪夫某区域的高中和住宅用电预测中,实验结果表明了该算法在综合能源系统小样本电力负荷预测中的有效性.     

基于循环神经网络的专利价格自动评估

专利价格评估是知识产权交易的重要内容,现有方法在进行专利价格评估时没有有效地考虑专利的市场、法律、技术维度对专利价格的影响,而专利的市场因素对专利价格的评估起到关键作用。针对上述问题,提出一种基于循环神经网络（RNN）的专利价格自动评估方法。该方法以市场法为基础,对其他各种因素进行综合考虑,并利用门控循环单元（GRU）构建RNN的方法实现对专利价格的自动评估。实例测试表明,以专家定性评估结果为基准,所提方法的相对准确度平均为0.85,与层次分析法（AHP）、粗糙集理论方法和逆向传播（BP）神经网络方法相比,所提方法这一相对准确度均值分别提升了3.66%、4.94%和2.41%。     

基于卷积编解码器和门控循环单元的语音分离算法

在大部分基于深度学习的语音分离和语音增强算法中,把傅里叶变换后的频谱特征作为神经网络的输入特征,并未考虑到语音信号中的相位信息。然而过去的一些研究表明,尤其是在低信噪比（SNR）条件下,相位信息对于提高语音质量是必不可少的。针对这个问题,提出了一种基于卷积编解码器网络和门控循环单元（CED-GRU）的语音分离算法。首先,利用原始波形既包含幅值信息也包含相位信息的特点,在输入端以混合语音信号的原始波形作为输入特征;其次,通过结合卷积编解码器（CED）网络和门控循环单元（GRU）网络,可以有效解决语音信号中存在的时序问题。提出的改进算法在男性和男性、男性和女性、女性和女性的语音质量的感知评价（PESQ）和短时目标可懂度（STOI）方面,与基于排列不变训练（PIT）算法、基于深度聚类（DC）算法、基于深度吸引网络（DAN）算法相比,分别提高了1.16和0.29、1.37和0.27、1.08和0.3;0.87和0.21、1.11和0.22、0.81和0.24;0.64和0.24、1.01和0.34、0.73和0.29个百分点。实验结果表明,基于CED-GRU的语音分离系统在实际应用中具有较大的价值。     

基于深度学习的系统日志异常检测研究

系统日志反映了系统运行状态,记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志,对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法,基于log key技术实现日志解析,利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测,具有参数少、训练快的优点,在取得较高检测精度的同时提升了运行速度,适用于大型信息系统的日志分析。     

基于深度残差网络和GRU的SqueezeNet模型的交通路标识别

Existing traffic road sign recognition methods are all based on convolutional neural networks. As the number of the model network layers increases, the recognition accuracy will also be improved, but there are still some problems such as the reduction of efficiency and the increase of the number of parameters. Therefore, an improved SqueezeNet model combining deep residual network with GRU neural network (SqueezeNet IR GRU) is proposed. In order to enhance the learning efficiency, ELU function is used as the activation function. To avoid the disappearance of gradients when the network layer is too deep, a deep residual network is introduced to guarantee the stability of the model, GRU neural network that can memorize the important past features is utilized. Experiments were performed on the Cafir 10 and GTSRB datasets, and their recognition accuracy rates are above 99.13% and 88.25%respectively. The experimental results show that the SqueezeNet IR GRU model not only reduces the parameter amount greatly, but also its convergence, stability and recall rate are all much better than others.     

基于空间变换密集卷积网络的图片敏感文字识别

互联网上含有大量多字体混合、形变、拉伸、左右结构字形、倾斜畸变等复杂场景下的敏感文字图片,在处理相关图片过程中存在特征提取难、识别率低的问题.本文提出基于空间变换网络与密集神经网络的方法对图片敏感文字进行特征提取与变换矫正,使用了深层双向GRU网络与CTC时域连接网络对序列特征信息进行标记预测,序列化处理文本的方式可较好地提升距离较宽文字与模糊文字信息的处理能力.实验结果表明,本模型在Caffe-OCR中文合成数据集和CTW数据集中分别实现了87.0%和90.3%识别准确率,平均识别时间达到了26.3 ms/图.     

基于GRU+LDA的群聊主题挖掘

社交网络发展迅速,即时消息系统已成为人们日常生活中必不可少的沟通交流工具。在线群聊能使人们迅速交流生活、技术及工作等信息,但是由于群聊信息更新较快,大量的信息导致跟进群聊话题是困难的。传统的主题挖掘模型不能很好地适用于群聊文本的挖掘。通过对群聊文本的特征进行分析,提出一种基于GRU和LDA的群聊会话主题挖掘（GLB-GCTM, GRU and LDA Based Group Chat Topic Mining）模型,解决了传统主题模型不能解决的词语顺序问题。首先,假定每个文档有一个基于高斯分布的主题向量,然后根据GRU原理产生每个词的隐含状态,根据当前词的隐含状态的伯努利分布确定当前词是否为停用词,以决定所使用的语言模型。该方法使用笔者加入的10个QQ群最近3个月的群聊数据集进行试验验证,结合对比实验评估标准,该模型能够有效识别出群聊文本中的主题。     

GRU递归神经网络对股票收盘价的预测研究

股票市场是个多变且复杂的非线性动力学系统,股票价格是个具有时序性的数据,基于此选用具有时间记忆功能的GRU（Gated Recurrent Unit）递归神经网络模型来处理时间序列数据的预测问题。本文选取上证中18支证券行业股票的日收盘价数据,该数据截止日期为2017年12月29日,每支股票数据量为1000天。本文作了2个实证研究,一方面用GRU递归神经网络预测未来10天的股票日收盘价,实证结果表明,GRU递归神经网络的测试误差和验证误差都比其余2个模型得到的同种类型的误差要小,而GRU递归神经网络在预测未来10天日收盘价的精度达到了98.3%,体现了GRU强大的学习能力和泛化能力。另一方面,对比序列长度分别为240天、120天以及60天时,GRU递归神经网络的测试误差、预测收盘价的方差以及验证误差。结果表明面对不同序列长度的数据集,GRU预测精度都很高,序列长度为240天的GRU模型得到的测试结果的方差明显低于其他2个,说明其稳定性更好。