基于门控循环单元网络的输电杆塔螺栓紧固检测

输电塔杆螺栓紧固检测是保障高压电网安全的重要依据,传统的人工检测方法需要员工爬上输电杆塔检测操作,通常伴有一定程度的风险,而采用无人机巡检受许多外在的因素的影响,其检测效果并不理想.因此,本文提出一种基于门控循环单元网络的输电杆塔螺栓紧固检测方法,利用振动传感器和传感分析仪构建一套采集输电铁塔声波数据的作业流程,提取训练样本中声波数据的线性预测倒谱系数LPCC构成特征向量;训练门控循环单元网络(Gated Recurrent Unit,GRU)分类模型从而检测未知紧固状态的声波样本,实验结果达到实用分析性能.通过本算法的应用,解决了在检测输电铁塔螺栓紧固问题上传统方法上的人力和方法性能问题.     

融合语义特征和知识特征的推荐模型

针对传统推荐模型面临的数据稀疏性问题，提出一种基于结合注意力机制的门控循环单元的融合语义和知识特征的推荐模型。基于知识图谱，使用连续词袋模型捕获项目实体对应的语义特征，依据“偏好扩散”思想进行知识特征的学习，将不同层面特征进行融合后，使用结合注意力机制的门控循环单元挖掘用户潜在兴趣偏好。基于MovieLens数据集的对比实验结果表明，所提模型能够有效提升推荐效果并缓解数据稀疏性问题，通过消融实验验证了该模型各个组件的有效性。     

基于DCNN-GRU模型的XSS攻击检测方法

为了提高跨站脚本攻击的检测效率,利用一维DCNN快速处理时序问题的能力和GRU模型处理上下文具有长期依赖关系问题的能力,提出基于DCNN-GRU模型的XSS攻击检测方法.对原始数据做规范化处理,将数据转化为可以对深度学习网络模型进行输入的特征向量.通过卷积层和池化层处理特征向量,GRU层作为门控机制来保留代码间的依赖关...     

基于编解码器结构的中文文本摘要

传统生成式模型中存在的梯度经过多次传播后,倾向于消失或爆炸,且存在语言理解不充分的性能缺陷,为此提出一种生成式自动文本摘要方法(BiGRUAtten-LSTM).编码器端将原始文本输入到编码器并结合双向门控循环单元生成固定长度的语义向量,使用注意力机制分配每个输入词的权重来减少输入序列信息的细节损失.解码器端使用LSTM网络,融合先验知识和集束搜索方法将语义向量解码生成目标文本摘要.通过工业新闻数据集的实验验证,与传统的生成式文本摘要模型相比,ROUGE-1指标提高0.026、ROUGE-2指标提高0.056、ROUGE-L指标提高0.025.     

基于注意力机制的特征融合-双向门控循环单元多模态情感分析

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型（AMF-BiGRU）。首先,利用双向门控循环单元（BiGRU）来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络层将模态内部信息与模态之间的交互作用相结合;然后,引入注意力机制来确定各模态的注意力权重,并将各模态特征进行有效融合;最后,通过全连接层和softmax层获取情感分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上进行实验。实验结果表明,与传统的多模态情感分析方法（如多注意力循环网络（MARN））相比,AMF-BiGRU模型在CMU-MOSI数据集上的准确率和F1值分别提升了6.01%和6.52%,在CMU-MOSEI数据集上的准确率和F1值分别提升了2.72%和2.30%。可见,AMF-BiGRU模型能够有效提高多模态的情感分类性能。     

基于MLP-HMM的跨站脚本攻击检测

针对隐马尔科夫模型(HMM)在跨站脚本检测中对初始先验假设估计不准确和以极大似然准则规定的HMM参数分类能力差的缺陷,提出了一种基于MLP-HMM的跨站脚本检测模型。首先,使用自然语言处理(NLP)方法解决数据高维复杂性问题。然后,通过多层感知机(MLP)神经网络学习对整个模型进行权值微调得到初始观察矩阵。最后,将该观察矩阵代入HMM中,增强HMM参数构建能力和分类能力。结果表明,结合MLP的HMM相比于原始HMM以及传统算法在跨站脚本检测上检测率有显著提高,并缩短了检测时间。     

一种基于“预读”及简单注意力机制的句子压缩方法

针对英文句子压缩方法进行研究,提出一种基于“预读”及简单注意力机制的压缩方法。在编码器-解码器（encoder-decoder）框架下,以循环门单元（Gated Recurrent Unit,GRU）神经网络模型为基础,在编码阶段对原句语义进行两次建模。首次建模结果作为全局信息,加强二次语义建模,得到更全面准确的语义编码向量。解码阶段充分考虑删除式句子压缩的特殊性,适用简单注意力（3t-Attention）机制,将编码向量中与当前解码时刻最相关的语义部分输入到解码器中,提高预测效率及准确率。在谷歌新闻句子压缩数据集上的实验结果表明,所提压缩方法优于已有公开结果。因此,“预读”及简单注意力机制可有效提高英文句子压缩精度。     

基于深度迁移学习的网络入侵检测

为解决网络入侵检测问题,提高检测准确率和降低误报率,提出一种基于深度迁移学习的网络入侵检测方法,该方法使用非监督学习的深度自编码器来进行迁移学习,实现网络的入侵检测。首先对深度迁移学习问题进行建模,然后对深度模型进行迁移学习。迁移学习框架由嵌入层和标签层实现编/解码,编码和解码权重由源域和目标域共享,用于知识的迁移。嵌入层中,通过最小化域之间的嵌入实例的KL散度来强制源域和目标域数据的分布相似;在标签编码层中,使用softmax回归模型对源域的标签信息进行编码分类。实验结果表明,该方法能够实现网络入侵检测,且性能优于其他入侵检测方法。     

基于ACGRU模型的短时交通流预测

针对现有交通流预测模型未能充分利用交通流数据的时空特征以实现准确预测的问题,提出一种结合注意力机制的卷积门控循环单元预测模型（ACGRU）。该模型利用卷积神经网络（CNN）和门控循环单元（GRU）提取交通流的时空特征,然后使用注意力机制生成含有注意力概率分布的交通流特征表示,同时利用交通流的周相似性提取周期特征,将所有特征相互融合进行回归预测。在真实交通流数据集上的实验表明,提出的ACGRU模型具有更高的预测精度,预测误差相比其他预测模型平均降低了9%。     

基于硬注意力机制的多模态视频字幕的处理

传统的视频字幕生成模型大多都采用编码器—译码器框架。在编码阶段,使用卷积神经网络对视频进行处理。在解码阶段,使用长短期记忆网络生成视频的相应字幕。基于视频的时序相关性和多模态性,提出了一个混合型模型,即基于硬注意力的多模态视频字幕的生成模型。该模型在编码阶段使用不同的融合模型将视频和音频两种模态进行关联,在解码阶段基于长短期记忆网络的基础上加入了硬注意力机制来生成对视频的描述。这个混合模型在数据集MSR-VTT(Microsoft research video to text)上得到的机器翻译指标较基础模型有0.2%~3.8%的提升。根据实验结果可以判定基于硬注意力机制的多模态混合模型可以生成视频的精准描述字幕。     

网络攻击检测的门控记忆网络方法

针对互联网大规模网络攻击检测难题,结合词向量特征表示与循环神经网络,提出了一种门控记忆网络检测方法。该方法首先将网络请求数据转化为低维实值向量序列表示,然后利用门控循环神经网络的长时记忆能力提取请求数据的特征,最后采用逻辑斯特回归分类器实现了对网络攻击的自动检测。在CSIC2010公开数据集上,达到了98.5%的10折交叉验证F1分数,与传统方法相比,较大幅度地提高了网络攻击检测的准确率和召回率。所提方法可自动检测网络攻击,具有良好的检测效果。     

基于GRU型循环神经网络的随机域名检测

随机域名是指由随机域名算法生成的域名,被针对计算机网络系统的恶意软件广泛使用,随机域名的检测任务是域名系统过滤攻击流量的基础性工作.传统方法对随机域名的检测效果不理想,精确率与召回率较低,导致过滤攻击流量时会出现较多的误判.本文提出和实现了一种基于GRU型循环神经网络的随机域名检测模型,该模型首先将域名转换成向量,然后借助GRU自动学习域名向量的特征,最后通过神经网络计算分类.相比于传统方法,该模型不再需要人工提取特征的过程,减少了特征提取的时间.且经过算法生成数据与真实场景数据的实验验证,该方法在随机域名检测任务中相比传统模型表现更加出色.     

基于生成对抗网络的系统日志级异常检测算法

针对大规模软件系统自动化异常检测任务中异常样本过少且异常反馈不及时的问题,提出一种基于生成对抗网络（GAN）与注意力机制的日志级异常检测算法。首先,通过日志模板将非结构化的日志转化为结构化的事件,每一个事件包含了日志的时间戳、签名与变量。其次,以滑动窗口的方式划分解析的事件序列,将产生的事件模式与下一时刻的事件组成真实的数据样本集。然后,将真实的事件模式作为训练样本输入来训练基于注意力机制的生成对抗网络,通过对抗学习的机制训练基于循环神经网络（RNN）的生成器直至收敛。最后,生成器通过输入的流式事件模式生成在新到来的事件模式下的正常与异常事件分布,并在系统管理员设置阈值的情况下,自动判断下一时刻的特定日志为正常事件或是异常事件。实验结果表明,提出的以门控循环单元网络为注意力权重并且用长短时记忆（LSTM）网络来解析事件模式的异常检测算法,比仅使用门控循环单元网络时的算法精准率提高了21.7%;此外,与日志级异常检测算法LogGAN相比,所提算法比LogGAN的异常检测精准率提升了7.8%。     

基于生成对抗网络的系统日志级异常检测算法

针对大规模软件系统自动化异常检测任务中异常样本过少且异常反馈不及时的问题，提出一种基于生成对抗网络（GAN）与注意力机制的日志级异常检测算法。首先，通过日志模板将非结构化的日志转化为结构化的事件，每一个事件包含了日志的时间戳、签名与变量。其次，以滑动窗口的方式划分解析的事件序列，将产生的事件模式与下一时刻的事件组成真实的数据样本集。然后，将真实的事件模式作为训练样本输入来训练基于注意力机制的生成对抗网络，通过对抗学习的机制训练基于循环神经网络（RNN）的生成器直至收敛。最后，生成器通过输入的流式事件模式生成在新到来的事件模式下的正常与异常事件分布，并在系统管理员设置阈值的情况下，自动判断下一时刻的特定日志为正常事件或是异常事件。实验结果表明，提出的以门控循环单元网络为注意力权重并且用长短时记忆（LSTM）网络来解析事件模式的异常检测算法，比仅使用门控循环单元网络时的算法精准率提高了21.7%；此外，与日志级异常检测算法LogGAN相比，所提算法比LogGAN的异常检测精准率提升了7.8%。     

基于GRU和注意力机制的远程监督关系抽取

随着深度学习的发展,越来越多的深度学习模型被运用到了关系提取的任务中,但是传统的深度学习模型无法解决长距离依赖问题;同时,远程监督将会不可避免地产生错误标签。针对以上两个问题,提出一种基于GRU（gated recurrent unit）和注意力机制的远程监督关系抽取方法,首先通过使用GRU神经网络来提取文本特征,解决长距离依赖问题;接着在实体对上构建句子级的注意力机制,减小噪声句子的权重;最后在真实的数据集上,通过计算准确率、召回率并绘出PR曲线证明该方法与现有的一些方法相比,取得了比较显著的进步。     

基于BiGRU-Attention-CNN模型的垃圾邮件检测方法

电子邮件是一种重要的通信工具,但是垃圾邮件问题一直影响着人们日常的工作生活。不断改进垃圾邮件的检测技术、提高垃圾邮件的检测速度和准确率有着重要的研究意义和现实意义。双向门控循环单元（BiGRU）和卷积神经网络（CNN）广泛应用于文本分类领域,二者的结合可以充分发挥BiGRU上下文依赖关系提取能力以及CNN特征提取能力,但是针对垃圾邮件检测问题,还需要考虑邮件中一些特定的词语,因此本文提出一种基于BiGRU-Attention-CNN模型的垃圾邮件检测方法来提高垃圾邮件的检测准确率。模型首先将邮件文本转换成特征向量并进行BiGRU序列化学习,随后引入注意力机制（Attention）对特定词语赋予更大的权重,再将注意力层输入CNN模型,经过卷积、池化、全连接,最终得到分类结果。本文将模型在Trec06c邮件数据集上进行实验,与其他模型进行对比取得了更好的效果,最终模型的准确率达到91.62%。     

基于门控循环神经网络词性标注的蒙汉机器翻译研究

统计机器翻译可以通过统计方法预测出目标词,但没有充分理解原文语义关系,因而得到的译文质量不高。针对该问题,利用一种基于门控单元循环神经网络结构来对蒙汉神经机器翻译系统进行建模,引入注意力机制来获取双语词语的对齐信息,并在构建字典过程中对双语词语进行词性标注来强化语义,以此来缓解因欠训练导致的错译问题。实验结果表明,与RNN的基准系统和传统的统计机器翻译方法相比,该方法BLEU值得到一定的提升。     

一种用于因果式语音增强的门控循环神经网络

传统基于深度学习的语音增强方法为了提高网络对带噪语音的建模能力,通常采用非因果式的网络输入,由此导致了固定时延问题,使得语音增强系统实时性较差。提出一种用于因果式语音增强的门控循环神经网络CGRU,以解决实时语音增强系统中的固定时延问题并提高语音增强性能。为了更好地建模带噪语音信号的相关性,网络单元在计算当前时刻的输出时融合上一时刻的输入与输出。此外,采用线性门控机制来控制信息传输,以缓解网络训练过程中的过拟合问题。考虑到因果式语音增强系统对实时性要求较高,在CGRU网络中采用单门控的结构设计,以降低网络的结构复杂度,提高系统的实时性。实验结果表明,CGRU网络在增强后的语音感知质量、语音客观可懂度、分段信噪比指标上均优于GRU、SRNN、SRU等传统网络结构,在信噪比为0 dB的条件下,CGRU的平均语音感知质量和平均语音客观可懂度分别达到2.4和0.786。     

基于APCNN和BiGRU-Att的单词DGA域名检测方法

为了提高对基于单词的域名生成算法（domain generation algorithm,DGA）生成的恶意域名的检测准确率,提出了一种结合改进的并行卷积神经网络（APCNN）和融合简化注意力机制的双向门控循环单元（BiGRU-Att）的网络模型,该模型能充分学习单词特征、单词之间的组合关系和关键字符信息。实验结果表明,相比Bilbo和CL模型,APCNN-BiGRU-Att模型的分类准确率和F1值更高,表明该模型具有更好的检测效果、多分类效果和稳定性。