基于注意力GRU算法的滚动轴承剩余寿命预测

针对旋转机械装置中滚动轴承剩余寿命随时间变化趋势难以准确预测问题,充分利用循环神经网络(recurrent neural networks, RNN)对时间序列数据的处理能力,提出一种融合注意力机制的门控循环单元(attention gated recurrent unit, AGRU)算法应用于滚动轴承剩余寿命预测领域之中。该方法首先从原始振动信号中提取多种时域特征构建数据集,并将数据集进行归一化处理,其次,将注意力机制(attention mechanism)引入GRU(gated recurrent unit)模型之中,最后,将特征数据集划分为训练集和测试集,训练集用于训练模型,确定最优模型参数,测试集用于对模型效果进行评估。试验结果表明,改进后的GRU模型可有效预测不同类型的滚动轴承剩余寿命随时间变化趋势,为滚动轴承零件剩余使用寿命预测提供了一种新思路。     

一种基于LSTM循环神经网络和振动测试的结构损伤检测方法

本文提出了一种基于长短期记忆（LSTM）循环神经网络的损伤检测方法,通过直接提取结构动态测试时域数据中的特征实现结构的损伤识别,基于不同损伤情况的重力坝有限元模型生成的加速度数据对LSTM网络进行在不同噪声水平下进行训练和测试,采用网格搜索方法对网络超参数进行优化。数值试验和试验室悬臂梁振动试验结果表明基于LSTM的损伤检测方法具有很高的损伤识别准确率和抗噪能力,其性能相对传统的循环神经网络（RNN）和门控循环单元（GRU）神经网络,不同损伤工况测试准确率均有提升,最高达16.25%。     

基于全局注意力机制和LSTM的连续手语识别算法

目的 为提高连续手语识别准确率,缓解听障人群与非听障人群的沟通障碍。方法 提出了基于全局注意力机制和LSTM的连续手语识别算法。通过帧间差分法对视频数据进行预处理,消除视频冗余帧,借助ResNet网络提取特征序列。通过注意力机制加权,获得全局手语状态特征,并利用LSTM进行时序分析,形成一种基于全局注意力机制和LSTM的连续手语识别算法,实现连续手语识别。结果 实验结果表明,该算法在中文连续手语数据集CSL上的平均识别率为90.08%,平均词错误率为41.2%,与5种算法相比,该方法在识别准确率与翻译性能上具有优势。结论 基于全局注意力机制和LSTM的连续手语识别算法实现了连续手语识别,并且具有较好的识别效果及翻译性能,对促进听障人群无障碍融入社会方面具有积极的意义。     

基于注意力机制的LSTM语音情感主要特征选择

传统的语音情感识别方式采用的语音特征具有数据量大且无关特征多的特点,因此选择出与情感相关的语音特征具有重要意义。通过提出将注意力机制结合长短时记忆网络(Long Short Term Memory, LSTM),根据注意力权重进行特征选择,在两个数据集上进行了实验。结果发现:(1)基于注意力机制的LSTM相比于单独的LSTM模型,识别率提高了5.4%,可见此算法有效提高了模型的识别效果;(2)注意力机制是一种有效的特征选择方法。采用注意力机制选择出了具有实际物理意义的声学特征子集,此特征集相比于原有公用特征集在降低了维数的情况下,提高了识别准确率;(3)根据选择结果对声学特征进行分析,发现有声片段长度特征、无声片段长度特征、梅尔倒谱系数(Mel-Frequency Cepstral Coefficient, MFCC)、F0基频等特征与情感识别具有较大相关性。     

基于一维卷积注意力门控循环网络和迁移学习的轴承故障诊断EI北大核心CSCD

针对实际应用中轴承故障数据获取困难,导致其故障诊断模型的准确性和泛化能力下降的问题,提出了一种基于一维卷积注意力门控循环网络(1DCNN-Attention-GRU)和迁移学习的轴承故障诊断方法。首先,构建基于一维卷积网络(1D convolutional neural networks, 1DCNN)、门控循环网络(gated recurrent unit, GRU)和注意力机制(Attention)的故障诊断网络,解决传统故障诊断方法特征提取过于依赖人工经验的问题;然后,引入迁移学习,利用充足的源域数据训练网络,冻结训练好的网络底层结构,再利用少量目标域数据对网络顶层结构进行微调,得到目标网络模型;最后,采用Softmax函数进行故障分类。实验结果表明,所提方法在不同训练样本比例下的故障诊断准确率均高于1DCNN-GRU、GRU以及支持向量机(support vector machine, SVM),并能在变工况及小样本数据下获得较高的故障诊断准确率,当使用3%目标域数据进行微调时,故障诊断准确率高于98%。     

基于卷积神经网络与门控循环单元的气液两相流流型识别方法

提出了一种基于卷积神经网络(CNN)与门控循环单元(GRU)的垂直管道气液两相流流型识别方法。该方法基于电阻层析成像(ERT)系统的重建图像,对其填充处理后进行离散余弦变换(DCT),求取最大、最小 DCT 系数的差值,选取一定帧数长度数据作为网络输入,对流型进行识别。分析了输入序列长度对CNN-GRU、CNN 及 GRU 网络分类准确的影响,确定了最佳输入向量维度分别为 60、65 及 50,使用实验数据对3种网络进行训练、测试,结果表明,CNN-GRU网络分类准确率最高,平均流型识别准确率可达 99.40%。     

基于CNN-MSLSTM的航空发动机滑油监测方法研究

针对传统的数据特征提取方法难以提取ECT滑油监测数据有效特征的缺陷,提出了一种基于卷积神经网络(convolutional neural network,CNN)和多尺度长短期记忆(multi-scales long short-term memory,MSLSTM)神经网络的双通道网络模型CNN-MSLSTM。将多尺度学习融入LSTM中,CNN和MSLSTM作为两个通道,并行学习数据在空间维度和时间维度的特征,通过注意力机制融合,利用softmax分类器输出发动机的磨损状态。实验结果表明:3尺度的CNN-MSLSTM对ECT数据样本的分类准确率达到98%,F1评分达到98.62%,单组数据的测量时间仅为0.2036ms,总体性能优于单一的CNN和LSTM网络。     

基于GRU神经网络的结构异常监测数据修复方法EI北大核心CSCD

结构健康监测系统中通常存在大量的异常监测数据,为保证数据的完整性和可用性,有必要对异常监测数据进行修复。大多数基于深度学习对异常数据进行修复的研究通常使用单输入维度和单向预测的方法搭建模型。提出一种基于门控循环(gated recurrent unit,GRU)神经网络的结构异常监测数据修复方法,该方法充分利用深度学习神经网络适合处理复杂非线性映射问题的优势,并对GRU神经网络进行了优化与重构。利用结构温度、时序先后相关性优化神经网络的输入和输出构造,并提出了利用异常数据前后时间段的信息进行双向序列预测的方法提升数据预测和修复精度。最后,利用某古城墙的应变、裂缝与温度监测数据进行方法验证,采用重构后的GRU神经网络模型对异常数据序列进行修复,并与长短时记忆(long and short-term memory,LSTM)神经网络和反向传播(back propagation,BP)神经网络的修复精度进行比较。结果表明,相比单输入维度、单向预测的网络模型,重构后的GRU神经网络的预测精度大幅提高,且显著优于LSTM神经网络和BP神经网络。异常数据序列修复后,应变和裂缝宽度等结构响应与结构温度的线性相关性大幅增强。该方法对具有温度相关性的结构监测数据具有良好的修复能力。     

采用大核注意力机制的抗噪轴承故障诊断模型

针对滚动轴承故障诊断模型易受轴承工作环境噪声以及运行数据样本数量影响的特点,提出一种并行大核注意力机制卷积神经网络（PLKACNN）。首先,将一维时间序列通过短时傅里叶变换转化成二维图像作为模型的输入,使用并行大核注意力机制实现对不同维度的故障特征的提取;其次,将并行支路所得的特征图进行堆叠以获得整体信息,最终通过整合卷积层以及全连接层对整体信息进行学习以及分类。结果表明PLKACNN能够有效识别滚动轴承故障程度和故障位置,在带噪数据集上获得平均98.5%的准确率,并且在带噪小样本实验中获得92.81%平均准确率,证明所提PLKACNN具有较好的噪声鲁棒性以及泛化能力。     

基于MACNN的柴油机故障诊断方法研究EI北大核心CSCD

高效、准确的故障诊断可以提高柴油机的安全性和可靠性。传统机械故障诊断方法中人工参与程度过高,对识别结果带来诸多不确定性。针对这一问题,提出一种基于多重注意力卷积神经网络(multiple attention convolutional neural networks,MACNN)的端到端故障诊断方法。该方法采用多层卷积神经网络(convolutional neural networks,CNN)结合卷积注意力模块(convolutional block attention module,CBAM)对原始时域数据进行特征提取;然后,对多维卷积输出特征图进行重组以保留其序列信息;最后,直接采用序列注意力机制完成序列特征的学习。经采用实测柴油机缸盖振动信号数据进行验证后表明:面对8分类柴油机故障数据集,MACNN能够达到97.88%的识别准确率,测试100个样本用时仅为0.35 s。与现有多种传统故障诊断方法和端到端故障诊断方法相比,均具有更好的诊断效果。     

基于注意力机制的TDNN-LSTM模型及应用

在大数据规模下,基于深度学习的语音识别技术已经相当成熟,但在小样本资源下,由于特征信息的关联性有限,模型的上下文信息建模能力不足从而导致识别率不高。针对此问题,提出了一种嵌入注意力机制层（Attention Mechanism）的时延神经网络（Time Delay Neural Network,TDNN）结合长短时记忆递归（Long Short Term Memory,LSTM）神经网络的时序预测声学模型,即TLSTM-Attention,有效地融合了具有重要信息的粗细粒度特征以提高上下文信息建模能力。通过速度扰动技术扩增数据,结合说话人声道信息特征以及无词格最大互信息训练准则,选取不同输入特征、模型结构及节点个数进行对比实验。实验结果表明,该模型相比于基线模型,词错误率降低了3.37个百分点。     

基于3D和1D多特征融合的语音情感识别算法

针对语音情感识别任务中特征提取单一、分类准确率低等问题,提出一种3D和1D多特征融合的情感识别方法,对特征提取算法进行改进。在3D网络,综合考虑空间特征学习和时间依赖性构造,利用双线性卷积神经网络（Bilinear Convolutional Neural Network,BCNN）提取空间特征,长短期记忆网络（Short-Term Memory Network,LSTM）和注意力（attention）机制提取显著的时间依赖特征。为降低说话者差异的影响,计算语音的对数梅尔特征（Log-Mel）和一阶差分、二阶差分特征合成3D Log-Mel特征集。在1D网络,利用一维卷积和LSTM的框架。最后3D和1D多特征融合得到判别性强的情感特征,利用softmax函数进行情感分类。在IEMOCAP和EMO-DB数据库上实验,平均识别率分别为61.22%和85.69%,同时与提取单一特征的3D和1D算法相比,多特征融合算法具有更好的识别性能。     

基于改进鲸鱼算法优化LSTM的滚动轴承故障诊断

适应性动量(Adam)估计优化器易使深度长短时记忆神经网络(long short-term memory,LSTM)陷入局部极小值,导致故障诊断精度过低;鲸鱼算法(whale optimization algorithm,WOA)的寻优区域过大,导致寻优效率过低。针对上述两问题,将WOA进行改进(improved whale optimization algorithm,IWOA),并优化LSTM,提出IWOA-LSTM新方法。所提方法将WOA赋予动量驱动功能,继承了LSTM中的Adam优化器动量项,可优化细胞权值的搜索区域,进而提高权值寻优效率;将其与Adam优化器联合优化更新权值矩阵,以跳出局部最小值,提高故障诊断精度。此外,还系统地分析了学习效率和迭代次数对IWOA-LSTM的诊断精度影响,实现高效的故障诊断分析。通过分析实测滚动轴承内圈、外圈和滚动体三种故障可知,IWOA-LSTM的故障诊断效率分别较浅层BP神经网络(BPNN)、深度卷积神经网络(convolutional neural network,CNN)、深度门限循环单元神经网络(gated recurrent unit,GRU)、LSTM、WOA优化的LSTM(WOA-LSTM)高出了47.60%,38.06%,37.62%,26.82%,22.71%,且实现高达97%的诊断精度。     

基于深度循环神经网络的社交网络用户情感研究

目的 将深度学习与社交网络、情感计算相结合,探索利用深度神经网络进行社交网络用户情感研究的新方法和新技术,探索模型在用户需求分析和推荐上的应用.方法 自动筛选和挖掘海量社交网络数据,研究具有长时记忆的非先验情感预测方法,对网络中海量的用户数据、人与人之间关系进行建模,为关联时间序列创建LSTM模型,并结合其相互关系融入统一的大型深度循环网络中.具体包括:基于注意力模型的社交网络异构数据处理;基于深度LSTM的长时记忆建模,研究子网络选取、深度LSTM设计,以及针对社交网络的大型网络结构设计;基于社交网络情感模型和强化学习的推荐算法.结果 提高了分析的准确度,降低了对先验假设的依赖,减轻了人工情感模型的工作量和偏差,增强了对不同网络数据的普适性;供深度模型使用.结论 研究成果促进了深度学习与情感计算的结合,可推动网络用户行为分析和预测的研究,可用于个性化推荐、定向广告等领域,具有广泛的学术意义和应用前景.     

A Novel Bidirectional LSTM and Attention Mechanism Based Neural Network for Answer Selection in Community Question Answering

Deep learning models have been shown to have great advantages in answer selection tasks. The existing models, which employ encoder-decoder recurrent neural network (RNN), have been demonstrated to be effective. However, the traditional RNN-based models still suffer from limitations such as 1) high-dimensional data representation in natural language processing and 2) biased attentive weights for subsequent words in traditional time series models. In this study, a new answer selection model is proposed based on the Bidirectional Long Short-Term Memory (Bi-LSTM) and attention mechanism. The proposed model is able to generate the more effective question-answer pair representation. Experiments on a question answering dataset that includes information from multiple fields show the great advantages of our proposed model. Specifically, we achieve a maximum improvement of 3.8% over the classical LSTM model in terms of mean average precision.     

基于特征融合进行活动识别的DCNN 5法

研究了输入是可穿戴传感器获得的多通道时间序列信号,输出是预定义的活动的活动识别模型,指出活动中的有效特征的提取目前多依赖于手工和浅层特征学习结构,不仅复杂而且会导致识别准确率下降;基于深度学习的卷积神经网络（ CNN）不是对时间序列信号进行手工特征提取,而是自动学习最优特征;目前使用卷积神经网络处理有限标签数据仍存在过拟合问题。因此提出了一种基于融合特征的系统性的特征学习方法用于活动识别,用ImageNet16对原始数据集进行预训练,将得到的数据与原始数据进行融合,并将融合数据和对应的标签送入有监督的深度卷积神经网络（ DCNN ）中,训练新的系统。在该系统中,特征学习和分类是相互加强的,它不仅能处理端到端的有限数据问题,也能使学习到的特征有更强的辨别力。与其他方法相比,该方法整体精度从87.0％提高到87.4％。