基于卷积神经网络的滚动轴承故障诊断方法

为了简单、准确地进行轴承故障诊断,结合深度学习理论,对基于卷积神经网络的滚动轴承故障诊断方法进行了研究;首先,选用了结构相对简单的LeNet5卷积神经网络;然后,对轴承振动信号原始数据进行截取和归一化处理后直接生成生成二维矩阵作为神经网络输入;接着,优选卷积核大小、批大小、学习率及迭代次数等网络模型参数;最后,应用sigmoid函数进行多标签分类;实验结果表明,该方法能有效识别正常状态及不同损伤程度下的内圈、外圈、滚动体故障状态,识别准确率达到99.50%以上水平;基于卷积神经网络的滚动轴承故障诊断方法不仅在一定程度上可以简化故障诊断的过程,而且可以充分利用卷积神经网络模型的优势实现高效准确地故障诊断。     

基于并联CNN-SE-Bi-LSTM的轴承剩余使用寿命预测

滚动轴承作为一种机械标准件,广泛应用于各类旋转机械设备,其健康状况对机器设备的正常运行至关重要,掌握其剩余使用寿命(RUL)可以更好地保证生产活动安全有效的进行.针对目前基于深度学习的机器RUL预测方法普遍存在:a)预测性能很大程度依赖手工特征设计;b)模型不能够充分提取数据中的有用特征;c)学习过程中没有明确考虑多传感器数据等缺点,提出了一种新的深度预测网络——并联多个带有压缩激励机制的卷积神经网络和双向长短期记忆网络集成网络(CNN-SE-Bi-LSTM),用于设备的RUL预测.在该预测网络中,不同传感器采集的监测数据直接作为预测网络的输入.然后,在改进的压缩激励卷积网络(CNN-SE-Net)提取空间特征的基础上进一步通过双向长短期记忆网络(Bi-LSTM)提取时序特征,建立起多个独立的可以自动从输入数据中学习高级表示的RU L预测模型分支.最后,将各独立分支学习到的特征通过全连接层并联获得最终的RU L预测模型.通过滚动轴承加速退化实验的数据,验证了所提网络的有效性并与现有的一些改进算法进行了对比实验.结果表明,面对原始多传感器数据,该算法能够自适应地提供准确的RU L预测结果,且预测表现优于现有一些预测方法.     

基于RBF和优化Wiener模型的轴承剩余寿命预测

针对滚动轴承寿命准确预测缺乏表征其健康状态的可靠退化指标的问题,提出径向基(RBF)神经网络及带有漂移参数的维纳(Wiener)模型进行剩余寿命预测.首先,使用小波包奇异谱熵提取轴承振动信号初始特征;其次,利用早期无故障样本特征和失效样本特征训练RBF神经网络模型,将已提取特征全寿命数据输入到RBF神经网络模型,计算隶...     

基于Teager能量谱和卷积神经网络的滚动轴承故障诊断

在智能制造环境下,针对滚动轴承在变负载驱动环境下特征提取难、故障诊断准确率低的问题,提出基于Teager能量谱和卷积神经网络的滚动轴承故障诊断方法.将不同负载驱动下的多种故障振动信号,通过计算Teager能量算子之后进行快速傅里叶变换,绘图得到Teager能量谱图,形成数据集.使用数据集训练改进的卷积神经网络,得到滚动轴承的故障诊断模型,并通过该模型进行故障诊断.经过实验验证,在变负载驱动环境下,使用Teager能量谱图进行故障诊断结果优于使用原始信号时域图和频域图,轴承不同故障的诊断准确率达到93.35％,同时方法使用卷积神经网络解决了人工提取特征不全面、诊断效率低的问题,具有一定的实用性.     

基于逆残差卷积的轻量级电机轴承故障诊断方法

针对深度神经网络故障诊断方法存在参数量大、难以应用在移动设备上的问题，提出一种基于逆残差卷积的轻量级电机轴承故障诊断方法。提出用电机轴承原始振动信号数据的小波包节点系数重构二维小波包图像，具体来说，以轻量级残差网络(ResNet)为基础，将其中卷积改为更轻量级的深度可分离卷积，从而达到了缩短模型训练时间之目标。实验结果验证了所提方法用于轴承故障诊断的有效性。     

基于时间因子和复合CNN结构的网络安全态势评估

为了解决传统的网络安全态势感知研究方法在网络信息复杂情况下准确率不高等缺陷,文中结合深度学习,提出了一种基于时间因子和复合CNN结构的网络安全态势评估模型,将卷积分解技术和深度可分离技术相结合,形成4层串联复合最优单元结构;将一维网络数据转换为二维矩阵,以灰度值的形式载入神经网络模型,从而有效发挥卷积神经网络的优势.为充分利用数据间的时序关系,引入时间因子形成融合数据,使网络同时学习具备时序关系的原始数据和融合数据,增强模型的特征提取能力,同时利用时间因子和点卷积建立时序数据的空间映射,提高模型结构的完整性.实验结果证明,所提模型在两个数据集上的准确率分别达到了92.89％和92.60％,相比随机森林和LSTM算法提升了2％～6％.     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

基于一维卷积神经网络的恶意代码家族多分类方法研究

为了提取有效的恶意代码特征,提高恶意代码家族多分类的准确率,提出一种改进模型.该模型将恶意代码的特征映射为灰度图,使用改进的恶意样本图像缩放算法进行图像的规范化处理,基于VGG模型构建一维卷积神经网络分类模型ID-CNN-IMIR.实验结果表明,恶意代码特征的提取和处理提升了分类效果;对比经典的机器学习算法、二维卷积神经网络、其他基于深度学习的恶意代码分类模型,ID-CNN-IMIR分类准确率是最好的,达到98.94％.     

基于轻量型卷积神经网络的交通标志识别

针对卷积神经网络在交通标志识别实时性不好,对设备硬件要求过高的缺点,提出了一种具有实时性,高精度的基于轻量型卷积神经网络的改进网络。一方面引入深度可分离卷积和激活函数Mish,加快网络的训练和识别速度,降低对硬件设备的要求;另一方面通过对网络架构及层次的改进,同时合理改变卷积核的大小和数目,加强图片特征的表达与传递。在BelgiumTSC交通标志数据集上的实验结果表明,改进后网络明显提高了网络训练速度,同时识别精度也略高于原网络,验证了改进方法的有效性。通过与其他模型相比,该模型能够更快速准确完成交通标志识别任务,验证了该方法的可行性。     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

A convolutional neural network based degradation indicator construction and health prognosis using bidirectional long short-term memory network for rolling bearings

Health prognosis of rolling bearing is of great significance to improve its safety and reliability. This paper presents a novel health prognosis method for the rolling bearing based on convolutional neural network (CNN) and bidirectional long short-term memory network (BiLSTM) model. First, a new nonlinear degradation indicator (DI) is designed which can be utilized as training label. Then, through learning and capturing the mapping relationship between raw vibration signals and DI of the rolling bearing, a CNN model is introduced to estimate the DI value of the rolling bearing. And, BiLSTM models are set up to carry out health prognosis using the estimated DI, including future DI and remaining useful life prediction. An experiment verification is implemented to validate the effectiveness of the proposed method. Results show the excellent ability of future DI prediction, and demonstrate the superiority of the proposed method in the field of remaining useful life prediction compared with other existing deep learning models.     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

A novel deep convolutional neural network-bootstrap integrated method for RUL prediction of rolling bearing

In this study, a novel deep convolutional neural network-bootstrap-based integrated prognostic approach for the remaining useful life (RUL) prediction of rolling bearing is developed. The proposed architecture includes two main parts: 1) a deep convolutional neural network–multilayer perceptron (i.e., DCNN–MLP) dual network is utilized to simultaneously extract informative representations hidden in both time series-based and image-based features and to predict the RUL of bearings, and 2) the proposed dual network is embedded into the bootstrap-based implementation framework to quantify the RUL prediction interval. Unlike other deep-learning-based prognostic approaches, the proposed DCNN-bootstrap integrated method has two innovative features: 1) both 1D time series-based and 2D image-based features of bearings, which can multi-dimensionally characterize the degradation of bearings, are comprehensively leveraged by the proposed dual network, and 2) the RUL prediction interval can be effectively quantified without relying on the bearing’s physical or statistical prior information based on bootstrap implementation paradigm. The proposed approach is experimentally validated with two case studies on rolling element bearings, and comparisons with other state-of-the-art techniques are also presented. Subsequently, our code will be open sourced.     

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了 3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升.     

基于改进SAE和双向LSTM的滚动轴承RUL预测方法

针对稀疏自动编码器(Sparse auto encoder, SAE)采用sigmoid激活函数容易造成梯度消失的问题, 用一种新的Tan函数替代原有的sigmoid函数; 针对SAE采用Kullback-Leibler (KL) 散度进行稀疏性约束在回归预测方面的局限性, 以dropout机制替代KL散度实现网络的稀疏性. 利用改进SAE对滚动轴承振动信号进行无监督深层特征自适应提取, 无需人工设计标签进行有监督微调. 同时, 考虑到滚动轴承剩余使用寿命(Remaining useful life, RUL)预测方法一般仅考虑过去信息而忽略未来信息, 引入双向长短时记忆网络(Bi-directional long short-term memory, Bi-LSTM)构建滚动轴承RUL的预测模型. 在2个轴承数据集上的实验结果均表明, 所提基于改进SAE和Bi-LSTM的滚动轴承RUL预测方法不仅可以提高模型的收敛速度而且具有较低的预测误差.     

A deep learning-based PM2.5 concentration estimator

PM2.5 does great harm to human beings. In particular, it can lead to an increase in human lung cancer. In this paper, we propose a PM2.5 concentration estimator based on deep convolutional neural networks. The proposed method consists of three modules. First, we generate a hallucinated reference image of PM2.5 by using deep convolutional neural networks. The discrepancy map of the PM2.5 image and the hallucinated reference image are calculated. Second, the discrepancy map and the distorted PM2.5 image are used to extract the features. Third, the prediction module based on neural networks utilizes those extracted features to predict PM2.5 concentrations. Compared to existing PM2.5 estimators and state-of-art image quality assessment(IQA) metrics, experimental results illustrate the effectiveness of the proposed model on the AQID database.     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于深度学习的网络流量预测研究综述

精准地预判网络流量变化趋势可以帮助运营商准确预估网络的使用情况,合理分配并高效利用网络资源,以满足日益增长且多样化的用户需求。以深度学习算法在网络流量预测领域的进展为线索,阐述了网络流量预测的评价指标和目前公开的网络流量数据集及应用,具体分析了网络流量预测中常用的深度信念网络、卷积神经网络、循环神经网络和长短时记忆网络共四种深度学习方法,并重点介绍了近年来针对不同问题所提出的改进神经网络模型,总结了各模型特点及应用场景。最后对网络流量预测未来发展进行了展望。