基于栈式稀疏自编码器的矿用变压器故障诊断

鉴于将深度学习应用于变压器故障诊断具有良好的故障诊断效果,提出了一种基于栈式稀疏自编码器的矿用变压器故障诊断方法。通过在自编码器隐含层引入稀疏项限制构成稀疏自编码器,再将多个稀疏自编码器进行堆叠形成栈式稀疏自编码器,并以Softmax分类器作为输出层,建立矿用变压器故障诊断模型;利用大量无标签样本对模型进行无监督预训练,并通过有监督微调优化模型参数。算例分析结果表明,与栈式自编码器相比,栈式稀疏自编码器应用于矿用变压器故障诊断具有更高的准确率。     

融合稀疏因子的情感分析堆叠降噪自编码器模型

基于深度学习的特征抽取是目前数据降维问题的研究热点,堆叠自编码器作为一种较为常用的模型,无法对混有噪声及较稀疏的数据进行良好的特征表达。面向微博情感分析,通过在堆叠降噪自编码器的各隐藏层中加入稀疏因子,来解决样本数据所含噪声和稀疏性对特征抽取的影响。使用COAE评测数据集进行的情感分析实验表明所提模型分类的准确率和召回率都有所提高。     

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder,SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder,DAE）、稀疏自编码器（Sparse Auto-Encoder,SAE）以及自编码器（Auto-Encoder,AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。     

改进深层小波自编码器的轴承故障诊断方法

针对传统滚动轴承故障诊断方法过度依赖专家经验和故障特征提取困难的问题,结合深度学习处理高维、非线性数据的优势,提出一种基于改进深层小波自编码器的轴承智能故障诊断方法。该方法改进小波自编码器的损失函数并引入收缩项限制,再将多个小波自编码器进行堆叠构成深层小波自编码器,并引入“跨层”连接缓解梯度消失现象,最后利用大量无标签数据对网络进行无监督预训练并利用少量带标签数据对模型参数有监督微调。轴承诊断实验结果表明,该方法能有效地对轴承进行多种故障类型和多种故障程度的识别,特征提取能力和识别能力优于人工神经网络、深度信念网络、深度自编码器等方法。     

基于DAE+CNN辐射源信号识别算法

针对利用卷积神经网络进行辐射源信号识别过程中时间复杂度高的问题进行研究,提出一种基于降噪自编码器和卷积神经网络结合的算法。首先对雷达辐射源信号进行短时傅里叶变换,获取时频图像;然后对图像进行灰度和阈值二值化处理,将处理后的图像向量化操作输入到降噪自编码器中,提取降噪自编码器隐藏层特征数据完成降维处理,再重构成图片矩阵输入到卷积神经网络中,利用常用的softmax分类器进行分类识别。通过仿真表明,添加降噪自编码器降维处理后的模型相比较原模型,时间复杂度大幅度下降,在SNR=-6 dB,识别效果能达到80%以上,与利用传统降维方式性能相比,识别效果明显提高。     

基于栈式自编码器模型的汇率时间序列预测

针对目前具有非线性特征的金融时间序列浅层模型预测精度有限的问题,提出一种由底层的栈式自编码器和顶层的回归神经元组成的栈式自编码神经网络预测模型。首先利用自编码器的无监督学习机制对时间序列进行特征识别与学习,逐层贪婪学习神经网络各层,之后将栈式自编码器扩展为有监督机制的SAEP模型,将SAE学习到的参数用于初始化神经网络,最后利用有监督学习对权值进行微调。实验设计利用汇率时间序列作为训练及测试样本,与目前较成熟的方法进行对比实验,验证了所提出的模型在汇率时序预测应用中的有效性。     

结合迁移学习模型的卷积神经网络算法研究

针对传统的卷积神经网络算法在训练集与测试集分布不同时分类精度较低且标注成本较高的问题,提出结合迁移学习模型的卷积神经网络算法。使用主成分分析算法对源域数据进行无监督降维,同时结合自编码机算法对目标数据集降维,使源域和目标数据集在低维度下具有相似的特征分布;根据卷积神经网络特征提取的特点,利用JS散度来判别卷积池层能否迁移,并使用初始化的隐藏层补全trCNN模型;使用少量带标注的目标数据集进行训练,完成分类模型的构建。设计实验验证分类模型能够在使用少量标注数据情况下准确地完成分类工作。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

基于全局与局部特征对比的点云自监督学习EI北大核心CSCD

传统的有监督学习依赖大量的标签数据,而收集标签数据通常是昂贵的.因此,提出一种通过对比点云的全局和局部特征的自监督学习算法,包括数据构造和对比学习2个阶段.在数据构造阶段,通过不同的局部视角和局部子结构生成全局物体的局部区域;在对比学习阶段,将全局物体和局部区域分别依次输入编码器、投影层和预测器得到全局和局部特征,使用基于对比学习的目标函数增强全局和局部特征相似.通过在2个公开数据集ModelNet40和ShapeNet上与Info3D等自监督学习算法对比,实验结果表明,所提算法在无监督点云分类和小样本学习任务上的分类准确率得到显著提升,并且在训练数据匮乏时比现有算法具有更强的鲁棒性.     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

基于融合型深度学习的滚动轴承亚健康识别算法

深度学习模型增加了隐含层的层数,使得该模型在语音识别、图像视频分类等方面取得了不错的效果;但建立一个适合特定对象的模型需要大量的数据集来训练,而且需要较长时间才能获得合适的权重和偏置,为此提出一种基于深度自动编码器-相关向量机网络模型的滚动轴承亚健康诊断方法。首先,采集滚动轴承振动信号并进行傅里叶变换和归一化处理;其次,设计改进的自动编码器-稀疏边缘降噪自动编码器,结合了稀疏自动编码器和边缘降噪自动编码器的特点;接着建立深度自动编码器-相关向量机网络模型,用有监督的函数对各个隐含层的参数进行微调,并利用相关向量机（RVM）进行训练;最后将得到的分类根据D-S证据理论融合并得出最终的分类结果。实验结果表明所提算法能有效提高滚动轴承"亚健康"状态的识别精度,纠正错误分类。     

Automatic segmentation of optic disc in retinal fundus images using semi-supervised deep learning

Diseases of the eye require manual segmentation and examination of the optic disc by ophthalmologists. Though, image segmentation using deep learning techniques is achieving remarkable results, it leverages on large-scale labeled datasets. But, in the field of medical imaging, it is challenging to acquire large labeled datasets. Hence, this article proposes a novel deep learning model to automatically segment the optic disc in retinal fundus images by using the concepts of semi-supervised learning and transfer learning. Initially, a convolutional autoencoder (CAE) is trained to automatically learn features from a large number of unlabeled fundus images available from the Kaggle’s diabetic retinopathy (DR) dataset. The autoencoder (AE) learns the features from the unlabeled images by reconstructing the input images and becomes a pre-trained network (model). After this, the pre-trained autoencoder network is converted into a segmentation network. Later, using transfer learning, the segmentation network is trained with retinal fundus images along with their corresponding optic disc ground truth images from the DRISHTI GS1 and RIM-ONE datasets. The trained segmentation network is then tested on retinal fundus images from the test set of DRISHTI GS1 and RIM-ONE datasets. The experimental results show that the proposed method performs on par with the state-of-the-art methods achieving a 0.967 and 0.902 dice score coefficient on the test set of the DRISHTI GS1 and RIM-ONE datasets respectively. The proposed method also shows that transfer learning and semi-supervised learning overcomes the barrier imposed by the large labeled dataset. The proposed segmentation model can be used in automatic retinal image processing systems for diagnosing diseases of the eye.

     

稀疏和标签约束半监督自动编码机的分类算法

自动编码机通过深度无监督学习能够表达数据的语义特征,但由于其隐含层节点个数难以有效确定,所处理的数据进一步用于分类时常会导致分类准确度低、稳定性弱等问题。针对这些问题,提出了一种稀疏和标签约束的半监督自动编码机（SLRAE）,以实现无监督学习与监督学习的有机结合,更准确地抽取样本的本质特征。稀疏约束项针对每个隐含节点的响应添加约束条件,从而在隐含神经元数量较多的情况下仍可发现数据中潜在的结构;同时引入标签约束项,以监督学习的方式比对实际标签与期望标签,针对性地调整网络参数,进一步提高分类准确率。为验证所提方法的有效性,实验中对多个数据集进行广泛地测试,其结果表明,相对传统自动编码机（AE）、稀疏自动机（SAE）以及极限学习机（ELM）,SLRAE所处理的数据应用于同一分类器,能明显提高分类准确率和稳定性。     

基于稀疏自编码深度神经网络的林火图像分类

针对林火与相似目标很难区分的问题,提出一种基于稀疏自编码深度神经网络的林火图像分类新方法。采用无监督的特征学习算法稀疏自编码从无标签图像小块中学习特征参数,完成深度神经网络的训练;利用学习到的特征从原始大小分类图像中提取特征并卷积和均值池化特征;对卷积和池化后的特征采用softmax回归来训练最终softmax分类器。实验结果表明,跟传统的BP神经网络相比,新方法能够更有效区分林火与红旗、红叶等类似物体。     

多标记学习自编码网络无监督维数约简

多标记学习是针对一个实例同时与一组标签相关联而提出的一种机器学习框架,是该领域研究热点之一,降维是多标记学习一个重要且具有挑战性的工作。针对有监督的多标记维数约简方法,提出一种无监督自编码网络的多标记降维方法。首先,通过构建自编码神经网络,对输入数据进行编码和解码输出;然后,引入稀疏约束计算总体成本,使用梯度下降法进行迭代求解;最后,通过深度学习训练获得自编码网络学习模型,提取数据特征实现维数约简。实验中使用多标记算法ML-kNN做分类器,在6个公开数据集上与其他4种方法对比。实验结果表明,该方法能够在不使用标记的情况下有效提取特征,降低多标记数据维度,稳定提高多标记学习性能。     

Pulmonary nodule diagnosis using dual‐modal supervised autoencoder based on extreme learning machine

In recent years, deep learning techniques have been applied to the diagnosis of pulmonary nodules. In order to improve the pulmonary nodule diagnostic performance effectively, we propose a novel pulmonary nodule diagnosis method using dual‐modal deep supervised autoencoder based on extreme learning machine for which discriminative features are automatically learnt from the input data. The network is fed with nodule images in pairs obtained from computed tomography and positron emission tomography respectively. For each pair image, the high‐level discriminative features of nodules in computed tomography and positron emission tomography are extracted from stacked supervised autoencoder layers. The outputs of the proposed architecture are combined using an ideal fusion method to get the final classification. In the experiments, 5‐fold cross‐validation method is used to validate the proposed method on 1,600 pulmonary nodule images and our method reaches high‐classification sensitivities of 91.75% at 1.58 false positives per scan. Meanwhile, compared with other deep learning diagnosis methods, our method achieves better discriminative results and is highly suited to be used for pulmonary nodule diagnosis.     

基于半监督学习的增量图像分类方法

为有效使用大量未标注的图像进行分类,提出一种基于半监督学习的图像分类方法。通过共同的隐含话题桥接少量已标注的图像和大量未标注的图像,利用已标注图像的Must-link约束和Cannot-link约束提高未标注图像分类的精度。实验结果表明,该方法有效提高Caltech-101数据集和7类图像集约10%的分类精度。此外,针对目前绝大部分半监督图像分类方法不具备增量学习能力这一缺点,提出该方法的增量学习模型。实验结果表明,增量学习模型相比无增量学习模型提高近90%的计算效率。关键词半监督学习,图像分类,增量学习中图法分类号TP391。41IncrementalImageClassificationMethodBasedonSemi-SupervisedLearningLIANGPeng^1,2,LIShao-Fa²,QINJiang-Wei²,LUOJian-Gao³¹(SchoolofComputerScienceandEngineering,GuangdongPolytechnicNormalUniversity,Guangzhou510665)²(SchoolofComputerScienceandEngineering,SouthChinaUniversityofTechnology,Guangzhou510006)³(DepartmentofComputer,GuangdongAIBPolytechnicCollege,Guangzhou510507)ABSTRACTInordertouselargenumbersofunlabeledimageseffectively,animageclassificationmethodisproposedbasedonsemi-supervisedlearning。Theproposedmethodbridgesalargeamountofunlabeledimagesandlimitednumbersoflabeledimagesbyexploitingthecommontopics。Theclassificationaccuracyisimprovedbyusingthemust-linkconstraintandcannot-linkconstraintoflabeledimages。TheexperimentalresultsonCaltech-101and7-classesimagedatasetdemonstratethattheclassificationaccuracyimprovesabout10%bytheproposedmethod。Furthermore,duetothepresentsemi-supervisedimageclassificationmethodslackingofincrementallearningability,anincrementalimplementationofourmethodisproposed。Comparingwithnon-incrementallearningmodelinliterature,theincrementallearningmethodimprovesthecomputationefficiencyofnearly90%。     

基于自编码神经网络的半监督联邦学习模型

联邦学习是一种新型的分布式机器学习方法,可以使得各客户端在不分享隐私数据的前提下共同建立共享模型。然而现有的联邦学习框架仅适用于监督学习,即默认所有客户端数据均带有标签。由于现实中标记数据难以获取,联邦学习模型训练的前提假设通常很难成立。为解决此问题,对原有联邦学习进行扩展,提出了一种基于自编码神经网络的半监督联邦学习模型ANN-SSFL,该模型允许无标记的客户端参与联邦学习。无标记数据利用自编码神经网络学习得到可被分类的潜在特征,从而在联邦学习中提供无标记数据的特征信息来作出自身贡献。在MNIST数据集上进行实验,实验结果表明,提出的ANN-SSFL模型实际可行,在监督客户端数量不变的情况下,增加无监督客户端可以提高原有联邦学习精度。     

联合标签预测与判别投影学习的半监督典型相关分析

目的 典型相关分析是一种经典的多视图学习方法。为了提高投影方向的判别性能,现有典型相关分析方法通常采用引入样本标签信息的策略。然而,获取样本的标签信息需要付出大量的人力与物力,为此,提出了一种联合标签预测与判别投影学习的半监督典型相关分析算法。方法 将标签预测与模型构建相融合,具体地说,将标签预测融入典型相关分析框架中,利用联合学习框架学得的标签矩阵更新投影方向,进而学得的投影方向又重新更新标签矩阵。标签预测与投影方向的学习过程相互依赖、交替更新,预测标签不断地接近其真实标签,有利于学得最优的投影方向。结果 本文方法在AR、Extended Yale B、Multi-PIE和ORL这4个人脸数据集上分别进行实验。特征维度为20时,在AR、Extended Yale B、Multi-PIE和ORL人脸数据集上分别取得87%、55%、83%和85%识别率。取训练样本中每人2（3,4,5）幅人脸图像为监督样本,提出的方法识别率在4个人脸数据集上均高于其他方法。训练样本中每人5幅人脸图像为监督样本,在AR、Extended Yale B、Multi-PIE和ORL人脸数据集上分别取得94.67%、68%、83%和85%识别率。实验结果表明在训练样本标签信息较少情况下以及特征降维后的维数较低的情况下,联合学习模型使得降维后的数据最大限度地保存更加有效的信息,得到较好的识别结果。结论 本文提出的联合学习方法提高了学习的投影方向的判别性能,能够有效地处理少量的有标签样本和大量的无标签样本的情况以及解决两步学习策略的缺陷。