视觉特征对比解耦的广义零样本学习

广义零样本学习通常利用在ImageNet上预训练的深度模型来提取相应的视觉特征,然而预训练模型提取到的视觉特征不可避免地包含和语义无关的信息,这将导致语义—视觉对齐的偏差以及对不可见类的负迁移,从而影响分类结果。为解决上述问题,提出了视觉特征对比解耦的广义零样本学习模型(visual feature contrast decoupling for generalized zero-shot learning, VFCD-GZSL),通过解耦出视觉特征中的语义相关表示来降低冗余信息对分类结果的影响。具体来说,首先用条件变分自编码器生成不可见类的视觉特征。然后通过解耦模块将视觉特征解耦语义相关和语义无关的潜层表示,同时添加总相关惩罚和对比损失来鼓励两者间的相互独立,并用语义关系匹配模型衡量其语义一致性,从而指导模型学习语义相关表示。最后使用特征细化模块细化后的特征和语义相关表示联合学习一个广义零样本学习分类器。在四个数据集上的实验均取得较优的结果,证实了所提方法的有效性。     

基于自编码神经网络建立的搜索信息模型

根据用户搜索历史,将用户关注的信息按标题分类,通过自编码神经网络提取特征值。设定学习样本标题最多为25个汉字,编码方式采用汉字机内码(GBK码)。使用 MATLAB工具进行深度学习,将样本在原空间的特征表示变换到一个新的特征空间。     

Multimodal face aging framework via learning disentangled representation

Existing face aging (FA) approaches usually concentrate on a universal aging pattern, and produce restricted aging faces from one-to-one mapping. However, the diversity of living environments impact individuals differently in their oldness. To simulate various aging effects, we propose a multimodal FA framework based on face disentanglement technique of age-specific and age-irrelevant information. A Variational Autoencoder (VAE)-based encoder is designed to represent the distribution of the age-specific attributes. To capture the age-irrelevant features, a cycle-consistency loss of unpaired faces is utilized among various age spans. The extensive experimental results demonstrate that the sampled age-specific codes along with an age-irrelevant feature make the multimodal FA diverse and realistic.     

An effective deep learning model for grading abnormalities in retinal fundus images using variational auto-encoders

Diabetic retinopathy (DR) and Diabetic Macular Edema (DME) are severe diseases that affect the eyes due to damage in blood vessels. Computer-aided automated grading will help clinicians conduct disease diagnoses at ease. Experiments of automated image processing with deep learning techniques using CNN produce promising results, especially in the medical imaging domain. However, the disease grading tasks in retinal images using CNN struggle to retain high-quality information at the output. A novel deep learning model based on variational auto-encoder to grade DR and DME abnormalities in retinal images is proposed. The objective of the proposed model is to extract the most relevant retinal image features efficiently. It focuses on addressing less relevant candidate region generation and translational invariance present in images. The experiments are conducted in IDRID dataset and evaluated using accuracy, U-kappa, sensitivity, specificity and precision metrics. The results outperform compared with other state-of-art techniques.     

结合迁移学习模型的卷积神经网络算法研究

针对传统的卷积神经网络算法在训练集与测试集分布不同时分类精度较低且标注成本较高的问题,提出结合迁移学习模型的卷积神经网络算法。使用主成分分析算法对源域数据进行无监督降维,同时结合自编码机算法对目标数据集降维,使源域和目标数据集在低维度下具有相似的特征分布;根据卷积神经网络特征提取的特点,利用JS散度来判别卷积池层能否迁移,并使用初始化的隐藏层补全trCNN模型;使用少量带标注的目标数据集进行训练,完成分类模型的构建。设计实验验证分类模型能够在使用少量标注数据情况下准确地完成分类工作。     

基于生成对抗网络的单帧遥感图像超分辨率

受成像设备、传输条件等因素限制,遥感图像的清晰度难以保证。图像超分辨率技术旨在从低分辨率图像中恢复出高分辨率图像,对遥感图像的高质量解译具有重要意义。针对传统方法依赖多帧图像序列、重建结果过于平滑等问题,提出一种基于边界平衡生成对抗网络的单帧遥感图像超分辨方法。生成器与判别器均设计成带跳跃连接的端到端自编码器结构,为增强生成图像质量及加速网络收敛,使用了一种基于判别器重构误差的损失函数。在NWPU-RESISC45数据集上的实验结果表明,该方法能够提供更多的高频信息,重建结果最接近真实图像,相较于邻近插值和双三次插值方法,PSNR提升约2.70 dB,相较于其他基于深度卷积神经网络的方法,PSNR提升约0.72 dB。     

基于Spark的高效并行自动编码机

机器学习中一个非常关键的问题就是如何获取良好的数据特征表示,许多经典的特征提取方法是基于数据间关系或利用简单线性组合降维后得到数据的特征表示。其中深度学习算法在各种学习任务中都可以取得良好的效果,而且可以学到很好的数据特征表示。但现有深度学习算法或模型大多为单机串行实现,不能处理较大规模的数据且运行时间较长。本文设计实现了一种基于Spark分布式平台的高效并行自动编码机,该编码机可以有效地进行特征表示学习,并且利用分布式计算平台Spark对 算法进行加速,优化了对稀疏数据的操作,大大提升了运行效率。本文通过在文本数据特征学习以及协同过滤两个任务上的实验,表明本文所实现的并行自动编码机的有效性和高效性。     

栈式降噪自编码网络在变压器故障诊断中的应用

为提高变压器故障诊断的准确率,提出了一种新型的变压器故障诊断网络,该网络以基于栈式降噪自编码网络为基础,把深度学习用在诊断变压器设备故障方面,建立深层网络模型,采取逐层贪婪编码的方式进行自适应的非监督式预训练,实现高维深层故障特征的自适应提取和挖掘,进而使用反向传播算法对模型进行监督式微调。最后利用Softmax分类器,对故障进行分类输出。最后通过实例验证表明,提出的栈式降噪自编码网络能准确、有效地对变压器进行故障诊断,与传统方法相比,该方法提高了变压器故障诊断的准确率。     

基于冗余关系分析的传感器自诊断设计方法研究

工业过程中传感器数量众多且可靠性要求高,而传统定期检测评估其健康状况的方式不但费时费力且不能满足传感器 智能化的发展需求。 针对这一问题,提出了一种基于测量数据统计相关性的传感器自诊断设计方法。 利用传感器测量数据建 立其统计关系模型,借助自编码器提取传感器数据特征并将其编码为二进制形式。 在同时考虑传感器测量数据统计独立和统 计相关两种情况下,在有参考值时,通过引入故障检测概率和误检概率建立了独立统计模型实现传感器的故障自诊断;在无参 考值情况下,借助高斯 Copula 函数建立多元统计依赖模型评估参数之间的相关性,并利用贝叶斯理论在不依赖参考值的情况 下自学习获取传感器的健康状况。 本研究以镍闪速炉系统为例,两种模式下测量系统中健康传感器的故障检测后验概率达到 了 0. 92,即故障统计模型的参数与建模期望相符。 实验结果表明,所提方法在两种模式下均能准确识别出测量系统中的故障 传感器,验证了所提方法的有效性与可行性。     

考虑行业关联度的工业用户用电异常识别研究

针对工业用户的行业属性对其用电模式的影响,本文提出一种考虑行业关联度的工业用户用电异常识别方法。基于真实工业用户用电负荷数据生成多个行业类别的典型负荷特征曲线。运用改进灰色关联度算法计算电力用户用电特征与各个行业典型用电特征之间的关联性,生成用户的行业关联特征;利用多头注意力机制(MHA)提取用户负荷序列特征,与行业关联特征相结合,采用变分自动编码器(VAE)所提供的重构误差作为异常判定度量,建立MHA-VAE深度异常检测模型,实现对多种类型工业用户用电异常的识别。结果表明,引入用户的行业关联特征后异常检测的准确率、检出率和误检率分别为96.84%、98.02%、4.35%,与仅考虑用户负荷特征相比准确率提高1.06%,误检率降低2.24%。