高维大数据分析的无监督异常检测方法

高维数据的无监督异常检测是机器学习的重要挑战之一。虽然先前基于单一深度自动编码器和密度估计的方法已经取得了显著的进展,但是其仅通过一个深度自编码器来生成低维表示,这表明没有足够的信息来执行后续的密度估计任务。为了解决上述问题,文中提出了一种混合自动编码器高斯混合模型(Mixed Auto-encoding Gaussian Mixture Model,MAGMM)。MAGMM使用混合自动编码器来代替单一深度自动编码器生成串联的低维表示,因此它可以保存来自输入样本的特定集群的关键信息。此外,其利用分配网络来约束混合自动编码器,这样每个样本都可以分配给一个占主导地位的自动编码器。利用上述机制,MAGMM避免了陷入局部最优,降低了重构误差,从而可以促进密度估计任务的完成,提高高维数据异常检测的准确性。实验结果表明,该方法优于DAGMM,并在标准F1分数上提高了29%。     

加入跳跃连接的深度嵌入K-means聚类

现有的深度聚类算法大多采用对称的自编码器来提取高维数据的低维特征,但随着自编码器训练次数的不断增加,数据的低维特征空间在一定程度上发生了扭曲,这样得到的数据低维特征空间无法反映原始数据空间中潜在的聚类结构信息.为了解决上述问题,本文提出了一种新的深度嵌入K-means算法(SDEKC).首先,在低维特征提取阶段,在对称的卷积自编码器中相对应的编码器与解码器之间以一定的权重加入两个跳跃连接,以减弱解码器对编码器的编码要求同时突出卷积自编码器的编码能力,这样可以更好地保留原始数据空间中蕴含的聚类结构信息;其次,在聚类阶段,通过一个标准正交变换矩阵将低维数据空间转换为一个新的揭示聚类结构信息的空间;最后,本文以端到端的方式采用贪婪算法迭代优化数据的低维表示及其聚类,在6个真实数据集上验证了本文提出新算法的有效性.     

基于改进自编码网络的轴承振动异常检测

近年来,自编码器和神经网络技术已被广泛研究并应用于轴承振动等工业数据的异常检测问题上,但仍存在着训练数据量大、网络参数初始化、训练效率较低、异常检测效果较差等问题。为解决上述问题,提出了一种结合马氏距离和自编码网络的异常检测方法。利用轴承振动数据特征之间具有一定相关性的特点,通过数据的马氏距离快速检测出部分异常数据,减少了自编码网络的训练数据量;用自编码器结合分类器构建自编码网络,解决了网络参数初始化问题并且显著提高了训练效率;将数据的马氏距离作为特征加入训练中提升了自编码网络的异常检测效果;在自编码器中加入稀疏性限制并构造先升维再编码的结构,增强了自编码器的特征学习能力和收敛性。实验结果表明,针对低维轴承振动数据,提出的方法较其他异常检测方法具有较好的检测效果且具有一定的稳定性和泛化能力。     

基于深度自编码网络的Android恶意软件检测方法

针对传统Android恶意软件检测方法检测率低的问题,文中提出一种基于深度收缩降噪自编码网络(Deep Contractive Denoising Autoencoder Network,DCDAN)的Android恶意软件检测方法。首先,逆向分析APK文件获取文件中的权限、敏感API等7类信息,并将其作为特征属性;然后,将特征属性作为深度收缩降噪自编码网络的输入,使用贪婪算法自底向上逐层训练每个收缩降噪自编码网络(Contractive Denoising Autoencoder Network),将训练完成的深度收缩降噪自编码网络用于原始特征的信息抽取,以获取最优的低维表示;最后,使用反向传播算法对获取的低维表示进行训练和分类,实现对Android恶意软件的检测。对深度自编码网络的输入数据添加噪声,使得重构的数据具有更强的鲁棒性,同时加入雅克比矩阵作为惩罚项,增强了深度自编码网络的抗扰动能力。实验结果验证了该方法的可行性和高效性。与传统的检测方法相比,该检测方法有效地提高了对恶意软件检测的准确率并降低了误报率。     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

卷积自编码器融合核近似技术的异常检测模型

图像中的异常检测是计算机视觉中非常重要的研究主题, 它可以定义为单分类问题;针对图像数据集的规模大,维度高等特性,一种新的深度卷积自编码器(Convolutional Autoencoder, CAE)与核近似单分类支持向量机(One Class Support Vector Machine, OCSVM)相结合的异常检测模型CAE-OCSVM被提出;模型中的深度卷积自编码器负责学习图像的本质特征表示,然后使用随机傅里叶特征对卷积自编码器学习本质特征进行核近似,核近似后输入线性单类支持向量机进行图像异常检测。核近似技术克服了核学习技术时间复杂度高的问题;同时深度卷积自编码器与核近似单类支持向量机通过梯度下降法实现了端到端的学习;模型的AUC性能在四个公开的图像基准数据集上进行了实验验证,同时模型与其它常用的异常检测模型在不同的异常率的情况下进行了性能对比;实验结果证实CAE-OCSVM模型在四个公开图像数据集上的性能都优于其它异常检测模型,表明了CAE-OCSVM模型更适合大规模高维数据集的异常检测     

融合梯度差信息的稀疏去噪自编码网络在异常行为检测中的应用

本文是在稀疏去噪自编码网络的基础上,增加梯度差约束条件改进了自编码网络的解码效果,并成功地应用于全局异常行为检测的领域.基于稀疏自编码网络异常行为的检测过程是通过训练非异常行为的视频帧数据得到自编码网络模型,将待测视频帧输入模型,根据前向传播算法得到模型的输出,计算输出与输入之间的损失值,当该值高于某个阈值时,判定该视频帧中存在异常行为.通过在标准异常行为库开展的实验表明融合梯度差信息的稀疏去噪自编码网络算法较传统的稀疏去噪自编码网络算法在全局异常行为检测中更加有效.     

单类支持向量机融合深度自编码器的异常检测模型

大规模高维不平衡数据是异常检测中的重大挑战.单类支持向量机在处理不平衡数据方面非常有效,但不适合大规模高维数据,同时单类支持向量机的核函数对检测性能也具有重要的影响.文中提出了一个深度自编码器与单类支持向量机相结合的异常检测模型,深度自编码器不仅负责提取特征和降维,同时拟合出了一个自适应核函数.深度自编码器与单类支持向...     

基于社区优化的深度网络嵌入方法

随着现代网络通信和社会媒体等技术的飞速发展,网络化的大数据由于缺少高效可用的节点表示而难以应用。将高维稀疏难于应用的网络数据转化为低维、紧凑、易于应用的节点表示的网络嵌入方法受到广泛关注。然而已有网络嵌入方法得到节点低维特征向量后,再将其作为其他应用（节点分类、社区发现、链接预测、可视化等）的输入来作进一步分析,没有针对具体应用构建模型,难以取得满意的结果。针对网络社区发现这一具体应用,提出结合社区结构优化进行节点低维特征表示的深度自编码聚类模型CADNE。首先基于深度自编码模型,通过保持网络局部及全局链接的拓扑特性来学习节点的低维表示,然后利用网络聚类结构对节点低维表示进一步优化。该方法同时学习节点的低维表示和节点所属社区的指示向量,使节点的低维表示不仅能保持原始网络结构中的拓扑结构特性,而且能保持节点的聚类特性。与已有的经典网络嵌入方法进行对比,结果显示CADNE模型在Citeseer和Cora上取得最优聚类结果,在20NewsGroup上准确率提升最高达0.525;分类性能在Blogcatalog、Citeseer数据集上取得最好结果,在Blogcatalog上训练比例20%时比基线方法提升最高达0.512;并且CADNE模型在可视化对比中能够得到类边界更加清晰的节点低维表示,验证了所提方法具有较好的节点低维表示能力。     

基于分布式异常检测的电网区块链安全防护方案

区块链具有去中心化、可追溯和不可篡改等特点,与智能电网的设计需求相契合。虽然区块链为电力交易账本及操作提供了强大的加密保护,但底层的区块链网络仍然容易受到潜在攻击行为的威胁。为了进一步了解电网区块链网络生态的潜在运行规律,提升电网区块链网络针对非法交易行为及已知甚至未知攻击行为的安全防护能力,设计了一种基于实时数据分布式异常检测的电网区块链安全防护方案,将深度学习模型与区块链技术相结合,实时收集区块链网络中的多维度运行数据,并利用数据降维技术对所收集的多维样本数据进行数据特征降维;基于深度学习的异常检测技术构建电网区块链网络数据预测模型的分布式应用架构,通过超参数搜索方法多轮优化预测模型;将已降维样本数据通过预测模型,输出对应输入序列的时序预测结果,并将预测结果与实时数据通过分类器判定,对于判定结果为异常的节点进行访问控制权限限制,以达到安全防护目的。     

深度生成模型综述

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注,网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点,深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习等领域得到成功应用,并给无监督学习提供了良好的范式.本文根据深度生成模型处理似然函数的不同方法将模型分...     

A Curvature and Density‐based Generative Representation of Shapes

This paper introduces a generative model for 3D surfaces based on a representation of shapes with mean curvature and metric, which are invariant under rigid transformation. Hence, compared with existing 3D machine learning frameworks, our model substantially reduces the influence of translation and rotation. In addition, the local structure of shapes will be more precisely captured, since the curvature is explicitly encoded in our model. Specifically, every surface is first conformally mapped to a canonical domain, such as a unit disk or a unit sphere. Then, it is represented by two functions: the mean curvature half‐density and the vertex density, over this canonical domain. Assuming that input shapes follow a certain distribution in a latent space, we use the variational autoencoder to learn the latent space representation. After the learning, we can generate variations of shapes by randomly sampling the distribution in the latent space. Surfaces with triangular meshes can be reconstructed from the generated data by applying isotropic remeshing and spin transformation, which is given by Dirac equation. We demonstrate the effectiveness of our model on datasets of man‐made and biological shapes and compare the results with other methods.     

社交网络中融合社交关系和语义信息的推荐算法

协同过滤方法广泛应用于推荐,但是数据稀疏成为模型提供高质量推荐的一大障碍.为了解决此问题,文中提出融合社交关系和语义信息的推荐算法,提高协同过滤方法的推荐性能,有机融合稀疏的用户行为记录、项目的社交信息和项目的语义信息.应用矩阵分解技术把行为矩阵和项目社交关系映射到一个低维的特征空间,提供项目社交关系信息分解的显式解释,分析关系信息对用户行为偏好产生的影响.同时,使用社会化因子正则的级联去噪自编码器模型学习项目语义特征,改进传统深度学习模型.在真实腾讯微博和Twitter数据集上的实验表明,文中方法有效提高召回率、准确率和推荐效率.     

基于动态序列图像的流形学习研究

动态场景的外形或表观在很大程度上往往受到一个潜在低维动态过程的控制。基于视频序列之间的时间相干特性,引入一种称为自编码(autoencoder)的特殊双向深层神经网络,采用CRBM（continuous restricted Boltzmann machine）的网络结构,用来学习序列图像的低维流形结构。将autoencoder 用于人体步态序列的实验表明,该方法能提供从高维视频帧到具有一定物理意义过程的低维序列的映射,并能从低维描述中恢复高维图像序列。     

DeepBRDF: A Deep Representation for Manipulating Measured BRDF

Effective compression of densely sampled BRDF measurements is critical for many graphical or vision applications. In this paper, we present DeepBRDF, a deep-learning-based representation that can significantly reduce the dimensionality of measured BRDFs while enjoying high quality of recovery. We consider each measured BRDF as a sequence of image slices and design a deep autoencoder with a masked L₂ loss to discover a nonlinear low-dimensional latent space of the high-dimensional input data. Thorough experiments verify that the proposed method clearly outperforms PCA-based strategies in BRDF data compression and is more robust. We demonstrate the effectiveness of DeepBRDF with two applications. For BRDF editing, we can easily create a new BRDF by navigating on the low-dimensional manifold of DeepBRDF, guaranteeing smooth transitions and high physical plausibility. For BRDF recovery, we design another deep neural network to automatically generate the full BRDF data from a single input image. Aided by our DeepBRDF learned from real-world materials, a wide range of reflectance behaviors can be recovered with high accuracy.     

基于局部估计密度的局部离群点检测算法

局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函数计算中引入数据对象的k-邻域平均距离作为其邻域信息,然后利用求出的局部估计密度计算数据对象的局部离群因子,依据局部离群因子的大小来判断数据对象是否为离群点.实验表明,该算法在UCI标准数据集与模拟数据集上都可以取得较好的表现.     

基于双向非线性学习的轨迹跟踪和识别

目标的运动轨迹是跟踪和识别目标行为的重要特征之一,在视觉跟踪等领域得到了广泛的应用.然而,由于轨迹数据具有高维和非线性等特点,因而直接建模目标的运动轨迹比较困难.为此,引入一种称为自编码(autoencoder)的双向深层神经网络,并结合粒子滤波提出一种轨迹跟踪识别算法.首先,自编码网络按照一定的学习规则将高维轨迹嵌人到二维平面上,通过该网络的逆向映射得到轨迹的生成模型,由轨迹生成模型可得到一系列可行性轨迹.跟踪过程中,每时刻粒子滤波器的粒子便从这些可行性轨迹中进行抽样,并利用颜色似然函数对抽取的粒子进行加权以及再抽样从而实现对目标状态的估计,最后在二维平面中利用"最小距离分类器"对跟踪轨迹进行识别.特别地,自编码网络提供了高维轨迹空间和低维嵌套结构的双向映射,有效解决了大多数非线性降维方法(例如局部线性嵌入算法(LLE)和等度规映射(ISOMAP))所不具备的逆向映射问题.跟踪和识别手写数字实验表明所提出的方法能在复杂背景下精确跟踪目标并正确识别目标轨迹.     

基于混合变分自编码器回归模型的软测量建模方法EI北大核心CSCD

近年来,变分自编码器(Variational auto-encoder,VAE)模型由于在概率数据描述和特征提取能力等方面的优越性,受到了学术界和工业界的广泛关注,并被引入到工业过程监测、诊断和软测量建模等应用中.然而,传统基于VAE的软测量方法使用高斯分布作为潜在变量的分布,限制了其对复杂工业过程数据,尤其是多模态数据的建模能力.为了解决这一问题,本论文提出了一种混合变分自编码器回归模型(Mixture variational autoencoder regression,MVAER),并将其应用于复杂多模态工业过程的软测量建模.具体来说,该方法采用高斯混合模型来描述VAE的潜在变量分布,通过非线性映射将复杂多模态数据映射到潜在空间,学习各模态下的潜在变量,获取原始数据的有效特征表示.同时,建立潜在特征表示与关键质量变量之间的回归模型,实现软测量应用.通过一个数值例子和一个实际工业案例,对所提模型的性能进行了评估,验证了该模型的有效性和优越性.