卷积自编码器融合核近似技术的异常检测模型

图像中的异常检测是计算机视觉中非常重要的研究主题, 它可以定义为单分类问题;针对图像数据集的规模大,维度高等特性,一种新的深度卷积自编码器(Convolutional Autoencoder, CAE)与核近似单分类支持向量机(One Class Support Vector Machine, OCSVM)相结合的异常检测模型CAE-OCSVM被提出;模型中的深度卷积自编码器负责学习图像的本质特征表示,然后使用随机傅里叶特征对卷积自编码器学习本质特征进行核近似,核近似后输入线性单类支持向量机进行图像异常检测。核近似技术克服了核学习技术时间复杂度高的问题;同时深度卷积自编码器与核近似单类支持向量机通过梯度下降法实现了端到端的学习;模型的AUC性能在四个公开的图像基准数据集上进行了实验验证,同时模型与其它常用的异常检测模型在不同的异常率的情况下进行了性能对比;实验结果证实CAE-OCSVM模型在四个公开图像数据集上的性能都优于其它异常检测模型,表明了CAE-OCSVM模型更适合大规模高维数据集的异常检测     

基于无监督学习的智能电网入侵检测

智能电网通过引入信息和通信技术服务, 带来了传统电网的技术演变, 与此同时在安全方面也带来了严重的挑战. 本文提出了一种智能电网入侵检测系统安全架构和一种基于无监督学习的新型入侵检测系统(intrusion detection system, IDS). 我们设计了区域式训练(block-training)架构, 不仅可以减轻数据中心的计算压力, 还可以对本地流量进行特征训练. 我们还提出了一种基于交叉验证的递归特征消除的差分自编码器算法(RFECV-VAE). RFECV-VAE综合了RFECV和VAE模型, 在特征选择过程使用递归特征消除交叉验证法(recursive feature elimination cross-validation, RFECV), 异常检测采用差分自编码器(variational autoencoders, VAE), 它可以对大规模高维数据进行高精度异常检测. 最后, 本文选择深度自编码器、深度自编码器高斯混合模型、单类支持向量机、隔离森林、差分自编码器作为对比算法, 采用准确率、ROC_AUC、F1_score和训练时间等指标来进行性能评估. 实验结果表明, RFECV-VAE算法结果优于其他比较算法.     

一种混合核函数的支持向量机

为了提高支持向量机分类效果、学习能力和外推能力,分析了两种支持向量机的核函数:K型核函数和logistic核函数,构造出一种新的混合核函数的支持向量机,并且对其性能进行了理论分析。把构造出的混合核函数支持向量机与常用核函数构造的向量机应用到二维数据分类与图片分类中进行实验对比。二维数据点和图片分类的实验结果表明,混合核函数的支持向量机的分类效果、学习能力和外推能力,明显优于常用核函数构造的支持向量机。     

用KPCA-SVM的方法检测垃圾标签的研究

高维数据中进行各种处理时所需样本数量会成指数级增加,同时样本间距离的价值也逐渐减小,将导致维数灾问题。文本标签数据通常会面临数据维数过高的问题,会影响用户对垃圾标签的检测。文中借助支持向量机的数学模型构建出针对Folksonomy的大规模垃圾标签检测模型。为了减少检测垃圾标签时维数过高的影响,在核主成分分析理论的启发下,将数据降维思想引入数据约简领域,提出基于核主成分分析法的大规模SVM数据集约简模型。最终实例化形成一种新的垃圾标签检测方法,即基于核主成分分析支持向量机（ KPCA-SVM）的大规模垃圾标签检测模型。该模型在垃圾标签检测中可以在不影响数据特征的前提下,缩短模型的测试时间且检测性能良好。     

模糊支持向量机在入侵检测中的应用研究

网络入侵检测是保证安全防护技术,在入侵检测中,数据分布的不均衡和噪声数据的存在影响检测性能和分类效果.针对传统支持向量机对噪声数据和孤立点敏感的缺点,提出了一种基于双超球隶属度函数的模糊支持向量机算法.算法在确定隶属度时充分考虑样本与类中心之间的关系以及类中各个样本之间的关系,并且将样本的隶属度与样本到所在类中心的距离看作是一个非线性关系.根据模糊支持向量机和双超球隶属度函数的原理,采用核函数对检测性能的影响.通过KDD99数据的测试并与传统的支持向量机算法进行比较,实验结果证明改进算法的可行性和有效性.     

工业控制系统中基于单类支持向量机异常检测方法研究

Modbus TCP/IP协议作为工业控制系统中常用的通信协议,存在其自身的脆弱性。文章主要研究了Modbus TCP/IP协议的异常检测方法,首先介绍了基于单类支持向量机的异常检测模型的实现过程,对单类支持向量机选择不同的滑动窗口长度和核函数进行测试,设计与传统支持向量机、标准RBF算法、BP神经网络、异常检测模型的对比实验,并对实验结果进行分析。还设计了与基于功能码序列的异常检测模型的对比实验,验证选取功能码和寄存器地址组合对作为特征的优越性。     

使用超椭球参数化坐标的支持向量机

基于n维超椭球面坐标变换公式,构造一类核函数--n维超椭球坐标变换核.由于是同维映射,且增大了类间距离,这类核函数在一定程度上改善了支持向量机的性能.与其他核函数(如高斯核)相比,将所构造的核函数用于支持向量机,仅产生了很少的支持向量,因而大大加快了学习速度,改善了泛化性能.数值实验结果表明了所构造的核函数的有效性和正确性.     

基于支持向量机的不平衡数据分类算法的研究*

针对不平衡数据分类问题,提出了基于Smote与核函数修改相结合的算法。首先用Smote方法处理数 据,降低不平衡度;然后以黎曼几何为依据,利用保角变换,对核函数进行修改,提高支持向量机的分类泛化能 力;最后用修改后的支持向量机对新的数据进行处理。实验结果表明,这种方法能在保持整体正确率的前提下 有效地提高少数类样本的分类准确率。     

基于随机投影的快速凸包分类器

传统的基于核函数的分类方法中核矩阵运算复杂度较高,无法满足大规模数据分类的要求.针对这一问题,提出基于随机投影的快速凸包分类器(FCHC-RP).首先,使用随机投影的方法将样本投影到多个二维子空间,并将子空间数据映射到特征空间;其次,根据数据分布的几何特征得到凸包候选集;再次,基于凸包的定义计算出特征空间中的凸包向量;最后,使用与凸包向量对应的原始样本及其权值训练支持向量机.此外,FCHC-RP还适用于不平衡数据的分类问题,根据两类样本的不平衡程度选择不同的参数,可以得到规模相当的两类样本的凸包集,实现训练数据的类别平衡.理论分析和实验结果验证了FCHC-RP在分类性能和训练时间上的优势.     

基于RST修正核单类SVM的程序行为控制系统

程序行为控制系统对程序行为进行建模、检测和响应。单类支持向量机(SVM)在有限样本的情况下用于异常检测,具有较好的分类精度和泛化能力。针对以前利用单类支持向量机进行异常检测的研究中没有考虑属性权重的问题,该文提出利用粗糙集理论(RST),引入反映属性重要性程度的权重值。给出通过找出决策系统中所有约简的集合确定属性权重的方法,并利用属性权重修正单类SVM的核函数。实验表明基于RST修正核的单类SVM具有更好的检测能力。     

航空发动机振动监控新方法的研究

针对航空发动机振动监控异常样本少的问题,用单类支持向量机建立了一种振动异常检测模型,在仅对正常数据进行训练的基础上便可以进行发动机振动异常检测工作.根据近期数据的重要性要大于早期数据的重要性这一特性,提出加权单类支持向量机算法,为不同架次的样本赋予不同的权系数.实验分析结果表明了检测模型的有效性.     

基于改进单类支持向量机的工业控制网络入侵检测方法

针对单类支持向量机（OCSVM）入侵检测方法无法检测内部异常点和离群点导致决策函数偏离训练样本的问题,提出了一种结合具有噪声的密度聚类（DBSCAN）方法和K-means方法的OCSVM异常入侵检测算法。首先通过DBSCAN算法,剔除训练数据中的离群点,消除离群点的影响;然后利用K-means划分数据类簇的方法筛选出内部异常点;最后利用OCSVM算法为每一个类簇建立单分类器用于检测异常数据。工控网络数据集上的实验结果表明,该组合分类器能够利用无异常数据样本检测出工控网络入侵,并且提高了OCSVM方法的检测效果。在气体管道网络数据集入侵检测实验中,所提方法的总体检测率为91.81%;而原始OCSVM算法则为80.77%。     

高维大数据分析的无监督异常检测方法

高维数据的无监督异常检测是机器学习的重要挑战之一。虽然先前基于单一深度自动编码器和密度估计的方法已经取得了显著的进展,但是其仅通过一个深度自编码器来生成低维表示,这表明没有足够的信息来执行后续的密度估计任务。为了解决上述问题,文中提出了一种混合自动编码器高斯混合模型(Mixed Auto-encoding Gaussian Mixture Model,MAGMM)。MAGMM使用混合自动编码器来代替单一深度自动编码器生成串联的低维表示,因此它可以保存来自输入样本的特定集群的关键信息。此外,其利用分配网络来约束混合自动编码器,这样每个样本都可以分配给一个占主导地位的自动编码器。利用上述机制,MAGMM避免了陷入局部最优,降低了重构误差,从而可以促进密度估计任务的完成,提高高维数据异常检测的准确性。实验结果表明,该方法优于DAGMM,并在标准F1分数上提高了29%。     

基于多示例学习框架的文本分类算法

针对有特殊结构的文本,传统的文本分类算法已经不能满足需求,为此提出一种基于多示例学习框架的文本分类算法。将每个文本当作一个示例包,文本中的标题和正文视为该包的两个示例;利用基于一类分类的多类分类支持向量机算法,将包映射到高维特征空间中;引入高斯核函数训练分类器,完成对无标记文本的分类预测。实验结果表明,该算法相较于传统的机器学习分类算法具有更高的分类精度,为具有特殊文本结构的文本挖掘领域研究提供了新的角度。     

A kernel regression framework for SMT

This paper presents a novel regression framework to model both the translational equivalence problem and the parameter estimation problem in statistical machine translation (SMT). The proposed method kernelizes the training process by formulating the translation problem as a linear mapping among source and target word chunks (word n-grams of various length), which yields a regression problem with vector outputs. A kernel ridge regression model and a one-class classifier called maximum margin regression are explored for comparison, between which the former is proved to perform better in this task. The experimental results conceptually demonstrate its advantages of handling very high-dimensional features implicitly and flexibly. However, it shares the common drawback of kernel methods, i.e. the lack of scalability. For real-world application, a more practical solution based on locally linear regression hyperplane approximation is proposed by using online relevant training examples subsetting. In addition, we also introduce a novel way to integrate language models into this particular machine translation framework, which utilizes the language model as a penalty item in the objective function of the regression model, since its n-gram representation exactly matches the definition of our feature space.     

The support vector machine based on intuitionistic fuzzy number and kernel function

Fuzzy support vector machine applied a degree of membership to each training point and reformulated the traditional support vector machines, which reduced the effects of noises and outliers for classification. However, the degree of membership only considered the distance from samples to the class center in the sample space, while neglected the situation of samples in the feature space and easily mistook the edge support vectors as noises. To deal with the aforementioned problems, the support vector machine based on intuitionistic fuzzy number and kernel function is proposed. In the high-dimensional feature space, each training point is assigned with a corresponding intuitionistic fuzzy number by the use of kernel function. Then, a new score function of the intuitionistic fuzzy numbers is introduced to measure the contribution of each training point. In the end, the new support vector machine is constructed according to the score value of each training point. The simulation results demonstrate the effectiveness and superiority of the proposed method.     

Deep kernel learning in core vector machines

In machine learning literature, deep learning methods have been moving toward greater heights by giving due importance in both data representation and classification methods. The recently developed multilayered arc-cosine kernel leverages the possibilities of extending deep learning features into the kernel machines. Even though this kernel has been widely used in conjunction with support vector machines (SVM) on small-size datasets, it does not seem to be a feasible solution for the modern real-world applications that involve very large size datasets. There are lot of avenues where the scalability aspects of deep kernel machines in handling large dataset need to be evaluated. In machine learning literature, core vector machine (CVM) is being used as a scaling up mechanism for traditional SVMs. In CVM, the quadratic programming problem involved in SVM is reformulated as an equivalent minimum enclosing ball problem and then solved by using a subset of training sample (Core Set) obtained by a faster \((1+\epsilon )\) approximation algorithm. This paper explores the possibilities of using principles of core vector machines as a scaling up mechanism for deep support vector machine with arc-cosine kernel. Experiments on different datasets show that the proposed system gives high classification accuracy with reasonable training time compared to traditional core vector machines, deep support vector machines with arc-cosine kernel and deep convolutional neural network.