基于免疫仿生机理和图神经网络的网络异常检测方法

文章通过模仿生物系统的防御风险机制,提出一种基于免疫仿生机理和图神经网络的网络异常检测方法.通过图神经网络对节点附近的子图信息进行深度挖掘,在考虑网络内容特征的同时,将基于图的结构特征融入模型,共同作为网络异常检测依据,更好地挖掘网络中的异常信息.同时在网络异常检测中融入图表示学习技术,以解决特征表示问题.文章基于ID...     

一种新的在线流数据异常检测方法

流数据的海量、无限、分布动态变化且不均衡等特征使得对流数据的在线异常检测成为当前一个研究热点。分析了异常数据的少而不同且更容易通过随机空间的分割而孤立出来的特征,基于在线集成学习理论,提出了一种基于隔离森林的在线流数据异常检测算法。在4个UCI标准数据集上的实验结果表明提出的方法有效。     

基于深度学习的图异常检测技术综述

图异常检测旨在大图或海量图数据库中寻找“陌生”或“不寻常”模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能.近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注.尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注.首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.     

基于深度学习的属性图异常检测综述

异常检测一直以来都是数据挖掘领域的研究热点之一,其任务是在海量数据中识别罕见的观测对象。随着图数据挖掘的发展,属性图异常检测在各个领域广受关注。然而,属性图因其复杂的拓扑结构和丰富的属性信息成为异常检测一大难点。深度学习方法在捕捉属性图复杂的信息中展现出优越性能,已被证实是解决属性图异常检测问题非常有效的方法。对普通图异常检测和属性图异常检测以及表示学习相关方法进行简要概述;其次从静态属性图和动态属性图两方面对最新深度学习异常检测方法进行介绍与分类;对常见数据集上的实验结果进行了对比、分析;对属性图异常检测的应用场景、存在的问题以及面临的挑战进行讨论,展望了未来的研究方向。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

面向图的异常检测研究综述

近年来,随着Web 2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态...     

一种基于Voronoi图的高效异常检测方法

提出了一种新的基于Voronoi图的异常检测方法。采用Voronoi图来确定对象间的邻近关系,定义了一种新的异常因子,算法的时间复杂性为O（nlogn）。实验结果表明,同现有的算法相比具有较高的检测效率和准确性。     

基于集成方法的异常点检测

在大数据时代,基于机器学习的异常点(Outlier)检测被广泛应用在抗网络攻击、检测信用欺诈等方面,已引起工业界的普遍重视。不同于传统的分类和聚类问题,异常点检测需要面临严重数据失衡问题。为了解决这一问题,笔者提出了集成多种机器学习技术检测异常点的方法,并通过实验证明了方法的有效性。     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

基于改进图神经网络的异常检测方法

异常检测在许多领域都具有重要意义,它可以帮助人们及时发现数据错误或缺失,而传统的方法只能对单一因素进行异常识别。随着数字时代的到来,时序数据往往表现出数据庞大、复杂、维度高等特点,传统异常检测方法由于计算的可扩展性较弱,存在维度灾难问题,在多维数据场景中经常表现不准。为了提高异常检测精度及捕捉多维数据的关联性,在此提出一种基于改进图神经网络的多维序列异常检测模型,选择图偏差网络（GDN）作为基础框架,使用Transformer模型替换了原模型中的预测部分,对相邻时间序列的未来值进行预测,以此来捕捉时间序列的特征,学习时间序列之间的依赖关系,提高异常检测精度。实验结果表明,在3个公开的数据集上,该方法可获得较高的精确率和计算效率。     

基于频繁子图挖掘的异常入侵检测新方法*

针对传统的基于系统调用序列的异常入侵检测方法中离线学习过程对训练数据量过于依赖的问题,引入频繁子图挖掘理论,利用系统调用序列转化为有向图结构后所特有的衍生能力,能够以较小的训练数据规模获取数量可观且行之有效的衍生特征模式。实验结果表明,经扩充的特征模式集能够有效提高对未知程序行为的鉴别能力。同时,将系统调用序列的局部特性与全局特性相结合,为变长特征模式的提取提供了一个较为合理的参考。     

基于时间序列图挖掘的网络流量异常检测

网络流量异常检测要解决的核心问题之一是获得信息的全面性和流量信息描述的准确性.针对现有网络异常流量检测方法分析多时间序列的不足,提出了一种基于图挖掘的流量异常检测方法.该方法使用时间序列图准确、全面地描述用于流量异常检测的多时间序列的相互关系;通过对项集模式进行支持度计数,挖掘各种频繁项集模式,有利于对各种异常流量的有效检测;通过挖掘各项集之间的关系,引入了项集的权重系数,解决了流量异常检测的多时间序列相互关系的量化问题.仿真结果表明,该方法能有效地检测出网络流量异常,并且对DDos攻击的检测效果明显优于基于连续小波变换的检测方法.     

基于Voronoi图的异常检测算法

异常检测是数据挖掘的一个重要组成部分,其中基于密度的方法LOF是目前常用的主要方法。然而LOF方法进行检测时需要设定参数k和MinPts,检测结果对参数非常敏感,容易造成检测错误。该文提出了一种基于Voronoi图的异常检测算法VOD,采用Voronoi图来确定对象间的邻近关系,解决了基于密度方法存在的问题,算法的时间复杂性从O(N2)降低到O(NlogN)。     

基于平均特征重要性和集成学习的异常检测

异常检测系统在网络空间安全中起着至关重要的作用,为网络安全提供有效的保障.对于复杂的网络流量信息,传统的单一的分类器往往无法同时具备较高检测精确度和较强的泛化能力.此外,基于全特征的异常检测模型往往会受到冗余特征的干扰,影响检测的效率和精度.针对这些问题,本文提出了一种基于平均特征重要性的特征选择和集成学习的模型,选取决策树(DT)、随机森林(RF)、额外树(ET)作为基分类器,建立投票集成模型,并基于基尼系数计算基分类器的平均特征重要性进行特征选择.在多个数据集上的实验评估结果表明,本文提出的集成模型优于经典集成学习模型及其他著名异常检测集成模型.且提出的基于平均特征重要性的特征选择方法可以使集成模型准确率平均进一步提升约0.13%,训练时间平均节省约30%.     

基于模型共享的分布式异常检测方法

传统集中式异常检测方法需要耗费大量的网络资源和计算时间。为此,提出一种基于模型共享的分布式异常检测方法。利用多数投票、边界扩展、平均叠加以及距离加权这4种集成学习方法得到全部局部模型,通过交换本地数据挖掘模型的方式实现数据共享,构造总体的集成式学习模型。实验结果表明,该模型能从全局的观点检测异常,减少集中式检测所需的数据传输量,有效地保护数据的隐私性。     

基于角度的图神经网络高维数据异常检测方法

在高维数据空间中,数据大都处于高维空间边缘且分布十分稀疏,由此引起的“维度灾难”问题导致现有异常检测方法无法保证异常检测精度。为解决该问题,提出一种基于角度的图神经网络高维数据异常检测方法A-GNN。首先通过数据空间的均匀采样和初始训练数据的扰动来扩充用于训练的数据;然后利用k近邻关系构造训练数据的k近邻关系图,并以k近邻元素距离加权角度的方差作为近邻关系图节点的初始异常因子;最后通过训练图神经网络模型,实现节点间的信息交互,使得相邻节点能够互相学习,从而进行有效的异常评估。在6个自然数据集上将A-GNN方法与9种典型异常检测方法进行实验对比,结果表明：A-GNN在5个数据集中取得了最高的AUC值,其能够大幅提升各种维度数据的异常检测精度,在一些“真高维数据”上异常检测的AUC值提升达40%以上;在不同k值下与3种基于k近邻的异常检测方法相比,A-GNN利用图神经网络节点间的信息交互能有效避免k值对检测结果的影响,方法具有更强的鲁棒性。     

基于分层概率图的动态网络在线异常检测方法

针对当前动态网络异常检测方法只能检测点异常、边异常和子图异常等局部异常事件的缺点,提出了基于分层概率图的在线异常检测方法。首先以窗口为单位将动态网络表征为树状图,然后运用概率分布的方法量化动态网络中连接关系的不确定性,最后结合统计假设检验的方法确定网络窗口是否发生异常。将该方法运用于AS级Internet的动态网络,实验结果表明,分层概率图模型不仅能够准确表征动态网络拓扑结构的演变,而且可以有效检测动态网络中的异常事件。     

图嵌入和LSTM自动编码器结合的BGP异常检测

针对BGP异常数据的检测问题,依托互联网公开的真实BGP更新报文数据,重点结合网络的拓扑特征及时序变化特点,提出一种新的基于图嵌入特征和LSTM自动编码器的BGP异常检测方法.首先利用BGP数据中AS_PATH属性信息,构建基于时间序列的网络拓扑图的动态嵌入特征数据集,然后使用LSTM自动编码器模型对数据进行检测,发现...     

一种基于图的异常入侵检测新算法

根据主机系统异常入侵过程中Windows native API序列的瞬时高频性,提出一种基于图的异常入侵检测算法。该算法首先将每个Native API映射成为图中的一个点,并以其为起点的子序列作为该点的路径、Native API的前后调用关系为边;其次,对图中每个点记录各自的路径,在这些点的路径中找到若干个圈,圈定义为因对同一个Native API重复调用而在图中出现的回路;然后,对组成圈的所有边权值根据一定规则更新;最后利用图的边与其邻边权值差计算出异常指数,判断该序列是否异常。实验结果表明该算法在Windows平台下能实时有效地检测出异常入侵和病毒的Native API序列。     

利用朴素贝叶斯方法实现异常检测

在入侵检测系统中,如何构造有效的异常检测模块是当前国际上研究的热点,目前人们也提出了许多不同的方法。该文利用朴素贝叶斯方法构造异常检测模块,并利用DARPA98数据作为训练和测试集。实验结果表明,在用小样本训练的情况下,检测率达到令人满意的结果,具有一定的使用价值。