基于概要数据结构可溯源的异常检测方法

提出一种基于sketch概要数据结构的异常检测方法.该方法实时记录网络数据流信息到sketch数据结构,然后每隔一定周期进行异常检测.采用EWMA(exponentially weighted moving average)预测模型预测每一周期的预测值,计算观测值与预测值之间的差异sketch,然后基于差异sketch采用均值均方差模型建立网络流量变化参考.该方法能够检测DDoS、扫描等攻击行为,并能追溯异常的IP地址.通过模拟实验验证,该方法占用很少的计算和存储资源,能够检测骨干网络流量中的异常IP地址.     

高速网络超点检测的并行数据流方法

超点检测对于网络安全、网络管理等应用具有重要意义.由于存在着高速网络环境下海量网络流量与有限系统资源之间的矛盾,在线准确地监测网络流量是一个极大的挑战.随着多核处理器的发展,多核处理器的并行性成为算法性能提高的一种有效途径.目前,针对基于流抽样的超点检测方法存在计算负荷重、检测精度低、实时性差等问题,提出了一种并行数据流方法(parallel data streaming,简称PDS).该方法构造并行的可逆Sketch数据结构,建立紧凑的节点链接度概要,在未存储节点地址信息的情况下,通过简单地计算重构超点的地址,获得了良好的效率和精度.实验结果表明:与CSE(compact spread estimator),JM(joint data streaming and sampling method)方法相比,该方法具有较好的性能,能够满足高速网络流量监测的应用需求.     

基于事件流数据世系的恶意网络行为检测方法

目前网络攻击呈现高隐蔽性、长期持续性等特点,极大限制了恶意网络行为检测对网络攻击识别、分析与防御的支撑。针对该问题,提出了一种基于事件流数据世系的恶意网络行为检测方法,采用事件流刻画系统与用户及其他系统间的网络交互行为,构建数据驱动的事件流数据世系模型,建立面向事件流数据世系相关性的异常检测算法,从交互数据流角度分析和检测恶意网络行为事件,并基于事件流数据世系追溯恶意网络行为组合,为网络攻击分析提供聚焦的关联性威胁信息。最后通过模拟中间人和跨站脚本组合式网络渗透攻击实验验证了方法的有效性。     

基于概要数据结构的网络异常检测方法

提出一种基于概要数据结构(sketch)的网络异常检测方法。采用金字塔时间模型对高速网络数据流进行分析,并基于奇异熵提取sketch。统计一定周期内该数据结构的特征值变化趋势,计算出均值和梯度值,以及相应的报警区间。当告警出现时,该方法能分析出现异常的IP地址。实验证明,该方法能有效地对网络进行异常检测。     

网络流量长相关特性估计算法性能评估

定量刻画网络流量的长相关特性是网络特性研究的重要基础。对当前常用的Hurst指数估计算法进行了详细归纳。在此基础上，以已知Hurst指数的分形高斯噪声(fGn)序列为主要研究对象，利用逆向方法，分别研究了周期信号以及高斯白噪声影响下的Hurst指数估计算法的估计性能。通过比较，发现没有任何一种Hurst指数估计算法能够广泛应用于复杂条件下网络流量序列的Hurst指数的准确估计，其主要原因是因为这些算法的主要思想都是在全域内运用了求和平均的方法，使得流量序列的高可变信息受损，导致估计误差增大。     

基于非平稳信号时频分析的网络攻击检测算法

在复杂网络环境下,网络攻击特征信息通常表现为一组非平稳宽带信号,通过信号检测方法实现网络攻击检测,保证网络安全。传统方法采用傅里叶变换方法进行网络攻击的非平稳信号检测,由于傅里叶变换的时变性会引起较大的包络振荡,检测性能不好,提出一种基于非平稳信号时频分析的网络攻击检测算法。构建了复杂干扰环境下的网络攻击信号模型,提取网络攻击非平稳宽带信号的时频特征。采用WVD-Hough时频变换实现对网络攻击非平稳宽带信号的时频聚集,采用混叠谱模糊度函数分析频谱特征。得到网络攻击信号的瞬时频率估计结果,设计匹配滤波算法进行信号抗干扰设计,最后输出检测结果。仿真实验表明,采用该算法进行网络攻击检测,准确检测概率较高,检测性能优越。     

基于HMM的DDoS攻击流量检测方法研究

DDo S网络流量在当前网络攻击中扮演着重要的角色,本文提出了一种基于隐马尔科夫模型的DDo S异常网络流量检测系统,并与其它方法进行了比较和结果分析。所提出的方法选取了网络流量的实时特性为研究对象,对流入目标网络的数据源IP地址数量及单位IP平均数据包数量建立了隐马尔科夫模型,实现对网络中的DDo S异常流量进行检测。该方法具有较高的移植性和操作性。     

一种高效的网络流记录表示方法

带宽和应用不断发展,迫切需要对应用业务的精细化网络流量进行持续监测.NetFlow的表示方法存在数据组织效率低等问题,导致传输开销过大、历史数据存储空间爆炸增长;聚合NetFlow表示方法又带来大量信息丢失.寻找一种高效的网络流记录表示方法对满足网络测量有着非常重要的意义.提出了一种新的方法——基于对象和应用的流量特征统计描述(TABSI),该方法以单位时间周期内各个监测对象在不同应用下的流量统计、流数目统计及分布为流量信息的基本描述单位,周期性地导出该信息来描述链路流量特征.理论分析表明TABSI比聚合NetFlow记录包含更多的信息量,能够很好地描述网络行为;且TABSI历史数据有效性更强.现网运行测试表明该方法可使传输数据量减少、存储组织高效查询分析更快、存储空间大大减少.     

多维多层次网络流量异常检测研究

随着网络攻击种类和数量的增加以及网络带宽的不断增大,网络流量异常检测系统面临着误报率高和漏报率高的问题.针对该问题,首先对采集到的网络流量数据进行多维多层次在线联机分析,通过构建检测立方体数据结构并在检测立方体上针对异常检测的应用特征提出了一系列优化策略,采用最小生成树对多维度上的多查询进行优化,采用异常驱动的方法动态...     

基于随机森林算法的无线传感网络攻击流量阻断模型构建

针对无线传感网络攻击流量阻断存在攻击流量检测准确率较低、阻断效果较差的问题,构建了一种基于随机森林算法的无线传感网络攻击流量阻断模型。基于字符（单词）的词频矩阵,利用TF-IDF算法将有效载荷的特征自动提取出来;根据特征结果使用随机森林算法通过词频矩阵对网络流量实行分类,基于分类结果对网络中的流量攻击实现溯源,完成异常无线传感网络检测;利用流表的报文过滤实现无线传感攻击流量的阻断。实验结果表明,该模型在检测攻击流量时,准确率最高可达100%,调和平均数最高为99.18%,错误率最高仅为7.3%,假阳性率最高仅为5.5%,同时能够有效阻断网络攻击流量,在较短时间内将网络恢复至正常,具有良好的攻击流量检测效果和攻击流量阻断效果。     

Autonomic load balancing of flow monitors

In monitoring flows at routers for flow analysis or deep packet inspection, the monitor calculates hash values from the flow ID of each packet arriving at the input port of the router. Therefore, the monitors must update the flow table at the transmission line rate, so high-speed and high-cost memory, such as SRAM, is used for the flow table. This requires the monitors to limit the monitoring target to just some of the flows. However, if the monitors randomly select the monitoring targets, multiple routers on the route will sometimes monitor the same flow, or no monitors will monitor a flow. To maximize the number of monitored flows in the entire network, the monitors must select the monitoring targets while maintaining a balanced load among them. We propose an autonomous load-balancing method where monitors exchange information on monitor load only with adjacent monitors. Numerical evaluations using the actual traffic matrix of Internet2 show that the proposed method improves the total monitored flow count by about 50% compared with that of independent sampling. Moreover, we evaluate the load-balancing effect on 36 backbone networks of commercial ISPs.     

Virtual indexing based methods for estimating node connection degrees

It is difficult to accurately measure node connection degrees for a high speed network, since there is a massive amount of traffic to be processed. In this paper, we present a new virtual indexing method for estimating node connection degrees for high speed links. It is based on the virtual connection degree sketch (VCDS) where a compact sketch of network traffic is built by generating multiple virtual bitmaps for each network node. Each virtual bitmap consists of a fixed number of bits selected randomly from a shared bit array by a new method for recording the traffic flows of the corresponding node. The shared bit array is efficiently utilized by all nodes since every bit is shared by the virtual bitmaps of multiple nodes. To reduce the “noise” contaminated in a node’s virtual bitmaps due to sharing, we propose a new method to generate the “filtered” bitmap used to estimate node connection degree. Furthermore, we apply VCDS to detect super nodes often associated with traffic anomalies. Since VCDS need a large amount of extra memory to store node addresses, we also propose a new data structure, the reversible virtual connection degree sketch, which identifies super node addresses analytically without the need of extra memory space but at a small increase in estimation error. Furthermore we combine the VCDS and RVCDS based methods with a uniform flow sampling technique to reduce memory complexities. Experiments are performed based on the actual network traffic and testing results show that the new methods are more memory efficient and more accurate than existing methods.     

DDoS攻击的全局异常相关检测方法

骨干网中存在的DDoS攻击,由于背景流量巨大,且分布式指向受害者的多个攻击流尚未汇聚,因此难以进行有效的检测。为了解决该问题,提出一种基于全局流量异常相关分析的检测方法。根据攻击流引起流量之间相关性的变化,采用主成分分析提取多条流量中潜在异常部分之间的相关性,并将相关性变化程度作为攻击检测测度。实验结果证明了该测度的可用性,能够克服骨干网中DDoS攻击流幅值相对低且不易检测的困难,同现有的全局流量检测方法相比,所提出的方法能够取得更高的检测率。     

Optimal volume anomaly detection and isolation in large-scale IP networks using coarse-grained measurements

Recent studies from major network technology vendors forecast the advent of the Exabyte era, a massive increase in network traffic driven by high-definition video and high-speed access technology penetration. One of the most formidable difficulties that this forthcoming scenario poses for the Internet is congestion problems due to traffic volume anomalies at the core network. In the light of this challenging near future, we develop in this work different network-wide anomaly detection and isolation algorithms to deal with volume anomalies in large-scale network traffic flows, using coarse-grained measurements as a practical constraint. These algorithms present well-established optimality properties in terms of false alarm and miss detection rate, or in terms of detection/isolation delay and false detection/isolation rate, a feature absent in previous works. This represents a paramount advantage with respect to current in-house methods, as it allows to generalize results independently of particular evaluations. The detection and isolation algorithms are based on a novel linear, parsimonious, and non-data-driven spatial model for a large-scale network traffic matrix. This model allows detecting and isolating anomalies in the Origin-Destination traffic flows from aggregated measurements, reducing the overhead and avoiding the challenges of direct flow measurement. Our proposals are analyzed and validated using real traffic and network topologies from three different large-scale IP backbone networks.     

基于多级CBF的长流识别

针对高速网络流量难测量的问题及长流占网络流量大部分的特点,提出一种基于多级CBF的长流识别算法,对报文进行抽样,将抽取的报文通过经过一系列哈希映射到长流信息表中,查找是否存在该流信息,若存在则更新流信息,若不存在则将该报文用多级CBF结构对流信息进行过滤,报文数达到阈值的流被识别为长流,并在长流信息表中创建和维护该长流的信息.该算法在很大程度上减少了短流因为哈希冲突而被误判为长流的概率,降低了资源开销,对指定报文数为阈值的长流识别具有很好的扩展性.     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于流身份识别的P2P流量检测

网络地址翻译器转发的混合流与P2P数据流呈现相似的流量外部特征。实际测试结果显示,如果数据捕获点位于网络地址翻译器之后,当前P2P流量特征识别方法（TLI）因为没有对网络地址翻译器(NAT)转发混合流进行区分而将导致虚警和漏报情况。为了解决此类问题,提出了基于流身份识别的P2P流量检测方法,首先通过分析IP标识时间序列完成对NAT转发混合流中源自不同设备数据流的身份识别,在此基础上采用流量特征检测P2P流量。以当前主要的P2P应用为例进行测试,结果说明,利用该方法可以有效识别NAT混合流中的P2P流量,较大幅度降低虚警率和漏报率。