空间高效的数据包公平抽样算法

数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显.     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

基于动态计数型过滤器的网络流公平抽样机制

传统的包抽样方法对每一个数据包都以同等的比率抽取,这样就导致了大部分被抽中的是大流,而短流和一般流非常少。高速网络的流量检测需要全面的流信息。针对传统流抽样的缺陷,结合现有的SGS(Sketch Guided Sampling)抽样比与流量成反比的公平抽样思想和动态计数型过滤器,提出更加高效的公平抽样算法DCFS(Dynamic Count Fair Sampling)。DCFS算法使用动态统计过滤器DCF(Dynamic Count Filter)统计流量,相对于SGS算法该方法空间更加高效,而且估计准确性也更好。     

基于BF算法的网络异常流量行为检测

互联网异常流量行为会造成网页内容难以管理、吞噬网络带宽和传播病毒等危害.针对该问题,提出基于Bloom Filter(BF)算法的异常流量检测方法.以点对点(P2P)流量为检测对象,分析BF算法和传统的抽样方法,研究P2P流量常见的特征行为,统计其属性组合,并基于BF算法和抽样方法对异常流量行为进行检测.实验结果证明,该方法能加快异常流量行为的检测速度,提高检测准确率.     

兼顾网络负载与公平的数据流抽样算法

为实现大规模数据流抽样的公平性与可行性,设计一种自适应数据流公平抽样算法。根据网络负载状况,自适应地调整抽样间隔,对数据流进行分段采样,采集初始样本;根据数据流的大小,以反比例函数为抽样函数,对初始样本进行概率抽样。通过对数据流采集过程的两阶段控制,实现在资源有限的情况下,对数据流进行公平合理的抽样。仿真结果表明,相较其它抽样算法,使用该算法抽样的样本更加公平准确。     

自动获取k-means聚类参数k值的算法

为了减轻用户负担,针对k-means算法的k值给定问题进行了研究,提出了一种k值自动获取方法。对所需要聚类的数据进行抽样,对抽样数据相互之间的间距进行计算,获得密度参数R,Z和簇划分参数r,m,h。在多次抽样数据得到的参数集中,选取一组最小的参数运用到动态k-means算法中,获得k值。在自动获取参数的基础上,通过实验对簇间属性相似数据获得了准确率较高的聚类结果。实验结果表明,该算法提高了k-means算法的自动化计算能力。     

一种图像置乱的改进算法

提出了一种改进的基于混沌的图像置乱算法.该算法在对图像运用抽样技术预处理的基础上,利用Logistic映射产生的伪随机序列,对图像进行灰度值的变换和全局的块置乱.实验仿真表明,该加密算法具有良好的加密效果,能有效地抵御统计攻击和差分攻击.     

流量抽样关键技术研究

网络管理和监控是网管系统和流量工程的重要组成部分.随着网络的高速发展,实时有效的流量抽样技术对网管系统和网络监控系统越来越重要.传统的网络流量测量是对链路上通过的所有报文进行都捕获和统计的方式进行的.随着网络技术的发展,传统的流量测量方法会对测量设备产生很大的开销,因而变得不再实用.为了解决上述问题文章对现有网络流量监测技术进行研究,首先对流量测量方法和流特征进行介绍,然后介绍了现有抽样技术的种类以及现有抽样技术的研究现状,最后介绍了三种具体的自适应抽样技术.     

一种基于流数约减的非线性公平采样算法

针对现有采样算法存在可扩展性和公平性差的问题,提出一种基于流数约减的非线性公平采样算法(adaptive fair sampling based on reducing flow numbers,AFS-RFN).AFS-RFN算法首先采用均匀抽样的方法对要统计流数进行约减,获得样本流集合;然后,对属于样本流集合的分组采用非线性的方法进行公平采样,实现控制统计流数目的同时保证统计流信息的准确性.仿真表明,与ANLS(adaptive non-linear sampling)算法相比,AFS-RFN算法大幅降低了存储开销,同时,将算法的公平性提高了60％.算法具有良好的可扩展性和公平性.     

流测量中基于测量缓冲区的时间分层分组抽样

NetFlow是流测量中广泛应用的解决方案,但NetFlow的抽样方法存在一定的缺陷:泛洪攻击时消耗路由器过多的资源;用户很难选择适合所有流量组成情况的静态抽样率,以平衡资源消耗量和准确率.提出了一种易于实现的分组抽样方法.该方法利用测量缓冲区对定长时间内到达的分组进行固定数量的抽样,既可以使抽样率自适应于流量变化,又可以控制资源的消耗.证明了抽样估计的无偏性,并推导出估计值相对标准差的理论上界.实验结果表明,与已有方法相比,该方法在具有简单性、自适应性及资源可控性的同时不会失去准确性.     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

基于业务流数量自适应的资源限制分组抽样

高速网络中,流量抽样测量技术是一种重要可扩展的解决方案,其中NetFlow在流量测量中有着广泛的应用。针对NetFlow的缺陷提出了一种基于业务流数量自适应的资源限制分组抽样算法,该算法结合 “分层抽样”的思想,把 “累积业务流数量”作为重要的参数,来自适应地调节抽样概率,该抽样方法简单、易于实现,平衡了资源的消耗量和准确性。并基于实际互联网数据进行了实验比较,结果显示：该方法具有简单性、自适应性、资源可控性的同时不会失去准确性。     

高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.     

改进型分层抽样技术及性能研究

报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。本文通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时文章使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。     

网络测量中自适应数据采集方法

抽样方法广泛地应用于网络测量与其他领域对被测总体的指标进行估计.研究表明,多种网络指标呈现重尾分布或自相似的特征.这些特性为准确估计总体指标带来了诸多困难.但同时,对被测网络指标进行建模也有着重要的应用.然而,建立精确网络模型是困难的.从时间序列拟合角度出发,提出了一种基于拟合的自适应抽样方法,对被测指标进行基于测量的建模.工作主要体现在: (1) 采用分段线性函数对被测指标进行逼近,建立基于测量的模型; (2) 与常用的抽样方法相比,在相同的样本数情况下,由拟合模型对指标进行的估计更准确、更稳定;通过对两个测量记录的分析表明,在与常用抽样方法保持相同的拟合误差时,自适应抽样方法明显地减少了所需采集的样本数量; (3) 与其他概率抽样方法相比,自适应抽样最终抽取的样本数更稳定、更可靠,并给出了最终样本数的概率分布.     

基于NetFlow的特征感知自适应的流采样方法

采样是网络异常检测中数据采集的主要方法。而网络流的持续时间、数据包的大小、异常流量出现的频率等都在不断变化,给准确的采样带来很多负面的影响。为此,提出了特征感知的自适应采样技术,在流量特征不断变化的情况下可以自动调整采样率,并将它和随机采样技术、选择采样技术进行比较,研究了这些采样技术在网络行为分析系统中保留网络特征的能力,实验结果表明此方法在保留网络特征和异常检测质量评估中,明显优于其他方法。     

基于统计分析的高速网络分布式抽样测量模型

分布式被动测量是研究网络行为的一个重要手段，其面临的主要问题是难以实现高速网络流量测量，因此需要使用抽样技术．分布式抽样测量技术需要解决两个关键问题：分布式测量点测量报文的一致性和抽样样本的统计随机性．为此，抽样测量的核心是选择合适的抽样掩码匹配位串，以保证抽样样本的随机性，且实现分布式测量点的信息一致性．文章对CERNET主干网络流量IP报头各字段的随机性进行分析，结果表明标识字段16bits满足抽样掩码匹配位串要求，并对抽样样本的随机性和统计属性进行分析．实验验证抽样样本既能用于网络行为研究也能用于流量行为研究．     

高速网络超点检测的并行数据流方法

超点检测对于网络安全、网络管理等应用具有重要意义.由于存在着高速网络环境下海量网络流量与有限系统资源之间的矛盾,在线准确地监测网络流量是一个极大的挑战.随着多核处理器的发展,多核处理器的并行性成为算法性能提高的一种有效途径.目前,针对基于流抽样的超点检测方法存在计算负荷重、检测精度低、实时性差等问题,提出了一种并行数据流方法(parallel data streaming,简称PDS).该方法构造并行的可逆Sketch数据结构,建立紧凑的节点链接度概要,在未存储节点地址信息的情况下,通过简单地计算重构超点的地址,获得了良好的效率和精度.实验结果表明:与CSE(compact spread estimator),JM(joint data streaming and sampling method)方法相比,该方法具有较好的性能,能够满足高速网络流量监测的应用需求.     

应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法

在高速网络上进行P2P流量识别具有极大的困难,因为基于端口号的方法已经不再准确,而基于应用签名的方法没有足够高的处理效率.提出了应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法.建立了误检率和漏检率模型来分析报文采样率和签名率对识别准确度的作用,并指导应用签名和采样率的选择.通过开发流状态判别预处理器,在Snort平台上实现了该流量识别算法.实验结果表明该流量识别算法处理效率和准确度都是令人满意的,能应用于高速网络环境.在普通个人计算机上,对采样报文的处理效率在800Mbps以上.将该方法应用于报文处理,当采样率为0.5时漏检率为0.6%,当采样率为0.1时漏检率为5.9%,当采样率为0.05时漏检率为10.5%.将该方法应用于流数据分析,当采样率为0.5时漏检率为0.06%,当采样率为0.1时漏检率为0.33%,当采样率为0.05时漏检率为1.1%.该方法展现了优秀的误检性能,没有任何报文被误检.实验结果也表明误检率和漏检率模型是非常准确的.     

多采样频率的配网接地故障检测与定位

现有文献的故障监测与定位小波算法都是在录波采样频率相同的前提下进行的,配电网小电流接地故障实时检测,与变电站接地故障检测的环境完全不同：配网故障监测装置,采用不同标准采样频率(3600Hz、4800Hz)上送实时故障录波数据到配网中心,更有采用4096Hz的采样频率上送故障录波数据,在配网中心需要把不同采样频率的录波数据进行分析计算,提取故障特征、检测故障,确定故障首尾端,实现故障检测与定位。本文给出了小波能量特征的定义、不同采样频率能量特征的折算、基于能量特征的配电网接地故障监测与定位算法。多种采样频率下配网接地故障检测与定位,通过小波变换提取故障能量特征、将不同采样频率故障录波信号,折算到最低采样频率下的能量特征,然后根据能量特征来判别故障类型、确定故障首尾端。多采样频率的小波能量特征折算算法,对于类似的小波变换的使用场合,也有借鉴意义。