一种新的两阶段抽样算法

两阶段抽样算法从海量数据集中抽取样本数据用于数据挖掘，当数据集规模过大时算法效率偏低，当数据集规模过大且为稀疏数据集时抽样精度偏低。本文改进了传统两阶段抽样算法，提出新的抽样算法EAFAST，可自适应地调节算法参数，而且能充分利用历史信息进行启发式搜索。实验证明，EAFAST算法可同时提高算法效率和抽样精度，弥补了传统算法的不足。     

基于模糊控制的自适应流量抽样方法

针对系统抽样中恒定报文采样概率方法异常检测的漏检率高和随机报文采样概率偏向于采集长流的缺陷,提出了一种模糊自适应流量抽样方法。该方法利用网络流量的相关性设定采样率,并实时自适应预测采样粒度,自动在允许误差范围内进行尽可能精确地测量,更好地捕捉到网络流量特征和网络行为特征。实验证明,所提方法不但能减少抽样数据对于异常检测的影响,而且可以高效地反映原始数据的异常情况。自适应模糊控制系统结构简单,易于实现,其控制策略达到了较高的工艺水平的要求,具有良好的预测性,并能提高流量检测的精确度,具有一定的推广价值。     

流量抽样关键技术研究

网络管理和监控是网管系统和流量工程的重要组成部分.随着网络的高速发展,实时有效的流量抽样技术对网管系统和网络监控系统越来越重要.传统的网络流量测量是对链路上通过的所有报文进行都捕获和统计的方式进行的.随着网络技术的发展,传统的流量测量方法会对测量设备产生很大的开销,因而变得不再实用.为了解决上述问题文章对现有网络流量监测技术进行研究,首先对流量测量方法和流特征进行介绍,然后介绍了现有抽样技术的种类以及现有抽样技术的研究现状,最后介绍了三种具体的自适应抽样技术.     

网络自适应公平分组抽样算法研究

针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法.根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果.对算法的相关性质进行了证明与分析,基于实际互联网数据进行了实验比较,实验结果表明,该算法具有准确性、自适应性、易于工程实现等优点.     

双机协作的抽样测量与多次抽样技术研究

阐述了掩码匹配抽样的基本原理，给出了抽样获取Intranet出口流量的基本方法和拓扑结构；为实现长时间的连续抽样测量，设计并用Java 语言实现了两台测量主机之间的协作算法；为逐步而平滑地减少部分数据而不造成原始流量性质失真，提出了基于掩码匹配的多次抽样方法，通过对流量数据的分析表明，多次抽样前后报文的长度分布及协议分布一致。     

流测量中基于测量缓冲区的时间分层分组抽样

NetFlow是流测量中广泛应用的解决方案,但NetFlow的抽样方法存在一定的缺陷:泛洪攻击时消耗路由器过多的资源;用户很难选择适合所有流量组成情况的静态抽样率,以平衡资源消耗量和准确率.提出了一种易于实现的分组抽样方法.该方法利用测量缓冲区对定长时间内到达的分组进行固定数量的抽样,既可以使抽样率自适应于流量变化,又可以控制资源的消耗.证明了抽样估计的无偏性,并推导出估计值相对标准差的理论上界.实验结果表明,与已有方法相比,该方法在具有简单性、自适应性及资源可控性的同时不会失去准确性.     

拉丁超立方抽样的自适应高斯小孔成像蝴蝶优化算法

针对蝴蝶优化算法存在种群多样性差、寻优精度低、收敛速度慢的不足,提出了拉丁超立方抽样的自适应高斯小孔成像蝴蝶优化算法。首先利用拉丁超立方抽样种群初始化策略以提高种群的多样性,从而增强算法的全局搜索能力;然后引入在不同进化时期自动调节搜索范围的自适应最优引导策略,平衡算法的全局和局部搜索能力,从而提升算法的寻优精度;最后采用高斯小孔成像策略,对最优个体进行扰动,使得种群个体向最优个体靠近,以进一步提升算法的寻优精度并加快算法的收敛速度。通过对14个基准测试函数进行仿真实验以及Wilcoxon秩和检验,结果表明改进算法的寻优精度、收敛速度、稳定性和可扩展性等性能均得到了较大提高。     

改进型分层抽样技术及性能研究

报文抽样技术是高速网络流量测量和管理中使用的一项关键技术。本文通过引进分层特征、层数L、分层边界、各层样本量分配、层内抽样策略5个分层抽样参数,并对其进行重新配置和简单理论探讨,实现对分层抽样技术的改进。同时文章使用简单线性估计推断原始流数据,并借助于Φ偏差检验方法,对改进的分层抽样技术和其它抽样技术在测量网络报文长度分布方面进行准确性性能比较。结果表明,改进的分层抽样技术在测量报文长度分布方面的准确性性能远高于其它抽样方式,提高了测量的精度。     

基于自适应CMAC的赤泥沉降底流控制模型

本文对CMAC的学习率和惯性系数进行了自适应设计,提高CMAC的计算速度和精度以满足复杂动态环境下的非线性实时控制的需要。结合沉降分离控制系统工艺优化的需求,提出了基于自适应CMAC的沉降系统泥层界面预测和底流控制模型,用于准确实时地预测泥层界面,在此基础上进行底流流量优化控制。工业试验说明了该模型在对过程量预测的预测精度和快速性上具有明显的优越性,本模型已应用于某氧化铝厂工艺优化系统中动态调节底流流量,取得了明显的经济效益。     

基于掩码匹配的校园网出口流量抽样测量研究

针对校园网出口流量抽样测量问题，给出了测量点的选择及测量环境的设计方案,实施了特定掩码与IP报文标识字段进行匹配的抽样测量。提出了从抽样后的报文中估计一定时间刻度原始流量的大小、估计原始报文长度与协议分布的方法。通过对防火墙流量信息的观测和对校园网流量信息的分析表明，抽样测量结果与实际情况相符。     

基于DCF的资源可控流抽样

Cisco的NetFlow是流测量中广泛应用的方案,但因其采用静态抽样率,当网络流量突然上升时,消耗过多的路由器资源,甚至影响路由器的正常转发功能。提出了基于DCF的资源可控流抽样,对测量间隔内到达的报文采取固定数量的抽样,并采用DCF哈希算法维护流记录,有效控制了资源的消耗。理论和实验分析结果表明,该方法具有抽样率自适应性、简单性、资源可控性,同时不失准确性。     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

一种新的基于SCBF的流抽样测量算法研究

为提高流测量系统的运行效率,减少其所需存储资源,提出了一种改进的测量并维护其流信息的算法——基于拆分型计数Bloom Filters（Split Counting Bloom Filters）的流抽样。该算法采用基于报文的抽样来实现流抽样,不仅可以使用较少系统资源来维护流信息,同时可适用于不同流量的测量点,提高了测量系统的准确性和可扩展性。     

Adaptive Sampling for Network Management

High-performance networks require sophisticated management systems to identify sources of bottlenecks and detect faults. At the same time, the impact of network queries on the latency and bandwidth available to the applications must be minimized. Adaptive techniques can be used to control and reduce the rate of sampling of network information, reducing the amount of processed data and lessening the overhead on the network. Two adaptive sampling methods are proposed in this paper based on linear prediction and fuzzy logic. The performance of these techniques is compared with conventional sampling methods by conducting simulative experiments using Internet and videoconference traffic patterns. The adaptive techniques are significantly more flexible in their ability to dynamically adjust with fluctuations in network behavior, and in some cases they are able to reduce the sample count by as much as a factor of two while maintaining the same accuracy as the best conventional sampling interval. The results illustrate that adaptive sampling provides the potential for better monitoring, control, and management of high-performance networks with higher accuracy, lower overhead, or both.     

可穿戴设备的数值型流数据差分隐私均值发布

可穿戴设备实时产生的用户健康数据（如心率、血糖等）对健康监测及疾病诊断具有重大意义，然而健康数据属于用户的隐私信息。针对可穿戴设备的数值型流数据均值发布，为防止用户的隐私信息泄漏，提出一种基于自适应采样的可穿戴设备差分隐私均值发布方法。首先，引入适应可穿戴设备流数据均值波动小这一特点的全局敏感度；然后，采用基于卡尔曼滤波调整误差的自适应采样的方式分配隐私预算，提高发布数据的可用性。在发布两种健康数据的实验中，所提方法在隐私预算为0.1时，即高隐私保护强度下，在心率和血糖数据集上的平均相对误差(MRE)分别为0.01和0.08，相较于差分隐私时序监测的滤波和自适应采样（FAST）算法分别降低了36%和33%。所提的均值发布方法能够提高可穿戴设备均值流数据发布的可用性。     

一种业务流自适应尽力采样方法

基于业务流的网络流量监测是网络管理、运维、实现基于业务的计费、流量工程等的重要手段．精确、高效的采样技术是实现高速网络流量业务流监测分析的重要技术．基于分段采样思想提出一种尽力最优的自适应随机采样方法，实现特大业务流的精确估计，其中把监测系统本身的处理能力作为选择采样概率的参数．实验结果显示算法能够很好地调节采样概率，使得采样包速率基本等于预先设定的监测系统的处理能力．     

iPAS系统IP承载网流量的研究

采用方差时间图方法分析了一个大型商用iPAS系统IP承载网流量数据,得出IP承载网流量呈弱自相似过程的结论,这意味着从不同的时间尺度来看,IP承载网流量具有突发性,但突发性并不是很强。而对IP承载网流量分布的分析,表明IP承载网流量呈比较复杂的分布,不能用常用的分布表示。流量峰值反映了流量的突发情况,该文研究发现,对同一流量过程,采样时间粒度不同,则采样得到的流量峰值不同。所以,为了得到必要的流量特征细节,必须合理选择采样时间粒度。