高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.     

高速网络流测量及模型研究

网络流测量是网络性能分析和网络流量建模的基础。该文分析了网络流测量的方法及特点,针对高速网络流测量中的关键问题进行了研究,并在此基础上提出了高速网络流测量模型,随后对该模型各组件及相互关系进行了分析,最后通过具体实验分析了模型架构及关键技术的可行性。     

大规模高速网络流量测量研究

随着互联网的发展,理解网络行为对于网络管理、规划和发展都有重要意义,网络流量测量是研究网络行为的基础。根据网络测量流量的不同,测量方法分为主动测量和被动测量,每种测量方法有其应用背景和优缺点。为了从不同角度研究网络行为需要定义不同的测度,IETF的IPPM工作组现已经定义了一整套用于流量行为测量的测度。根据测量的环境和应用背景的区别,国外不同的研究机构建立了不同的测量体系结构和测量工具。同时,由于网络带宽越来越大,全流量测量和分析研究越来越困难,为了解决这一问题,近几年,流量抽样测量研究现已成为高速网络流量测量的研究重点。     

基于数据流管理平台的网络安全事件监控系统

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件．数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型．本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型．在这个模型中，数据流管理平台有效地支持了对高速网络数据流的实时查询与分析，从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能．利用CQL作为接口语言，精确描述安全事件规则与各种监拉查询，具有很强的灵活性与完整性．另外，系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能，具有良好的可扩展性，     

网络性能测量技术探析

随着互联网的发展,理解网络行为对于网络管理、规划和发展都有重要意义,网络流量测量是研究网络行为的基础。网络流量性能测量是网络管理和系统管理的一个重要组成部分,为网络的运行和维护提供了重要信息.同时也是网络流量具体建模、分析的必要前提和手段,该文对网络性能测量的相关内容,意义,以及网络性能指标的测量与分析进行了系统的介绍,并对网络性能测量的下一步发展进行了展望。     

基于Hadoop的网络流量分析和特征计算

长期以来,互联网流量的测量和分析可用于识别网络资源和用户行为,但随着互联网的快速发展和网络的高速访问,网络流量分析愈发困难。大规模的网络流量数据需要具备与之相匹配的存储、计算资源。基于此,提出了基于Hadoop平台的分布式网络流量存储和基于多层的并行计算流特征。通过10个节点,进行针对2TB流跟踪文件的37个网络流侯选特征的计算试验。结果表明,基于Hadoop平台的分布式存储和计算,大大提高了大规模网络流的处理速度,且随着网络流量规模的扩大,网络流量的分析和特征计算时间非常稳定。     

高速交换结构的建模与仿真研究

在研究交换系统结构与算法的性能时,仿真实验手段具有成本低、灵活可靠、易于比较等优点。本文分析网络流量模型、高速交换结构及各种典型调度算法,应用面向对象的技术分析设计,采用UML语言进行描述,构建具有可重构和可扩充等特点的仿真平台。     

数据流处理技术在电信网管系统中的应用

网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。     

基于Linux的高速网络流量采集与分析模型研究

网络流量测量是网络行为研究、网络规划和网络管理的基础,网络流量采集与分析是网络流量测量的核心技术。文章提出并实现了利用Linux的netfilter框架,在Linux内核空间实现网络流量的实时采集与分析,通过Linux的netlink协议与用户空间进程交换分析结果的思想。通过理论分析和实验证明,该方法不仅可行而且高效。     

互联网社区化的测量与管理研究

分析和定义面向应用的社交网络,以网络流量识别为基础,通过对不同网络应用社区的分析,提出一种新的社交网络发现算法。运用该算法对实际网络流量进行典型社交网络实验分析,结果表明,该算法可以较好地发现各类社区,为基于社区的网络运行管理与测量研究奠定良好的基础。     

基于NetFPGA的网络数据流量采集器

为解决基于软件的流量采集方法无法在高速网络环境下准确测量的问题,提出了一种基于NetFPGA的网络数据流量采集器,以达到实时在线的流量统计和采集功能。该系统采用模块化的架构设计,通过硬件实现功能的方式提高网络测量精度。实验结果表明,该系统能准确统计出网络中93%以上流量。     

基于流量特征的流调度策略研究综述

软件定义网络将网络的数据层和控制层相分离,具有可编程性强和全局网络视图的优点,这一优点被越来越多的应用于数据中心网络流调度中。然而,数据中心网络中大象流和老鼠流共存的流量特征是流调度技术的一大挑战。对基于流量特征的流调度策略进行了综述,首先梳理了基于软件定义网络的数据中心网络的理论基础,然后对大象流、老鼠流、大象流与老鼠流三个方面的流调度策略进行了分析和总结,并探讨了相比于传统的流调度技术,在软件定义网络架构下基于流量特征的流调度策略的优势。最后针对目前基于流量特征的流调度技术面临的若干主要问题进行了讨论,指出了下一步的研究方向。     

基于被动测量的高速网络管理系统

文章介绍了,面向大规模宽带IP网络的运维和管理需求,以大规模网络流量测量和知识挖掘为基础,研究基于分布式流量测量的新一代宽带网络管理架构,采用网络被动模式测量和主动采集技术手段,实现对高速网络的性能、状态和行为的管理,并对网络测量技术的发展及现状、系统的架构、关键技术和应用情况作了详细阐述,明确下一步研究工作的目标。     

基于多采集器网络流量测量系统的设计与实现

网络流量1测量系统提供了一种测量和理解网络流量特性的工具。该文首先介绍了网络流量测量系统框架和当前流行的抓包构件BPF的原理,深入分析了造成基于BPF构件的被动网络测量系统可能的丢包因素,并给出了相应的解决办法;设计和实现了一种基于多采集器的网络流量测量系统;测试表明,与基于单采集器的被动网络流量测量系统相比,该系统明显减少了采集器端的丢包率,提高了系统测量的准确性。     

Architecture and scalability of a high-speed traffic measurement platform with a highly flexible packet classification

Evolving network technologies, new web services and changing usage patterns continuously change traffic characteristics. But a thorough understanding of the traffic is the basis for many applications in networking. Thus, it is crucial to analyze up-to-date traffic traces collected by passive measurements in many relevant network contexts. As the traces’ quality defines the significance of such analysis, the measured data is required to be complete, temporally accurate and reliable. This is especially challenging for measurements on high-speed links.In this paper, we present a scalable architecture for a high-speed, passive measurement platform for obtaining highly accurate packet traces. Its functional blocks are distributed to a specialized hardware unit and a commodity PC unit according to their specific requirements. For pre-processing, the hardware unit integrates a protocol-aware classification and filtering module which allows an easy definition of classification and filtering rules. We analyze the platform’s scalability and support this by a implementation with current FPGA technology and a standard server PC.     

Performance evaluation of the Kuipnet computer network

The methods and results of measurements of an inhouse computer network, Kuipnet, are presented. Kuipnet is an information-processing network. The traffic in the network consists of real-time high-speed traffic (speech data), large-volume data (digital images or files), and ordinary conversation with a time-sharing system (characters). The measurement system consists of software on a central switching computer, storage on magnetic tape and analysis software. The performance of the switching computer, traffic characteristics and network status are assessed.     

Design and Analysis of a Backbone Architecture with TDMA Mechanism for IP Optical Networking

This paper presents a new technique for constructing IP over photonic systems. The use of lable switching is assumed in the IP routers, while a new routing architecture is introduced to transport IP packets across an optical backbone network. The architecture is based on a two-level TDMA structure with wavelength division multiplexing (WDM). Many IP-based network applications such as high-resolution image, distributed database, and real-time video/audio service generally require high-speed transmissions in WAN/LAN. The network traffic in these applications usually exhibits traffic locality. As a result, traditional TDMA is not efficient for such traffic. Consequently, based on the traffic parameters such as locality and loading, an architecture named a PG (Partition-Group) Network is proposed. Furthermore, the interleaved control slot (ICS) with cross-group section (CGS) or non-cross-group section (NCGS) for reducing collisions is also presented. The slot reuse can be easily achieved by using the ICS scheme, and the slot utilization of the network can be improved within the high traffic locality.     

可扩展高速网络流量被动测量平台的设计与实现

随着高速网络测量研究内容的扩展,网络测量设施在提高性能的同时须支持测量的可扩展性以适应不同网络环境和添加新测量研究的需要。针对已有网络测量软件可扩展性的不足,分析了高速多链路逻辑信道的特点及对被动测量方式的影响,设计和实现了一套适用于高速网络环境的可扩展被动流量测量平台系统。该系统基于多机协同数据流模型,采用分层耦合设计结构、对象化抽象和XML格式的交互描述,支持对高速多链路逻辑信道测量与新测量功能的可扩展性。