一种用于高效报文捕获引擎的异步算法

随着网络速度的增加,作为网络监测底层设施的报文捕获引擎暴露出性能上的不足.首先建立了报文接收的模型,分析了报文捕获的主要性能瓶颈--数据拷贝和上下文切换.为了避免上下文切换,提出了一种异步算法,称为"非对称剥夺条件下的追赶算法",它解决了临界段互斥访问的问题,并可以充分发挥异步工作的效率优势.模型分析和测试表明,基于这种算法设计和实现的报文捕获引擎可以大大减少上下文切换次数,具有很高的性能.     

网络数据报文捕获技术分析和研究

报文捕获是报文分析的基础,作为网络监测的关键技术,被广泛地应用于分布式实时控制系统、网络故障分析、入侵检测系统、网络监控系统、计算机取证系统等领域中.本文总结了传统的报文捕获技术和最新发展,对比研究了各种技术的不同,给出结论性分析.     

Snort报文捕获机制的研究与改进

在对Snort系统的报文捕获机制进行研究的同时,针对Snort在高速网络上使用libpcap进行报文捕获的缺点提出了一种基于Sampleandhold采样算法的改进机制,提高了Snort系统在高速网络链路上检测异常/入侵活动的效率。     

大规模网络环境下高可扩展的信息监测系统

分析了大规模网络环境下信息监测系统所面临的主要问题,设计并实现了大规模网络环境下高可扩展的信息监测系统(SIMS)。基于零拷贝的报文捕获机制和多线程TCP/IP协议栈是SIMS的主要技术,实验证明能够明显提高数据的捕获能力和协议还原分析能力,适合于大规模网络环境下的实时信息监测;同时采用基于PLUGIN的协议还原平台,使SIMS具有更好的可扩展性。     

深度报文检测中基于GPU的正则表达式匹配引擎*

提出了一种基于GPU的正则表达式匹配引擎来加速深度报文检测中的模式匹配过程。该引擎基于DFA模型,在匹配时每一个GPU线程处理一个报文,通过大量的并行线程来提高引擎的吞吐量。基于NVIDIA GeForce 9800GT GPU的实验表明,该引擎处理实际网络报文时的吞吐量达到了7.91 Gbps。     

基于Linux高速报文捕获平台的DDoS入侵检测系统的研究

如何在高速网络环境下实现线速的报文捕获以及上层的安全应用,一直是研究的热点。前期用内存映射和零拷贝等方法实现了基于千兆网卡的高速报文捕获平台NACP,在此基础上,通过使用IP地址的分布与系统资源的使用情况等作为检测参数,在snort工具上实现了防DDoS攻击的入侵检测系统。在NACP上的实验表明,改进的DDoS入侵检测工具snort与高速报文捕获平台兼容性良好,发生DDoS时能迅速检测到并且做出恰当的回应。由于使用了高速报文捕获平台,DDoS检测占用系统资源明显减少,很大程度上提高了系统的效率,系统可以在入侵检测的同时处理其他的事务。     

基于FPGA实现的报文分类智能网卡

一般的网络安全应用软件,只对网络中的某类报文进行处理,基于通用的网卡采集网络数据,会收到大量的无用报文,降低系统效率。本文基于FPGA和零拷贝技术,设计并实现了一种智能网卡,将报文分类过滤工作下移到网卡硬件中实现,智能网卡完成了网络数据包报文捕获、报文分析、规则匹配等工作,可以过滤掉无用报文,只把应用关心的报文提交给到主机系统。与普通网卡相比,智能网卡可以有效提升网络数据采集的效率。     

零拷贝技术在网络分析工具中的应用

针对目前网络分析工具的报文捕获机制及优缺点,实现了一种新的专用于报文捕获的网络协议簇—PF_ZEROCOPY。该协议簇基于零拷贝思想,借助内存共享技术,将网络报文直接DMA传输到用户空间的缓存区,绕开Linux网络协议栈、减少了内存拷贝次数;使用DMA缓存描述符环,实现了网卡和用户程序无冲突访问共享缓冲区;通过封装成内核网络协议簇,PF_ZEROCOPY具有易于应用和移植的特点。实验结果分析表明,该方法对随机长度的报文捕获速率可达900Mb/s以上,与libpcap相比较为明显地改善了报文捕获的能力。     

基于OCTEON多核处理器的高精度网络报文处理系统

基于Cavium公司OCTEON Cn5650芯片设计与实现一种高精度网络报文处理系统。由OCTEON的硬件收发引擎Packet输入和Packet输出来保证线速收发报文性能,在simple executive环境下满足TCP连接20万/秒和HTTP连接10万/秒的要求。实验结果表明,报文处理系统能够接收网络上的数据报文,并根据指定的内容对网络数据报文进行分析和存储;根据需要可以实现标准协议如HTTP、FTP、SMTP、POP3等网络报文客户端及服务器端模拟以及流量模拟;将自定义的网络报文或接收到的网络报文发回到网络中。     

高负载网络下线速包捕获接口的设计与实现

为提升高负载网络下包捕获接口的性能,对包捕获接口在网络流量监测和网络入侵检测等应用中的性能进行了研究.分析了传统包捕获优化方法PACKET_MMAP和PF_RING性能受限的原因,设计了一种用户级的包捕获方法.该方法采用了可扩展的内存映射机制、灵活的拷贝策略和高效的轮询机制,最后在Intel PRO/1000 PT Server Adapter上实现.与传统优化技术相比,该方法简单高效,包捕获速率更高.     

Improving the performance of passive network monitoring applications with memory locality enhancements

Passive network monitoring is the basis for a multitude of systems that support the robust, efficient, and secure operation of modern computer networks. Emerging network monitoring applications are more demanding in terms of memory and CPU resources due to the increasingly complex analysis operations that are performed on the inspected traffic. At the same time, as the traffic throughput in modern network links increases, the CPU time that can be devoted for processing each network packet decreases. This leads to a growing demand for more efficient passive network monitoring systems in which runtime performance becomes a critical issue.In this paper we present locality buffering, a novel approach for improving the runtime performance of a large class of CPU and memory intensive passive monitoring applications, such as intrusion detection systems, traffic characterization applications, and NetFlow export probes. Using locality buffering, captured packets are being reordered by clustering packets with the same port number before they are delivered to the monitoring application. This results in improved code and data locality, and consequently, in an overall increase in the packet processing throughput and decrease in the packet loss rate. We have implemented locality buffering within the widely used libpcap packet capturing library, which allows existing monitoring applications to transparently benefit from the reordered packet stream without modifications. Our experimental evaluation shows that locality buffering improves significantly the performance of popular applications, such as the Snort IDS, which exhibits a 21% increase in the packet processing throughput and is able to handle 67% higher traffic rates without dropping any packets.     

基于改进科学计算浮点数压缩算法的工业远程监控数据无损压缩方法

为解决大量工业远程监控数据在通用分组无线服务(GPRS)网络上的传输延迟问题,提出了基于改进科学计算浮点数压缩(FPC)算法的工业远程监控数据无损压缩方法.首先,根据工业监控数据中浮点数部分的特点对原FPC算法中的预测器结构进行改进,并将该改进算法作为浮点数部分的压缩算法; 然后,与区间编码相结合作为整个数据域的压缩方法.改进前后的浮点数部分压缩实验结果表明改进的FPC算法提高了预测器的预测精度,且在保持较高压缩效率的同时提高了压缩率.与通用无损压缩算法相比,所提算法提高了12%以上的平均压缩率,减少了38.5%以上的平均压缩时间,使得传输时间降低了23.7%以上,在传输数据量大且传输速率不高的情况下大大提高了监控的实时性.     

基于UDP协议的航空发动机振动实时监视系统设计

发动机振动监视是保证发动机飞行试验安全的重要技术手段.根据某型发动机飞行台试验的要求,设计了基于UDP协议的网络化的发动机实时振动监视系统.监控终端软件采用多线程和消息响应机制,保证了系统的实时性能.采用数据包标识检验和总体网络数据流量控制的方法,克服了UDP协议的数据传递中可能出现的数据丢失和乱序.该监视系统在某型发动机飞行台试验中投入使用,经过了多个起落的使用,成功发现一起发动机风扇结构故障,表明该监视系统工作可靠,满足实时性要求,系统设计是成功的.     

一种基于支持向量回归的互联网端到端延迟预测算法

互联网端到端延迟是指IP分组沿着互联网中一条确定路径进行传输的延迟,端到端延迟的精确预测是大量网络活动的基础,从网络协议设计到网络监测,再从确保端到端QoS性能到各种实时业务性能提升。提出一种新的端到端延迟的预测方法,主要贡献有:a)将互联网端到端延迟预测的问题转换为多元回归的预测问题,提出了基于多元回归的端到端延迟预测框架;b)采用支持向量回归SVR方法来求解端到端延迟的多元回归问题,提出了基于SVR的互联网端到端延迟预测算法。最后使用互联网采集的RTT数据来验证提出的算法,实验结果表明,提出的预测算法具有快速和精确特点,是一种适合实际应用的预测算法。     

基于有状态Bloom filter引擎的高速分组检测

越来越多的网络安全技术通过分析网络分组中的内容来检测报文中是否含有恶意攻击代码.为了能够在线检测攻击,部署在路由器中的分组检测模块对于分组检测的速度也提出了越来越高的要求.虽然在这个领域已有很多研究工作,然而在性能、可扩展性和适用性方面还有很多可研究的空间.提出了一种基于有状态Bloom filter引擎的高速分组检测方法State-Based Bloom filter engine(SABFE).通过并行查找Bloom filter和前缀寄存器堆,以及利用多个并行的Bloom filter引擎进行流并行检测,达到了较高的吞吐性能.同时,利用快速查找表和前缀寄存器堆保存当前子串的匹配状态来检测长的规则.分析和模拟实验表明:该方法在规则长度增加时依然保持了较高的吞吐性能,可以实现线速的分组检测,同时,极大地减少了硬件资源开销,提高了可扩展性.     

入侵检测中的快速过滤算法

入侵检测系统是近年来发展迅速的一种网络安伞技术。但是,随着计算机网络向着高速、宽带的方向发展，检测引擎越来越成为性能的瓶颈.如果检测速度不能跟上网络流最，就会丢包并发生漏报。这除了采用更高速的专业硬件来解决外，包过滤算法也有非常重要的作用，高述的过滤算法有助于过滤掉大量无关的信息，从而极大地提高入侵检测系统的性能。     

基于双卡跳频的无线局域网监听技术研究

对无线网卡包过滤引擎做了详细分析,指出一般监听技术无法实现动态监测全部频段的无线局域网通信,最后给出一种基于双卡跳频的无线局域网监听技术.实验测试结果表明,该技术具有可行性和有效性,可广泛应用于各种无线网络监听系统.     

组播协议在OPNET中的建模与仿真

该文以IP组播技术为重点,结合网络仿真软件OPENT Modeler,分析该软件环境下IP组播网络的建模机制,包括参考标准、组的管理、支持的应用、组播路由协议的选择,节点加入组播组与发送源发送组播数据的流程。以校园网视频会议和FTP传输应用为例,构建网络仿真模型,一方面比较单播与组播方式下的网络性能,分析了视频流量的发送情况、视频会议分组的端到端延时,FTP传输的响应时间,骨干网络点到点链路吞吐量;另一方面比较了组播方式采用共享树机制和由共享树切换到最短路径树在网络性能上的改进,包括分组延迟的降低、汇合点路由器上拥塞发生的减少等。同时,也对无线移动通信网络环境下的组播技术提出更多需要考虑的因素。     

网络性能监测技术综述

互联网络的结构和上面的应用正变得越来越复杂, 出现了对性能要求敏感的应用,如视频会议、VOIP等。网络性能监测越来越重要,它对于ISP以及网络研究人员来说是一个大的课题。分析了互联网络的动态特性,然后概述了当前网络性能监测的理论、技术和工具,以及国际上目前开展的网络性能监测课题的情况。     

A high-performance and scalable multi-core aware software solution for network monitoring

In recent years, the need for high-performance network monitoring tools, which can cope with rapidly increasing network bandwidth, has become vital. A possible solution is to utilize the processing power of multi-core processors that nowadays are available as commercial-off-the-shelf (COTS) hardware. In this paper, we introduce a software solution for wire-speed packet capturing and transmission for TCP/IP networks under Linux operating system, called DashCap. The results of our experimental evaluations show that the proposed solution causes more than two times performance boost for packet capturing in comparison to the existing software solutions under Linux. We have proposed a scalable software architecture for network monitoring tools called DashNMon, which is based on DashCap. Multi-core awareness is a distinguished property of this architecture. Comparing to the existing cluster-based solutions, DashNMon can be used with COTS multi-core processors. In order to evaluate the proposed solutions, we have developed several prototype tools. The results of the experiments carried out using these tools show the scalability and high performance of the network monitoring tools that are based on the proposed architecture. Using the proposed architecture, it is possible to design and implement high-performance multi-threaded network intrusion detection systems (NIDSs) or application-layer firewalls, completely in the user space and with better utilization of the computational resources of multi-processor/multi-core systems.