使用机器学习算法分类P2P流量的方法*

P2P应用的快速增长,带来网络拥塞等诸多问题,而传统的基于端口与有效载荷的P2P流量分类方法存在着很多缺陷。以抽取独立于端口、协议和有效载荷的P2P流的信息作为特征,用提出的基于ReliefF-CFS的方法选择流的特征子集,研究使用机器学习算法对P2P流量进行分类的方法,也研究了利用流的前向N个报文的统计信息作为特征,分类P2P流量的方法。实验结果显示提出的方法取得了较好的分类准确率。     

基于机器学习的IP流量分类研究

IP流量分类是Internet研究和流量工程的重要基础,近年来网络应用类别和Internet流数量在快速增长。流量分类技术不断面临新的挑战。对基于机器学习的IP流量分类方法进行了系统性研究。给出了这类流量分类方法的数学描述;通过深入研究有监督和无监督机器学习方法在流量分类中的应用,从数据预处理、模型构建和模型评估3个方面评述这类技术的研究现状,并指出存在的问题;总结得出现阶段基于机器学习的IP流量分类技术存在数据偏斜、标识瓶颈、属性变化和实时分类等4个方面的共性问题;最后展望了流量分类技术的未来发展方向并介绍了作者正在进行的工作。     

网络背景流量的分类与识别研究综述

互联网流量分类是识别网络应用和分类相应流量的过程,这被认为是现代网络管理和安全系统中最基本的功能。与应用相关的流量分类是网络安全的基础技术。传统的流量分类方法包括基于端口的预测方法和基于有效载荷的深度检测方法。在目前的网络环境下,传统的方法存在一些实际问题,如动态端口和加密应用,因此采用基于流量统计特征的机器学习（ML）技术来进行流量分类识别。机器学习可以利用提供的流量数据进行集中自动搜索,并描述有用的结构模式,这有助于智能地进行流量分类。起初使用朴素贝叶斯方法进行网络流量分类的识别和分类,对特定流量进行实验时,表现较好,准确度可达90%以上,但对点对点传输网络流量（P2P）等流量识别准确度仅能达到50%左右。然后有使用支持向量机（SVM）和神经网络（NN）等方法,神经网络方法使整体网络流量的分类准确度能达到80%以上。多项研究结果表明,对于多种机器学习方法的使用和后续的改进,很好地提高了流量分类的准确性。     

基于概念漂移检测的自适应流量分类方法

针对网络流特征会随网络环境变化而发生改变，从而导致基于流特征的机器学习分类方法精度明显降低的问题。提出一种基于概念漂移检测的自适应流量分类方法，该方法借助Kolmogorov-Smirnov检验对出现的流量进行概念漂移检测，然后通过多视图协同学习策略引入新流量样本修正概念漂移导致的模型变化，使分类器得到有效更新。实验结果表明该方法可以有效检测概念漂移并更新分类器，表现出较好的分类性能和泛化能力。     

IP协议分析仪的设计与实现

传统的基于SNMP协议流量监测工具有MRTG等,这些工具提供了网络流量的大小和变化的幅度;为了更好地了解互联网流量的本质,目前网络管理的研究集中在“网络流”压技术上。而Cisco的NetFlow服务提供了基于的“网络流”分析的方法。根据中国科技网在实际网络流量管理中的需求,本文介绍了“网络流”模型,分析了Cisco路由器NetFlow技术原理,根据NetFlow数据在流量和安全中的应用,引入了协议分析仪的技术,提出相关的设计和实现方案。     

基于决策树模型的P2P流量分类方法

P2P流量逐渐成为互联网流量的重要组成部分,精确分类P2P流量对于有效管理网络和合理利用网络资源都具有重要意义。近年来,利用机器学习方法处理P2P流量分类问题已成为流量识别领域的一个新兴研究方向。利用决策树中的C4.5算法和P2P流量的特征属性来构建决策树模型,进而完成P2P流量分类问题。实验结果表明,基于决策树模型的方法能有效避免P2P网络流分布变化所带来的不稳定性;与SVM（support vector machine,支持向量机）、NBK（nave Bayes using kernel densi     

基于 Spark 的大规模网络流量准实时分类方法

大数据时代催生了互联网流量的指数级增长,为了有效地管控网络资源,提高网络安全性,需要对网络流量进行快速、准确的分类,这就对流量分类技术的实时性提出了更高的要求。目前,国内外的网络流量分类研究大多是在单机环境下进行的,计算资源有限,难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上,吸收当前最新的思想和技术,基于Spark 平台,有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib,提出一种大规模网络流量准实时分类方法。实验结果表明,该方法在保证高分类准确率的同时,也具有很好的实时分类能力,可以满足实际网络中流量分类任务的实时性需求。     

基于集成聚类的流量分类架构

流量分类是优化网络服务质量的基础与关键.机器学习算法利用数据流统计特征分类流量,对于识别加密私有协议流量具有重要意义.然而,特征偏置和类别不平衡是基于机器学习的流量分类研究所面临的两大挑战.特征偏置是指一些数据流统计特征在提高部分应用识别准确率的同时也降低了另外一部分应用识别的准确率.类别不平衡是指机器学习流量分类器对样本数较少的应用识别的准确率较低.为解决上述问题,提出了基于集成聚类的流量分类架构（traffic classification framework based on ensemble clustering,简称TCFEC）.TCFEC由多个基于不同特征子空间聚类的基分类器和一个最优决策部件构成,能够提高流量分类的准确率.具体而言,与传统的机器学习流量分类器相比,TCFEC的平均流准确率最高提升5%,字节准确率最高提升6%.     

SDN网络流量分类技术研究综述

网络新技术的迅猛发展,给人们生活带来了极大的便利,同时也为网络管理带来了巨大的挑战。网络流量分类作为网络安全管理的一项重要的基础性工作,是开展网络管理和流量控制的前提,具有十分重要的意义。阐述了网络流量分类中常用的基于载荷数据的深度包检测(DPI)和基于流统计特征的机器学习等技术的发展现状,特别对基础数据采集标注、软件定义网络(SDN)环境下的流量分类以及在线流量分类等热点和难点问题进行了探讨,阐述了当前研究进展情况。最后指出该领域研究未来面临的挑战。     

GBDT与LR融合模型在加密流量识别中的应用

随着网络应用服务类型的多样化以及网络流量加密技术的不断发展,加密流量识别已经成为网络安全领域的一个重大挑战。传统的流量识别技术如深度包检测无法有效地识别加密流量,而基于机器学习理论的加密流量识别技术则表现出很好的效果。因此,本文提出一种融合梯度提升决策树算法(GBDT)与逻辑回归(LR)算法的加密流量分类模型,使用贝叶斯优化(BO)算法进行超参数调整,利用与时间相关的流特征对普通加密流量与VPN加密流量进行识别,实现了整体高于90%的流量识别准确度,与其他常用分类模型相比拥有更好的识别效果。     

一种基于SVM的P2P网络流量分类方法

提出一种基于SVM的P2P网络流量分类的方法。这种方法利用网络流量的统计特征和基于统计理论的SVM方法,对不同应用类型的P2P网络流量进行分类研究。主要对文件共享中的BitTorrent,流媒体中的PPLive,网络电话中的Skype,即时通讯中的MSN 4种P2P网络流量进行分类研究。介绍了基于SVM的P2P流量分类的整体框架,描述了流量样本的获取及处理方法,并对分类器的构建及实验结果进行了介绍。实验结果验证了提出方法的有效性,平均分类精确率为92.38%。     

流量的集成学习与重采样均衡分类方法

针对传统基于机器学习的流量分类方法中数据不均衡影响分类效果的问题,提出了一种基于重采样的梯度增强树算法。该算法利用流量数据的统计特征,通过回溯搜索策略优化特征集合并设计适用于流量分类的树结构参数,构造最优模型;利用结合重采样的LightGBM算法修正数据不平衡性并进行分类测试。经实验验证,该算法提高了不平衡数据的分类效果,并且具有性能稳定、快速的优点。     

混合模式的网络流量分类方法

为了更好地满足用户对各类Internet业务服务质量越来越精细的要求,流量分类是网络管理的重要环节之一。通过分析、对比基于端口号匹配、特征字段分析和流统计特征的机器学习分类方法的应用现状及其优缺点,针对单一分类方法存在的分类准确度不高、分类时间长等问题,提出一种混合模式的网络流量分类方案。此方案结合端口号匹配和机器学习分类方法,采用输出结果可视化的自组织映射网络算法实现网络流量在应用层的分类。实验表明,该方案能有效地实现对网络流量应用类型的分类,分类结果可视化效果好。     

Network traffic classification based on ensemble learning and co-training

Classification of network traffic is the essential step for many network researches. However,with the rapid evolution of Internet applications the effectiveness of the port-based or payload-based identifi-cation approaches has been greatly diminished in recent years. And many researchers begin to turn their attentions to an alternative machine learning based method. This paper presents a novel machine learning-based classification model,which combines ensemble learning paradigm with co-training tech-niques. Compared to previous approaches,most of which only employed single classifier,multiple clas-sifiers and semi-supervised learning are applied in our method and it mainly helps to overcome three shortcomings:limited flow accuracy rate,weak adaptability and huge demand of labeled training set. In this paper,statistical characteristics of IP flows are extracted from the packet level traces to establish the feature set,then the classification model is created and tested and the empirical results prove its feasibility and effectiveness.     

基于C4.5决策树的流量分类方法

近年来,利用机器学习方法处理流量分类问题成为网络测量领域一个新兴的研究方向.在现有研究中,朴素贝叶斯方法及其改进算法以其实现简单、分类高效的特点而被广泛应用.但此类方法过分依赖于样本在样本空间的分布,具有潜在的不稳定性.为此,引入C4.5决策树方法来处理流量分类问题.该方法利用训练数据集中的信息熵来构建分类模型,并通过对分类模型的简单查找来完成未知网络流样本的分类.理论分析和实验结果都表明,利用C4.5决策树来处理流量分类问题在分类稳定性上均具有明显的优势.     

使用机器学习算法分类P2P流量的方法研究

随着时间的推移﹐P2P的应用数量、范围开始快速增长,这在促进社会经济发展和社会大众日常生活水平提升的同时,也带来了较多的问题,而传统的网络流量分类方式存在着较多的缺陷,难以满足时代的发展和社会大众的需求。文章主要提出基于ReliefF-CFS的方法,进而实现流量的特征子集的选择,依据具体的实验研究结果来看,文章所提出的方法取得了较高的分类准确率,比较适合在后续进行推广应用。因此,文章针对使用机器学习算法分类P2P流量的方法进行系统的研究和分析,其主要目的在于高效率处理协议加密的网络流量分类问题,这对于国内的计算机网络技术的发展也具有促进作用。