基于机器学习的网络异常流量分析检测系统的研究与设计

当前网络安全问题已成为网络世界的重要课题,如何有效的检测和响应则成为一项重大挑战。实际上,为保持超前于高级网络安全威胁的发展,网络检测、响应和取证解决方案必须要综合多种方法,本文通过研究和设计一种网络异常流量分析检测系统,主要将机器学习的方法应用在网络异常流量分析检测,实现对网络异常流量的有效分析和高准确率检测,从而达到洞悉网络中的恶意活动,并将可疑行为匹配到确认的威胁,提高对网络异常流量的检测目的。     

基于大数据分析的网络流量异常检测

随着网络流量的规模和复杂性不断增加,网络安全问题日益突出。文章分析了基于大数据分析的网络流量异常检测。首先,分析大数据的技术原理和常见的异常网络流量类型。其次,选取CICIDS2017作为实验数据集,该数据集有153万条网络流量样本,包括77个特征和11种异常流量类型。最后,进一步构建基于随机森林作的异常流量检测模型,并提取出贡献度排名前10的特征。结果表明,随机森林分类模型对于网络流量异常检测具有较高的准确性和健壮性,能够及时发现网络中的异常行为。     

基于信息熵的大规模网络流量异常检测

提出了基于信息熵的大规模网络流量异常检测方法。该方法吸收了子空间方法的思想,并结合了K-means分类方法。以校园网为实验环境,应用基于信息熵的方法实现了网络流量异常检测的全过程。通过实验结果与应用标准子空间方法对测量数据分析结果的对比,证明了基于信息熵的大规模网络流量异常检测有着更高的检测精度。     

网络流量异常检测及分析的研究

网络流量异常检测及分析是网络异常监视及响应应用的基础,是网络及安全管理领域的重要研究内容.本文探讨了网络流量数据类型、网络流量异常种类;从流量异常检测的范围、流量异常分析的深度、在线和离线异常检测方式等方面归纳了流量异常检测的研究内容;综述了已有的研究工作针对不同应用环境和研究内容所采用的不同的研究方法和技术手段,并分析了各种研究方法的特点、局限性和适用场合等;最后本文还对现有研究工作存在的问题及有待于进一步研究的课题进行了探讨.     

基于时间序列图挖掘的网络流量异常检测

网络流量异常检测要解决的核心问题之一是获得信息的全面性和流量信息描述的准确性.针对现有网络异常流量检测方法分析多时间序列的不足,提出了一种基于图挖掘的流量异常检测方法.该方法使用时间序列图准确、全面地描述用于流量异常检测的多时间序列的相互关系;通过对项集模式进行支持度计数,挖掘各种频繁项集模式,有利于对各种异常流量的有效检测;通过挖掘各项集之间的关系,引入了项集的权重系数,解决了流量异常检测的多时间序列相互关系的量化问题.仿真结果表明,该方法能有效地检测出网络流量异常,并且对DDos攻击的检测效果明显优于基于连续小波变换的检测方法.     

基于残噪预测的网络流量异常检测算法

提出一种新的网络流量异常检测算法,拟对观察值序列进行AR模型的拟合,并以残噪函数值作为统计量,用指数平滑方法来实现前一个统计量对后一个统计量的预测,从而完成对异常流量的判断。该算法与GLR检测算法相比更为及时高效,比直接用指数平滑技术对观测值进行检测更为准确可靠,在OPNET模拟的网络流量异常检测中,该算法性能较为理想。     

基于粒子群算法的网络流量异常检测方法

由于网络流量异常数据具有维数大和冗余度高等特征,导致传统方法的检测精度较低,为此提出基于粒子群算法的网络流量异常检测方法。首先,采集网络流量数据,并进行外部参数提取与流量过滤等预处理;其次,基于粒子群算法优化分类规则的编码方案;最后,进行实验分析。实验结果表明,该方法的性能优于对照组,能够最大限度地保障检测结果的准确性。     

基于EBP的宏观网络流量异常行为检测

针对以往Hurst指数估算方法在求解精度和实时性上的不足,提出将EBP引入到网络流量白相似特性分析中,对比实验表明EBP对Hurst指数的估算更精确、实时性更高。利用EBP的这一优势将其运用到宏观网络行为的在线实时分析和异常行为的检测中,对林肯实验室宏观网络行为数据的分析表明,正常行为和异常行为的Hurst分布曲线差异明显。与传统匹配方法相比,基于EBP的异常行为检测方法检测效率更高。     

基于小波的网络流量异常协同相变检测

针对网络流量表现出的非线性和非平稳性等复杂的动力学特征,提出一种基于小波的网络流量异常协同相变检测方法。该方法从网络流量时间序列的离散小波域出发,利用序参量的非线性动力学方程描述网络流量系统的复杂行为,采用势函数来刻画网络流量系统的非平稳相变过程,进一步分析了网络流量状态与各种攻击模式之间的变化关系,并通过协同学模型对网络流量序参量进行演化,当相应序参量收敛时,即可检测到相应的攻击模式或是正常流量模式。最后,采用了DARPA 1999数据集进行了实验测试,网络流量异常的平均检测率达到了90.00%,而平均误检率只有15.03%。实验结果表明,基于小波的协同相变方法可以用于网络流量异常检测。     

基于机器学习的网络流量识别技术

近些年,计算机网络技术飞速发展,信息时代随之到来,网络的使用频率不断增加,这使得互联网的数据流量呈现出爆发式的增长;同时,网络新应用不断的出现,这使得网络通信协议的使用变得更加灵活与混杂;网络病毒、窃听及恶意攻击等不断增多,网络的安全性成为社会的关注热点.对于上述这些问题,网络流量识别均可以对其进行很好的解决.目前,流量识别的方法已有不同的种类,但从研究和应用角度来看,对于流量识别的可行性和有效性是人们最重要的关注点,即如何快速地处理海量的数据,如何对网络中的各种应用进行正确识别.在不断变化的网络环境面前,本文主要阐述基于机器学习(BP神经网络)的网络流量识别方法,旨在为网络安全提供有效保护手段.     

基于决策树的网络流量异常分析与检测

针对现有网络流量异常检测方法准确率较低的问题,提出基于决策树的网络流量异常分析与检测方法。研究网络流量结构特征及流量异常的交叉熵表示方法。采用C4.5算法建立决策树模型,将具有连续性的属性值离散化,根据最大信息增益比逐层选取分类属性,依此规则对流量数据进行分类。实验结果表明,当该方法的检测准确率达90%以上时,误报率可控制在5%以内,与同类方法相比能更准确地发现网络流量异常并进行分类。     

基于机器学习的网络流量分类研究进展

机器学习方法不依赖匹配协议端口或解析协议内容,而是利用网络流的各种统计特征识别网络应用,近年来得到了广泛关注和快速发展.本文总结了基于机器学习的网络流量分类方法自2004年来的研究进展,并且按有监督、无监督与半监督的区别进行分类、分析与比较.重点讨论了基于机器学习的网络流量分类研究的挑战与方向,即解决样本标注瓶颈、样本分布不平衡与动态变化、实时与连续分类以及分类算法可扩展性等核心问题.     

基于融合马尔科夫模型的工控网络流量异常检测方法

虽然工业互联网为现代工业注入了新的活力,极大地提高了工业生产效率,但是网络化也给工业控制系统带来了更多的威胁。近年来,国内外发生了多起工控入侵事件,严重影响了工业生产安全,工控安全问题愈发突出。为确保现代工业向着数字化、自动化等方向稳定发展,有效的工控系统入侵检测方法成为了研究重点。针对工业控制系统中现有的方法对于多周期混合的流量无法进行有效分离、难以检测和防御更加复杂的语义攻击的情况,充分利用工业流量高周期性和高相关性的特点,提出一种基于融合马尔科夫模型的工控网络流量异常检测方法。首先深度解析报文语义并将原始流量序列映射为hash字符串序列,然后根据字符串序列间的相关性生成状态转移图。接下来,根据状态转移图间各状态的出入关系和频率将子周期符号进行分类并依次构建DFA模型。为了检测更多语义攻击,该方法根据子周期间的出入关系和模型误报率将错误分解的长周期模式进行融合并在每个DFA模型的节点中加入时间间隔信息。在SCADA测试平台上进行实验验证,结果表明此方法能检测更多类型的攻击,对复杂语义攻击具有较高的检出率。     

基于机器学习的用户行为异常检测模型

针对LaneT等人提出的用户行为异常检测模型的不足,提出了一种新的IDS异常检测模型。该模型改进了用户行为模式和行为轮廓的表示方式,采用了新的相似度赋值方法,在对相似度流进行平滑时引入了“可变窗长度”的概念,并联合采用多个判决门限对用户行为进行判决。基于Unix用户shell命令数据的实验表明,该文提出的检测模型具有更高的检测性能。     

一种基于Net Flow的网络流量异常的检测方法

本文将介绍一种基于NetFlow技术，利用网络流量的熵的特征分布值来检测网络流量异常的方法。该方法具有效率高，误报率低的优点，尤其是对于异常流量较小的情况更有优势，而且可以检测出未知的异常。[编者按]     

基于子空间方法的大规模网络流量异常检测

本文采用子空间方法和PCA（主成分分析或Principal Components Analysis）对大规模网络流量异常检测进行研究,并以校园网为实验环境,应用子空间方法和PCA实现了网络流量异常检测。通过实验结果与小波分析结果的对比,证明了基于子空间方法的大规模网络流量异常检测是一种既简单又高效的方法。     

基于机器学习的日志异常检测综述

日志异常检测是当前数据中心智能运维管理的典型核心应用场景.随着机器学习技术的快速发展和逐步成熟,将机器学习技术应用于日志异常检测任务已经形成热点.首先,文章介绍了日志异常检测任务的一般流程,并指出了相关过程中的技术分类和典型方法.其次,论述了日志分析任务中机器学习技术应用的分类及特点,并从日志不稳定性、噪声干扰、计算存储要求、算法可移植性等方面分析了日志分析任务的技术难点.再次,对领域内相关研究成果进行了梳理总结和技术特点的比较分析.最后,文章从日志语义表征、模型在线更新、算法并行度和通用性3个方面讨论了日志异常检测今后的研究重点及思考.     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统(IDS)在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络(DNN)模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0～0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0～0.098 8和0.030 6～0.112 8。     

试论网络流量异常分析现状及问题

目前,Internet已经进入高速率骨干网和高速率接入网的阶段,因此需要实时地监控网络流量并检测出有攻击意向的异常,及时采取适当的行动来遏制它进一步的繁殖和传播。本文主要分析了现有网络异常分析的四种方法,并进行对比;提出了基于Netflow的异常流量分离设计思想,对于今后网络流量异常检测分析具有一定作用。     

基于网络流量异常的入侵检测技术

入侵检测系统作为防火墙之后的第二道安全防线,发挥着越来越重要的作用。日益猖獗的DDoS攻击、蠕虫病毒、网络扫描等,使得网络性能严重下降,基于网络流量异常的入侵检测技术针对上述情况有着良好的检测性能。本文综述了这种入侵检测技术,并讨论了入侵检测面临的问题及发展趋势。