一种基于深度Encoder-Decoder神经网络的智能电网数据服务器流量异常检测算法

传统的网络流量异常检测通常基于单一原始特征变量进行阈值判断,或者对多个相关变量进行降维设计统计量后进行阈值判断,这类方法虽然简单,但无法应对变量间非线性关系随时间变化的情况。本文设计一种能够自适应动态逼近变量间非线性关系的深度神经网络,在普通的Encoder-Decoder神经网络的基础上引入2层注意力机制,提高了神经网络对长期历史信息的利用程度,实现了流量正常状态估计。基于估计得到的流量正常行为,分析其与实测值的残差分布情况,并最终给出置信区间作为判别异常行为的控制限。     

智能电网异常用电检测框架

智能电表的大量使用为电网中的异常行为检测提供了新的手段。本文基于智能电表采集的细颗粒的用电数据提出了面向智能电网的异常用电检测框架。该框架引入了用于客户分割的有限混合模型聚类和用于识别适合于预测的新特征的遗传编程算法的组合,并采用了梯度提升算法作为分类算法。利用来自4000多户家庭的用电数据集的试验表明,该检测框架具有明显优于其他的机器学习算法的性能。     

利用大数据检测智能电网异常的分层架构

重点研究了智能电网异常分析过程中的大数据分析功能的分层架构.通过对当前电网大数据的数据结构进行分析,同时分析了当前智能电网大数据系统的惯用分析方法,最终形成了4个智能电网大数据分析过程的分析分层架构.第一层直接层可以通过对单节点数据的分析找到单一设备的直接故障,第二层关联层可以通过对多个节点的关联性特征进行时域比较分析...     

基于深度度量学习的异常流量检测方法

网络异常流量识别是目前网络安全的重要任务之一。然而传统流量分类模型是依据流量数据训练得到,由于大部分流量数据分布不均导致分类边界模糊,极大限制了模型的分类性能。为解决上述问题,文章提出一种基于深度度量学习的异常流量检测方法。首先,与传统深度度量学习每个类别单一代理的算法不同,文章设计双代理机制,通过目标代理指引更新代理的优化方向,提升模型的训练效率,增强同类别流量数据的聚集能力和不同类别流量数据的分离能力,实现最小化类内距离和最大化类间距离,使数据的分类边界更清晰;然后,搭建基于1D-CNN和Bi-LSTM的神经网络,分别从空间和时间的角度高效提取流量特征。实验结果表明,NSL-KDD流量数据经过模型处理,其类内距离显著减小并且类间距离显著增大,类内距离相比原始类内距离减小了73.5%,类间距离相比原始类间距离增加了52.7%,且将文章搭建的神经网络比广泛使用的深度残差网络训练时间更短、效果更好。将文章所提模型应用在流量分类任务中,在NSL-KDD和CICIDS2017数据集上,相比传统的流量分类算法,其分类效果更好。     

基于NetFlow的异常流量智能检测引擎设计

针对网络攻击的特点，利用动态网络行为的学习和实时偏差值检测技术，设计了基于NetFlow流量分析发现网络异常流量的智能检测引擎。     

电网异常业务数据检测方法综述

智能电网概念的提出推动了电网智能化和信息化的发展,电力系统产生的各种类型的业务数据量也呈指数增长,其中产生的异常数据在很大程度上对电力数据分析和电网运行稳定性有着决定性的影响。本文对电网异常业务数据检测方法进行整理分类、分析和总结,分别介绍基于传统技术和基于人工智能技术的异常业务数据检测方法,分析和阐述每种方法的基本原理和特点,总结和展望电网异常业务数据检测所面临的挑战和未来的发展趋势,为后续研究提供一定的参考。     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.     

基于Spark的电网工控系统流量异常检测平台

针对传统的电力网络流量检测安全预警系统在面对海量高维度数据时，其在精度、实时性、扩展性以及效率上都无法满足需求的问题，建立出一种基于Spark的电网工控系统流量异常检测平台.该平台以Spark为计算框架，主要由数据采集与网络流量深度包检测协议解析模块，实时计算数据分析处理模块，安全预警预测模块和数据存储模块组成，为流量异常检测提出了一套完整的流程.实验结果表明，该平台能够有效地检测出异常流量，做出安全预警，方便工作人员及时做出决策，这充分说明该平台非常适用于电力控制系统，能够应对海量高维复杂数据做出实时分析以及安全预警，极大地提高了电网工控系统的安全性能.     

电网工控系统流量异常检测的应用与算法改进

“两化融合”的工业控制网络的安全问题不断突显.电力作为国家重要基础设施,其电网工控系统的安全防护工作极其重要.本文根据电网工控系统中控制网的内防水平低且其安全监测和防护缺乏内部网络流量异常检测的现状,分析了电网工控系统的组成结构、网络安全需求及面临的威胁.提出了将流量异常检测技术应用于针对电网工控系统控制网的安全防护中,形成针对电网工控系统控制网的两级安全防护.然后研究了流量异常检测方法的分类和特点以及电网工控系统的网络流量数据特点,提出了基于熵的动态半监督K-means算法并辅以单类支持向量机对半监督K-means算法进行改进,为提升电力系统内防水平奠定基础.     

基于智能电网服务器的网络安全可视化研究

由于承载变电站信息的变电站次设备整体安全水平不高,且缺乏功能应用各层级系统化的安全评估体系,该文利用异常检测提供网络安全可视化的数据来源,将数据以直观形式进行展示,能够让运维人员快速了解当前变电站系统的网络安全态势,也能够让非技术人员直观感受网络安全的整体状态,实现智能电网网络安全可视化。模型使用自定义算法将网络安全入侵分级,按照分级情况展示可视化结果,可帮助运维人员对网络安全的形势进行评估,以加快应急响应速度;同时还结合Docker容器技术,实现对现有服务器即插即用,方便加装在现有服务器上。     

基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法

智能电网的信息系统是保障电力行业正常运行的基础,而智能电网中各种时间序列数据的分析结果是衡量信息系统稳定运行的重要依据。传统的时间序列数据异常检测算法很难同时兼顾准确性和实时性。本文引入基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法,结合无监督学习算法和有监督学习算法的优点,实现机器自动标注和自动学习阈值,人工标注少量特征值,从一定程度上提高了时间序列数据异常检查准确性和实时性,可以满足智能电网时间序列数据异常检测需求,从而达到提升智能电网信息安全的目的。     

基于无监督学习的智能电网入侵检测

智能电网通过引入信息和通信技术服务,带来了传统电网的技术演变,与此同时在安全方面也带来了严重的挑战.本文提出了一种智能电网入侵检测系统安全架构和一种基于无监督学习的新型入侵检测系统(intrusion detection system, IDS).我们设计了区域式训练(block-training)架构,不仅可以减轻数据中心的计算压力,还可以对本地流量进行特征训练.我们还提出了一种基于交叉验证的递归特征消除的差分自编码器算法(RFECV-VAE).RFECV-VAE综合了RFECV和VAE模型,在特征选择过程使用递归特征消除交叉验证法(recursive feature elimination cross-validation, RFECV),异常检测采用差分自编码器(variational autoencoders, VAE),它可以对大规模高维数据进行高精度异常检测.最后,本文选择深度自编码器、深度自编码器高斯混合模型、单类支持向量机、隔离森林、差分自编码器作为对比算法,采用准确率、ROC＿AUC、F1＿score和训练时间等指标来进行性能评估.实验结果表明,RFECV-VAE算法...     

基于免疫智能的网络异常检测算法

网络异常检测模型可以用来检测未知攻击,具有良好的可扩展性,是目前入侵检测系统研究的热点。但目前的异常检测方法存在着误报率较高、检测效率不能满足高速网络实时检测需求等问题。本文通过对免疫智能算法与网络异常研究,提出了一种基于免疫智能的网络异常检测算法AIAIK。理论分析和实验说明改算法具有自然免疫系统的免疫网络、非线性、免疫记忆和克隆选择等良好特性,实验检测效果良好。     

基于深度学习的网络流量异常预测方法

针对网络入侵检测系统（NIDS）能够检测当前系统中存在的网络安全事件,但由于自身的高误报率和识别安全事件产生的时延,无法提前对网络安全事件进行准确率较高的预警功能,严重制约了NIDS的实际应用和未来发展的问题,提出了基于深度学习的网络流量异常预测方法。该方法提出了一种结合深度学习算法中长短期记忆网络和卷积神经网络的预测模型,能够训练得到网络流量数据的时空特征,实现预测下一时段网络流量特征变化和网络安全事件分类识别,为NIDS实现网络安全事件的预警功能提供了方法分析。实验通过使用设计好的神经网络框架对入侵检测系统流量数据集CICIDS2017进行了训练和性能测试,在该方法下流量分类的误报率下降到0.26%,总体准确率达到了99.57%,流量特征预测模型R2的最佳效果达到了0.762。     

基于深度学习的时间序列数据异常检测方法

针对类间分布不平衡的时间序列数据的异常检测问题,提出了一种基于深度卷积神经网络的检测方法.首先采用抽样法对不平衡时间序列数据进行预处理;其次,将处理后的时间序列数据转换为尺度一致、时长一致的片段;最后将数据送入具有4层隐藏层结构的卷积神经网络模型中进行异常检测.实验结果表明,所提方法弥补了现存的检测技术由于忽略数据分布的偏斜性而造成的少数类检测精度低的缺点,并通过与现有的时间序列分类方法的比较,验证了所提方法的高效性.     

基于深度学习的图异常检测技术综述

图异常检测旨在大图或海量图数据库中寻找“陌生”或“不寻常”模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能.近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注.尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注.首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.     

一种基于分布式多源深度学习的智能物联网异常检测模型

随着智能物联网应用场景的不断拓展,网络攻击的频率与规模在不断增加,基于数据流量的异常行为检测是应对物联网安全风险的重要手段。传统检测工具存在隐私泄露、准确率低、稳定性差等薄弱点,为改善这一状况,提出一种基于分布式框架的神经网络异常行为检测模型。首先,该模型引入群体防御的思想,利用分布式结构安全地共享边缘网关的流量知识,有助于提高检测性能,提升安全性和鲁棒性。其次,创新性地将网络流量转化为深度矩阵,融合多种神经网络结构进行特征挖掘,能够有效处理大规模时序序列数据,同时选择两个层次的数据进行拟合,确保模型充分接收信息。最后,基于真实数据集的仿真实验表明,所提出的模型具有优异的拟合能力,其异常流量检测准确率达到90%以上,相比基线模型具有显著优势,能够为智能物联网提供轻量、安全、精准的攻击行为检测。     

基于平均特征重要性和集成学习的异常检测

异常检测系统在网络空间安全中起着至关重要的作用,为网络安全提供有效的保障.对于复杂的网络流量信息,传统的单一的分类器往往无法同时具备较高检测精确度和较强的泛化能力.此外,基于全特征的异常检测模型往往会受到冗余特征的干扰,影响检测的效率和精度.针对这些问题,本文提出了一种基于平均特征重要性的特征选择和集成学习的模型,选取决策树(DT)、随机森林(RF)、额外树(ET)作为基分类器,建立投票集成模型,并基于基尼系数计算基分类器的平均特征重要性进行特征选择.在多个数据集上的实验评估结果表明,本文提出的集成模型优于经典集成学习模型及其他著名异常检测集成模型.且提出的基于平均特征重要性的特征选择方法可以使集成模型准确率平均进一步提升约0.13%,训练时间平均节省约30%.