基于数据流时空特征的WSN异常检测及异常类型识别

异常数据检测及异常类型识别有助于提高无线传感器网络的数据质量,基于分类的异常检测算法存在传感器数据分类特征提取困难,无法进一步区分异常数据类型等问题,而基于时空特征的异常检测方法存在过度依赖于数据的假设分布等问题。针对这些问题,提出一种融合数据流时空特征和多分类模型的异常检测算法,算法首先基于Markov链提取传感器数据流的时空特征,然后将时空特征作为多分类卷积神经网络模型的输入特征,对数据流进行异常检测及异常类型识别。结果表明:该算法在不同数据集上均表现出较高的检测准确率以及较低的漏检率和误检率,可以有效地检测无线传感器网络中的异常值并判断异常类型。     

一种基于分层聚合的分布式异常数据检测方案

在无线传感器网络中,由于传感器节点的带宽、功率、计算能力有限,传统的集中式方案难以区分海量数据中的异常数据.为解决此问题,提出一种基于多层分布式无线传感器网络的异常数据检测方案.在节点层级采用K-Means++算法对数据进行聚类,执行簇合并算法以减少数据传输量,在网关节点执行基于KNN的异常簇检测算法,将正常簇信息返回至底层节点进行局部检测,从而区分异常数据.在高斯数据集与IBRL数据集上的实验结果表明,该方案检测率高于98%,且能显著降低通信消耗.     

基于改进单类支持向量机的工业控制网络入侵检测方法

针对单类支持向量机（OCSVM）入侵检测方法无法检测内部异常点和离群点导致决策函数偏离训练样本的问题,提出了一种结合具有噪声的密度聚类（DBSCAN）方法和K-means方法的OCSVM异常入侵检测算法。首先通过DBSCAN算法,剔除训练数据中的离群点,消除离群点的影响;然后利用K-means划分数据类簇的方法筛选出内部异常点;最后利用OCSVM算法为每一个类簇建立单分类器用于检测异常数据。工控网络数据集上的实验结果表明,该组合分类器能够利用无异常数据样本检测出工控网络入侵,并且提高了OCSVM方法的检测效果。在气体管道网络数据集入侵检测实验中,所提方法的总体检测率为91.81%;而原始OCSVM算法则为80.77%。     

基于相关性的多维时序数据异常溯源方法

提出一种基于统计学相关性分析的多维时序异常数据检测分析方法,以对检测中表现为异常的数据进行溯源:对反映系统故障的数据和传感器质量问题的数据进行分类,进而识别出真正的系统故障,避免误检.首先根据相关关系构建时序相关图,再进一步归纳为时序相关环模型,通过在时序相关图上搜索并确定时序相关环的过程,提取时序相关环中的特征,得到时间序列相关性集合.进而利用时间序列相关性集合进行时序数据异常来源检测,根据检测结果评估时序传感器数据对应的系统故障的几率.在真实的工业设备传感器序列数据集上进行大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从稳定性和效率上优于基于统计和基于机器学习模型的基准算法,时间序列的维度越高,该方法较基准算法的提升越明显.该方法通过对多维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对多维异常数据来源的精准识别.     

基于熵特征优选分组聚类的相似重复记录检测

针对目前相似重复记录检测方法不能有效处理大数据量的问题,提出一种基于熵的特征优选分组聚类的算法.该方法通过构造一个基于对象间相似度的熵度量,对原始数据集中各属性进行重要性评估,筛选出关键属性集,并依据关键属性将数据划分为不相交的小数据集,在各小数据集中用DBSCAN聚类算法进行相似重复记录的检测.理论分析和实验结果表明...     

基于子图拉普拉斯谱的异常传感器检测及识别方法

无线传感器网络中传感器异常检测是确保数据可靠性和系统正常运行的重要环节.将无线传感器网络用图模型描述,针对图上边缘区或稀疏区的异常传感器难以检测及识别的问题,本文提出了一种基于子图拉普拉斯谱的异常传感器检测及识别方法.该方法首先对系统图进行子图划分,再将图上信号转换至拉普拉斯谱信号,然后经低通滤波器处理,将图频域信号还原至节点域信号,通过比较还原信号与采集信号来判断子图的异常情况,最后对异常子图进行分析识别.基于公开数据集验证,本文所提方法对于无线传感器网络中单个异常传感器的检测率可以达到95％以上,其漏检率与误检率为15％以下,检测效果优于其他现有方法.     

基于神经网络的无线传感器网络异常数据检测方法

传感器网络的异常数据检测对于环境监测具有十分重要的意义。基于BP神经网络模型和线性神经网络模型,分别提出了两种无线传感器网络异常数据检测方法。提出的方法在每个当前时刻通过最近的固定长度的历史数据集训练神经网络,来完成下一时刻的预报。通过神经网络的模型残差,确定概率为P的置信区间。当下一时刻数据落入置信区间内,则该数据被判为正常;反之,则为异常。为了比较和验证两种检测方法的性能,在Matlab环境下完成了仿真实验。实验结果表明,基于线性神经网络的异常数据检测方法的检测率(detection rate)达到了97.9%,误报率(false positive rate)不超过0.76%;基于BP神经网络的异常数据检测方法的检测率为96.7%,误报率不超过0.84%。     

基于排列熵与决策级多传感器数据融合的P2P僵尸网络检测方法

提出了一种基于排列熵和决策级多传感器数据融合的P2P僵尸网络检测算法。首先分别构建流量异常检测传感器和异常原因区分传感器:前者利用排列熵刻画网络流量的复杂度特征(该特征并不依赖于特定类型的P2P僵尸网络),通过利用Kalman滤波器检测该特征是否存在异常;后者利用TCP流量特征在一定程度上减弱P2P应用等网络应用程序对P2P僵尸网络检测的误差影响。最后利用D-S证据理论对上述传感器的检测结果进行决策级数据融合以获得最终的检测结果。实验表明,提出的方法可有效检测新型P2P僵尸网络。     

基于时间序列数据的无线传感器网络的异常检测方法

伴随着无线传感器网络的发展和广泛应用,针对传感器网络在恶劣环境下传感器之间采样值差异大以及随着无线传感器网络故障节点增多导致事件检测不准确的问题,提出一种基于传感器网络时间序列数据的检测方法.利用传感器采集的K个正常数据的中位数建立枢轴量,构造置信区间,提出一种计算数据区间差异度的方法以判断发生异常的来源.实验结果表明,本文方法对传感器网络的异常数据检测率保持在98%以上,误报率保持在0.5%以下,具有一定的实用性.     

无线传感器网络中基于模式频繁度的异常检测方法

传感器网络的异常数据检测对于相关应用具有非常重要的意义。针对异常数据问题,提出了一种基于数据变化模式和数据空间相关性的无线传感器网络分布式异常数据检测方法。该方法首先为数据创建一个分布模型,即将数据变化模式映射到某个特征空间的分区中,确定非频繁分区,再通过判定数据是否落在非频繁分区来筛选出潜在异常值,最后根据邻居节点数据的空间相关性对异常值产生的原因进行判定。实验结果表明,该方法在避免较高运算复杂度的同时,能够有效地检测并区分网络中的错误数据与异常事件。     

基于特征约束蒸馏学习的视觉异常检测

针对视觉异常检测任务,提出一种基于特征约束的蒸馏学习方法,充分利用教师网络模型的特征来指导学生模型高效的识别异常图像.具体地,引入vision transformer (ViT)作为异常检测任务的主干网络,并提出中心特征策略约束学生网络的输出特征.由于教师网络的特征表达能力较强,特征中心策略从教师网络中动态地为学生网络生成正常样本的特征表示中心,从而提升学生网络对正常数据特征输出的描述能力,进而扩大了学生网络和教师网络对于异常数据的特征差异;另一方面,为了最小化学生网络和教师网络在正常图像特征表示上的差异,引入格拉姆(Gram)损失函数对学生网络编码层之间的关系进行约束.在3个异常检测通用数据集和1个真实工业异常检测数据集上进行了实验验证,相比当前最优方法,所提方法取得了显著的性能提升.     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.     

基于SSC-BP神经网络的异常检测算法

针对物联网环境下产生的新型网络攻击的数量持续上升和复杂性不断升高,传统的异常检测算法误报率高、检测率低以及数据量大而造成计算困难等问题,提出了一种基于子空间聚类(Subspace Clustering,SSC)和BP神经网络相结合的异常检测算法.首先在网络数据集上通过子空间聚类算法中最常用的CLIQUE算法得到不同的子空间;其次对不同子空间中的数据进行BP神经网络异常检测,计算预测误差值,通过与预先设定好的精度进行比较,来不断更新阈值进行修正,以达到提高识别网络攻击的能力.仿真实验采用NSL-KDD公开数据集和物联网环境下的网络攻击数据集,将NSL-KDD公开数据集分割为4种单一攻击子集和1种混合攻击子集,通过与K-means,DBSCAN,SSC-EA以及k-KNN异常检测模型进行比较,在混合攻击子集中,SSC-BP神经网络模型的检测率比传统的K-means模型的检测率提高了6％,误检率降低了0.2％;而在4种单一攻击子集中,SSC-BP神经网络模型都能以最低的误检率检测出最多的受到攻击的网络.在物联网环境下的网络攻击数据集上,SSC-BP神经网络模型的性能均优于其他几种对比模型.     

基于C-LSTM的传感器数据流半监督在线异常检测算法

在传感器网络中,有监督的异常数据检测算法的检测准确率以及鲁棒性受限于有标注数据集的构建,无监督异常数据检测算法往往导致较高的误报率(FPR).为解决上述问题,针对到达服务器端的传感器数据流提出了一种基于卷积神经网络(CNN)和长短时记忆网络(LSTM)的半监督在线异常检测算法.本算法利用K-means判别检测误差,并在检测中利用新数据重新训练机器学习模型,从而提高模型在长时间范围内的异常检测准确度.为了评估本算法的性能,使用因特尔伯克利实验室数据集IBRL(Intel Berkeley Research Lab)完成仿真实验,并与同类算法进行对比.实验结果表明,与同类算法相比,本算法对各个数据集都具有较高的召回率和F1-Score;应用K-means聚类的半监督模型,其异常检测结果更稳定.     

基于图偏差网络的外部自编码器时间序列异常检测

随着互联网和连接技术的提高, 传感器产生的数据逐渐趋于复杂化. 深度学习方法在处理高维数据的异常检测方面取得较好的进展, 图偏差网络(graph deviation network, GDN)学习传感器节点之间关系来预测异常, 并取得一定的效果. 针对图偏差网络模型缺少对时间依赖性以及异常数据不稳定的处理, 提出了基于图偏差网络的外部自编码器模型(graph deviation network-based external attention autoencoder, AEEA-GDN)深度提取表征, 此外在模型训练时引入自适应学习机制, 帮助网络更好地适应异常数据的变化. 在3个现实收集传感器数据集上的实验结果表明, 基于图偏差网络的外部自编码器模型比基线方法更准确地检测异常, 且总体性能更优.     

图嵌入和LSTM自动编码器结合的BGP异常检测

针对BGP异常数据的检测问题,依托互联网公开的真实BGP更新报文数据,重点结合网络的拓扑特征及时序变化特点,提出一种新的基于图嵌入特征和LSTM自动编码器的BGP异常检测方法.首先利用BGP数据中AS_PATH属性信息,构建基于时间序列的网络拓扑图的动态嵌入特征数据集,然后使用LSTM自动编码器模型对数据进行检测,发现异常数据.在实际的异常事件数据中,该方法成功检测到了异常数据,并且相比传统的检测方法有较高的准确率.     

基于CNN和SVM的报文入侵检测方法

为了进一步提高网络异常检测的准确率, 本文在对现有入侵检测模型分析的基础上, 提出了一种基于卷积神经网络和支持向量机的网络报文入侵检测方法. 该方法首先将数据预处理成二维矩阵, 为了防止算法模型过拟合, 利用permutation函数将数据随机打乱, 然后利用卷积神经网络CNN从预处理后的数据中学习有效特征, 最后通过支持向量机SVM分类器将得到的向量进行分类处理. 在数据集选择上, 采用网络入侵检测常用的权威数据集—京都大学蜜罐系统数据集, 通过与GRU-Softmax、GRU-SVM等现有检测率较高的模型进行实验对比, 该模型在准确率上最高分别提高了19.39% 和12.83%, 进一步提升了网络异常检测的准确度. 同时, 本研究所提出方法在训练速度和测试速度上有较大提高.     

基于模拟数据集的字节频度入侵检测研究

为解决目前网络负载异常入侵检测领域缺乏有效、针对性的测试数据集的问题,提出一种基于虚拟关键字的构造模拟网络数据集的方法。并用它对基于字节频度分布的异常检测模型进行了测试分析。实验结果表明,模拟数据集提供了一种负载内容异常程度可控的测试数据集;检测阈值和网络环境的数据特性包括数据包尺寸分布情况、异常和正常访问相对于训练数据的偏离程度等有关。单包频度分布模型相比连接模型对负载数据异常程度的变动有更好的灵敏度。     

一种基于RBM-SVM算法的无线传感网络入侵检测算法

针对以通信节点为基础的无线传感器网络作为物联网基础设施开始临越来越多的信息安全威胁,提出一种基于RBM特征提取和多层SVM检测的无线传感网络入侵检测方法,将收集到的高维网络数据进行特征信息提取并结合网络拓扑结构及攻击流量相似性分层检测入侵行为。实验仿真采用NSL＿KDD公共入侵检测数据集,实验结果表明该模型对网络流量检测准确率为99.06%。     

多层次序列集成的高维数值型异常检测

伴随大数据的快速发展,数据分析和知识发现成为研究热点,异常数据检测是数据质量提升的关键。基于序列集成学习的异常数据检测方法在面向高维数值型数据时可能因为噪声数据和维数过多导致检测精度下降。本文提出一种基于弹性网络的多层次序列集成学习的高维数值型异常数据检测方法,其中每层包含异常数据候选集模块、弹性网络降维模块和数据异常打分模块共3个模块。首先,异常数据候选集选择模块根据异常分数选择出一部分可能的异常数据;然后,弹性网络根据异常数据候选集和异常分数对高维数据进行特征选择,选择出与异常分数最相关的特征;最后,利用选择出来的特征对数据再次进行异常打分。每层异常数据候选集选择模块中的阈值设置为不同的值,循环地执行每一层,直到当前弹性网络的均方误差大于上一次的均方误差或者当前的检测精度小于初始的检测精度。在实验阶段,使用ODDS提供的高维异常数据检测数据集并根据检测精度、提取特征数、收敛速度等指标对本文方法的性能进行了测试。结果表明本文方法不仅能够提高对高维数值型异常数据的检测精度,而且能够有效地降低噪声对检测结果的影响。