两阶段的多元时间序列异常检测算法*

提出了一个两阶段的多元时间序列异常检测算法。该算法通过有界坐标系统 （BCS）技术计算多元时间序列样本之间的相似性,采用基于距离的方法实现异常检测。算法第一阶段采用K-means算法对数据进行聚类,并按照一个启发式规则对其进行排序;第二阶段在聚类结果上采用循环嵌套算法进行异常检测,并通过两个剪枝规则进行高效剪枝,提高了算法的效率。在两个实际数据集上进行实验,实验结果验证了算法的有效性。     

基于分量属性近邻传播的多元时间序列数据聚类方法

鉴于传统方法不能直接有效地对多元时间序列数据进行聚类分析,提出一种基于分量属性近邻传播的多元时间序列数据聚类方法.通过动态时间弯曲方法度量多元时间序列数据之间的总体距离,利用近邻传播聚类算法分别对数据之间的总体距离矩阵和分量近似距离矩阵进行聚类分析,综合考虑这两种视角下序列数据之间的关联关系,使用近邻传播方法对反映原始多元时间序列数据的综合关系矩阵实现较高质量的聚类.数值实验结果表明,与传统聚类方法相比,所提出方法不仅能够有效地反映总体数据特征之间的关系,而且通过重要分量属性序列之间的关联关系分析能够提高原始时间序列数据的聚类效果.     

基于K-均值聚类的工业异常数据检测

针对当前工业异常数据检测技术未充分考虑数据的时序特征以及训练样本中可能含有异常样本的问题,提出一种检测异常数据的方法：基于时序特征将遥测量与遥信量分为离散量与连续变化量,并分别通过改进后的K-均值算法与传统自回归模型检测离散量与连续变化量的异常数据,在训练聚类模型的过程中,通过计算异常因子来剔除含有异常样本的聚类簇,在训练自回归模型过程中,将不属于正常取值区间的异常样本剔除。最后在OMNeT 平台下搭建仿真小型储水加热工业系统并进行验证,实验结果表明：该方法可以有效地检测出现场设备中的异常数据,相比于其他同类基于聚类的异常检测模型,采用该方法检测异常数据的漏报率更低。     

基于多模态生成对抗网络的多元时序数据异常检测

针对传统多元时序数据异常检测模型未考虑时空数据的多模态分布问题，提出了一种多模态生成对抗网络多元时序数据异常检测模型。利用滑动窗口分割时间序列并构造特征矩阵来捕获数据的多模态特征，将其与原始数据分别作为模态信息输入多模态编码器及多模态生成器中，输出具有时空信息的多模态特征矩阵，并将真实数据编码成特征矩阵，将两类特征矩阵作为判别器输入，利用梯度惩罚方法并拟合真实分布与生成分布之间的Wasserstein距离，取代二分类交叉熵损失训练判别器，结合生成器重构误差及判别器评分实现异常检测。基于安全水处理(SWaT)及水量分布(WADI)等数据集的测试结果表明，所提模型相比基准模型在F1-分数性能指标上分别提升了0.11和0.19,能够较好地识别多元时序数据异常，具有较好的鲁棒性以及泛化能力。     

基于相关性分析的工业时序数据异常检测

多维时间序列上的异常检测,是时态数据分析的重要研究问题之一.近年来,工业互联网中传感器设备采集并积累了大量工业时间序列数据,这些数据具有模式多样、工况多变的特性,给异常检测方法的效率、效果和可靠性均提出更高要求.序列间相互影响、关联,其隐藏的相关性信息可以用于识别、解释异常问题.基于此,提出一种基于序列相关性分析的多维时间序列异常检测方法.首先对多维时间序列进行分段、标准化计算,得到相关性矩阵,提取量化的相关关系;然后建立了时序相关图模型,通过在时序相关图上的相关性强度划分时间序列团,进行时间序列团内、团间以及单维的异常检测.在真实的工业设备传感器数据集上进行了大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从性能上优于基于统计和基于机器学习模型的基准算法.该研究通过对高维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对复杂模式的异常数据的精准识别.     

基于哈达玛变换的多元时间序列聚类研究

对当前聚类算法进行研究的基础上,提出了有效地实现多元时间序列聚类的方法.用离散哈达玛变换对多元数据进行降维,求出多元变量相关系数矩阵的特征值作为权值.采用带权值的矩阵相似性度量方法,利用改进的K-means算法对多元时间序列进行聚类分析.实验结果表明,该方法能够有效地实现多元时间序列聚类,把具有相似趋势变化的多元时间序列对象划分到同一类中.     

基于相关性的多维时序数据异常溯源方法

提出一种基于统计学相关性分析的多维时序异常数据检测分析方法,以对检测中表现为异常的数据进行溯源:对反映系统故障的数据和传感器质量问题的数据进行分类,进而识别出真正的系统故障,避免误检.首先根据相关关系构建时序相关图,再进一步归纳为时序相关环模型,通过在时序相关图上搜索并确定时序相关环的过程,提取时序相关环中的特征,得到时间序列相关性集合.进而利用时间序列相关性集合进行时序数据异常来源检测,根据检测结果评估时序传感器数据对应的系统故障的几率.在真实的工业设备传感器序列数据集上进行大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从稳定性和效率上优于基于统计和基于机器学习模型的基准算法,时间序列的维度越高,该方法较基准算法的提升越明显.该方法通过对多维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对多维异常数据来源的精准识别.     

基于遗传算法优化的OCSVM双轮廓模型异常检测算法

针对Modbus工业总线协议的特殊性及工控数据样本的不均衡性,利用单类支持向量机（OCSVM）分别构建正常OCSVM模型和异常OCSVM模型,即双轮廓模态来模拟系统通信的正常模式和异常模式,从而实现工控系统异常检测。同时将遗传算法优化自变量降维应用于工控网络入侵检测场景,实现对输入自变量的降维压缩处理,防止OCSVM模型出现过拟合现象及分类准确率低的问题,提高异常检测的精度,缩减建模时间。通过仿真验证了该算法对工控网络异常检测的有效性。     

基于多模态对抗学习的无监督时间序列异常检测

时间序列异常检测旨在发现对应时序特征中不符合一般规律的特异性模式,是机器学习领域重要的研究方向之一.然而,现有的时序异常检测方法大多为单模态学习,忽略了时序信息在多模态空间上不同特征分布的关联性和互补性,不能充分利用已有信息进行有效地模式挖掘,从而造成检测效果差等问题.为此,提出了一种基于多模态对抗学习的无监督时间序列异常检测模型.首先,将原始时间序列转换至频域空间,构造多模态时间序列表示.其次,提出多模态生成对抗网络模型,针对多模态时间序列,实现正常时序信息关于时域和频域特征分布的无监督联合学习.最后,通过将异常检测问题转化为时间序列在时域和频域空间的重构度量问题,从时域空间和频域空间2个方面度量时间序列的异常值,实现更有效的异常检测.在时间序列数据集合UCR和MIT-BIH中的6个真实数据集的实验结果表明,在异常检测任务上相较于传统单模态异常检测方法,提出方法在AUC和AP这2个性能指标上最高分别提升了12.50％和21.59％,证明了方法的有效性.     

基于融合学习的无监督多维时间序列异常检测

随着多云时代的到来，云际智能运维能够提前检测处理云平台的故障，从而确保其高可用性.由于云系统的复杂性，运维数据在数据局部性和数据全局性上呈现出多样的时间依赖和维度间依赖，这给多维时间序列异常检测带来很大的挑战.然而，现有的多维时间序列异常检测方法大多是从正常时序数据中学习到特征表示并基于重构误差或预测误差检测异常，这些方法无法同时捕获多维时间序列在局部性和全局性上的信息依赖，从而导致异常检测效果差.针对上述问题，提出了一种基于融合学习的无监督多维时间序列异常检测方法，同时对多维时间序列的数据局部特征和数据全局特征进行建模，得到更加丰富的时序重构信息，并基于重构误差检测异常.具体地，通过在时域卷积网络中引入自注意力机制使得模型在构建局部关联性的同时更加关注数据全局特征，并在时域卷积模块和自注意力模块间加入信息共享机制实现信息融合，从而能够更好地对多维时序的正常模式进行重构.在多个多维时间序列真实数据集上的实验结果表明，相较于之前的多维时间序列异常检测，提出的方法在F1分数上提升了高达0.0882.     

基于时间序列分析的用户异常供用电自动监测系统设计

为解决当前用户异常供用电自动监测系统存在吞吐量低,运行效率慢等问题,在时间序列分析基础上,设计用户异常供用电自动监测系统。系统设计首先构建C/S三层框架,包括数据采集层、数据应用层以及数据发布层,然后根据系统结构确定数据采集设备、数据处理设备以及数据显示设备,作为系统硬件主要组成部分,最后采用时间序列分析方法,设计异常检测软件程序,实现用户供用电异常自动监测。经实验结果分析可知,与基于神经网络、机器学习以及K-means聚类的用户异常供用电自动监测系统相比,基于时间序列分析的用户异常供用电自动监测系统吞吐量最大,达到235 byte,由此说明系统监测效率提高。     

基于相关系数的多变量异常数据段的检测

工业报警系统普遍存在报警过多的问题,为了获取过程变量的正常与异常历史数据段,从而设计工业报警系统的动态报警阈值,进行性能评估和优化,提出了一种基于过程变量之间的相关系数进行异常数据段检测的改进方法。该检测方法将相关系数和数据段长度作为分段依据,对过程变量的多元时间序列进行分段,采用Spearman秩相关系数获取变量之间的相关关系,从而检测出不符合正常趋势的异常数据段。仿真算例和工业案例表明该方法可真实地反映过程变量之间的相关关系,并准确检测出所存在的异常数据段。     

Anomaly Detection and Classification in Streaming PMU Data in Smart Grids

The invention of Phasor Measurement Units (PMUs) produce synchronized phasor measurements with high resolution real time monitoring and control of power system in smart grids that make possible. PMUs are used in transmitting data to Phasor Data Concentrators (PDC) placed in control centers for monitoring purpose. A primary concern of system operators in control centers is maintaining safe and efficient operation of the power grid. This can be achieved by continuous monitoring of the PMU data that contains both normal and abnormal data. The normal data indicates the normal behavior of the grid whereas the abnormal data indicates fault or abnormal conditions in power grid. As a result, detecting anomalies/abnormal conditions in the fast flowing PMU data that reflects the status of the power system is critical. A novel methodology for detecting and categorizing abnormalities in streaming PMU data is presented in this paper. The proposed method consists of three modules namely, offline Gaussian Mixture Model (GMM), online GMM for identifying anomalies and clustering ensemble model for classifying the anomalies. The significant features of the proposed method are detecting anomalies while taking into account of multivariate nature of the PMU dataset, adapting to concept drift in the flowing PMU data without retraining the existing model unnecessarily and classifying the anomalies. The proposed model is implemented in Python and the testing results prove that the proposed model is well suited for detection and classification of anomalies on the fly.     

基于Spark的电网工控系统流量异常检测平台

针对传统的电力网络流量检测安全预警系统在面对海量高维度数据时，其在精度、实时性、扩展性以及效率上都无法满足需求的问题，建立出一种基于Spark的电网工控系统流量异常检测平台.该平台以Spark为计算框架，主要由数据采集与网络流量深度包检测协议解析模块，实时计算数据分析处理模块，安全预警预测模块和数据存储模块组成，为流量异常检测提出了一套完整的流程.实验结果表明，该平台能够有效地检测出异常流量，做出安全预警，方便工作人员及时做出决策，这充分说明该平台非常适用于电力控制系统，能够应对海量高维复杂数据做出实时分析以及安全预警，极大地提高了电网工控系统的安全性能.     

电能质量异常数据在线检测方法

电网电能质量监测数据大多数监测指标具有周期性变化规律、波动性大等特征，现有的异常数据检测方法在针对此类数据做异常值检测时具有适应性差等问题。针对上述问题，将控制图和时间序列数据预测方法有机结合，提出了基于控制图的动态阈值电能质量异常数据在线检测方法。利用电能质量数据的变化趋势数据替代控制图中心线，将控制图的控制线化直为曲，结合ARIMA模型动态计算控制图的控制线，实现了电能质量异常数据的在线检测。实验结果表明提出的方法是有效的。     

基于k近邻变量贡献与重构理论的工业过程故障诊断

针对工业过程中发生故障时异常变量的精确识别以及如何准确建立"故障–征兆"表的问题,本文提出了一种基于k近邻(k–NN)变量贡献分析和数据重构的异常变量精确识别方法.首先,将k–NN算法中各个采样时刻的统计距离指标细化,分解为每个变量的贡献并对其进行详细分析,分别从单变量和多变量异常角度进行方法的可行性验证,确定过程故障时异常变量具有较大的贡献值;其次,建立正常数据中每个变量的贡献模型用于对故障样本中的异常变量进行"一次"识别;随后提出基于k–NN理论的数据重构算法,并从重构原理方面进行分析,验证该方法具有一定的有效性.对于故障样本,根据变量贡献分析方法求取每个变量对距离指标的贡献,"一次"识别出故障发生时所对应的异常变量或征兆;进而通过数据重构理论对故障样本中异常变量值进行重构、检测和"二次"识别,直至辨识出过程中发生异常的所有变量,并得到故障与变量之间的关系,即"故障–征兆"表.     

基于密度聚类的出租车异常轨迹检测

出租车GPS装备的普及使用产生了大量轨迹数据。出租车异常轨迹的检测和分析，可为惩罚具有欺诈行为的出租车司机提供有益支撑。针对出租车稀疏轨迹，基于轨迹相对相似度检测异常轨迹，由于其具有不对称性，类似于DBSCAN的传统密度聚类方法无法适应此种情况，本文提出基于密度RDBSCAN算法用于出租车异常轨迹聚类检测。对于聚类得出的候选异常轨迹，结合轨迹密度异常值和轨迹长度异常值的概念，利用证据理论综合前述2个因素来判别轨迹的异常程度，进而得到异常程度最高的TOP-N异常轨迹。使用旧金山真实的出租车数据，通过提取相同起点和终点（Origin-Destination, OD）的轨迹集进行实验，实验结果表明本文提出的方法能够有效地检测到异常轨迹，并成功给出异常程度最高的TOP-N异常轨迹。     

基于混合式聚类算法的离群点挖掘在异常检测中的应用研究

为了提高异常检测系统的检测率,降低误警率,解决现有异常检测所存在的问题,将离群点挖掘技术应用到异常检测中,提出了一种基于混合式聚类算法的异常检测方法(NADHC)。该方法将基于距离的聚类算法与基于密度的聚类算法相结合从而形成新的混合聚类算法,通过k-中心点算法找出簇中心,进而去除隐蔽性较高的少量攻击行为样本,再将重复增加样本的方法结合基于密度的聚类算法计算出异常度,从而判断出异常行为。最后在KDD CUP 99数据集上进行实验仿真,验证了所提算法的可行性和有效性。