基于自编码器和隐马尔可夫模型的时间序列异常检测方法

针对已有基于隐马尔可夫模型(HMM)的时间序列异常检测模型的符号化方法不能很好地表征原始时间序列的问题,提出了一种基于自编码器和HMM的时间序列异常检测方法(AHMM-AD)。首先,通过滑动窗口对时间序列样本进行分段,按照分段位置形成若干时间序列分段样本集,由正常时间序列上不同位置的分段样本集训练各个分段的自编码器;然后,利用自编码器得到每个分段时间序列样本的低维特征表示,通过对低维特征表示向量集的K-means聚类处理,实现时间序列样本集的符号化;最后,由正常时间序列的符号序列集生成HMM,根据待测样本在已建HMM上的输出概率值进行异常检测。在多个公共基准数据集上的实验结果显示,AHMM-AD比已有的基于HMM的时间序列异常检测模型在精确度、召回率和F1值分别平均提高了0.172、0.477、0.313,比基于autoencoder的时间序列异常检测模型,在这三方面分别平均提高了0.108、0.450、0.319。实验结果表明,AHMM-AD方法能够提取时间序列中的非线性特征,解决已有HMM建模时间序列符号化过程中不能很好表征时间序列的问题,并在时间序列异常检测性能上也有显著提升。     

基于边缘异常候选集的迭代式主动多元时序异常检测算法

无监督多元时间序列(MTS)异常检测方法因标注成本低而广受关注,但传统方法一般基于两个假设：1)服从独立同分布(IID)假设,即假设时序数据样本之间和属性之间不存在依赖关系;2)高净度启动假设,即假设可拥有完全正常态的时序数据集进行训练。以上假设在实际场景中往往难以满足。为此,提出一种基于边缘异常候选集的迭代式主动多元时序异常检测算法(EraseMTS)。首先,利用一种多粒度时序特征学习方法捕捉子序列内和子序列间的依赖关系,并在此基础上对原始多元时间序列进行再表示;其次,提出一种利用边缘异常候选集的选择策略,以子序列异常得分为基础,同时考虑异常程度,选择待人工交互的范围;最后,提出一种迭代式子序列权重更新机制,将异常反馈信息融入无监督异常检测模型的训练过程中,通过迭代方式不断优化初始训练模型性能。在UCR时间序列库中的4个数据集和1个人工合成数据集上对所提算法的检测性能、可扩展性和稳定性进行验证,实验结果表明该算法能够有效且稳定运行。     

UMTS-Mixer: 基于时间相关性和通道相关性的时间序列异常检测

多变量时间序列的异常检测是一个具有挑战性的问题, 要求模型从复杂的时间动态中学习信息表示, 并推导出一个可区分的标准, 该标准能从大量正常时间点识别出少量的异常点. 但在时间序列分析中仍存在多变量时间序列复杂的时间相关性和高维度使得异常检测性能较差的问题, 针对上述问题, 本文提出了一种基于MLP (multi-layer perceptron)架构的模型(UMTS-Mixer), 由于MLP的线性结构对顺序敏感, 将其用来捕获时间相关性和跨通道相关性. 大量实验表明UMTS-Mixer能够有效地检测时间序列异常, 并在4个基准数据集上的表现更好, 同时, 在MSL和PSM两个数据集上取得了最高的F1, 分别为91.35%, 92.93%.     

采用分段特征表示的异常序列检测算法

时间序列的有监督异常检测方法通常依赖于数据的标签，不仅会消耗大量时间进行数据标注，而且难以适用于无法给定标签的数据集。为解决异常序列检测中的标注问题，提出一种采用分段特征表示的异常序列检测方法。该方法采用分段聚合思想对时间序列进行标准化计算，并得到时序数据的特征表示，可提高无标签时间序列异常检测的可靠性。将表示后的特征划分为异常序列相关特征和无关特征，剪枝异常序列无关特征，可减少这些特征对检测结果的不利影响。为有效量化不同序列之间的差异性，提出一种面向时间权重分析的时间序列相似性度量方法，并构建时间序列的相似度矩阵，用于计算序列之间的相似度，可适用于无标签的时间序列中。在此基础上，根据相似度矩阵来计算每个子序列的异常分数，将其用于异常子序列的判定。通过合成数据集和真实数据集的实验对比表明：该方法节省了计算开销，提高了算法运行的时间效率和异常序列检测的准确率。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

基于CNN和Bi-LSTM的无监督日志异常检测模型

日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率（TF-IWF）算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络（CNN）和双向长短期记忆（Bi-LSTM）网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1-score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。     

基于融合学习的无监督多维时间序列异常检测

随着多云时代的到来，云际智能运维能够提前检测处理云平台的故障，从而确保其高可用性.由于云系统的复杂性，运维数据在数据局部性和数据全局性上呈现出多样的时间依赖和维度间依赖，这给多维时间序列异常检测带来很大的挑战.然而，现有的多维时间序列异常检测方法大多是从正常时序数据中学习到特征表示并基于重构误差或预测误差检测异常，这些方法无法同时捕获多维时间序列在局部性和全局性上的信息依赖，从而导致异常检测效果差.针对上述问题，提出了一种基于融合学习的无监督多维时间序列异常检测方法，同时对多维时间序列的数据局部特征和数据全局特征进行建模，得到更加丰富的时序重构信息，并基于重构误差检测异常.具体地，通过在时域卷积网络中引入自注意力机制使得模型在构建局部关联性的同时更加关注数据全局特征，并在时域卷积模块和自注意力模块间加入信息共享机制实现信息融合，从而能够更好地对多维时序的正常模式进行重构.在多个多维时间序列真实数据集上的实验结果表明，相较于之前的多维时间序列异常检测，提出的方法在F1分数上提升了高达0.0882.     

基于PSO和外部知识的时序数据异常检测

在时间序列数据的异常检测中, 单一模型往往只提取与自身模型结构相关的时序特征, 从而容易忽略其他特征. 同时, 面对大规模的时序数据, 模型难以对时序数据的局部趋势进行建模. 为了解决这两个问题, 本文提出一种基于粒子群优化算法(particle swarm optimization, PSO)和外部知识的异常检测模型PEAD. PEAD模型以深度学习模型作为基模型, 引入快速傅里叶变换生成的外部知识来提高基模型对局部趋势的建模能力, 随后PEAD模型以Stacking集成学习的方式训练基模型, 再使用PSO算法对基模型的输出加权求和, 对加权求和后的重构数据进行异常检测, PSO算法能够让模型的最终输出共同关注时序数据的全局特征和时间特征, 丰富模型提取的时序特征, 从而提高模型的异常检测能力. 通过对6个公开数据集进行测试, 研究结果表明PEAD模型在大部分数据集上表现良好.     

基于频率特征向量的系统调用入侵检测方法

针对基于系统调用的异常入侵检测方法中较难抽取正常系统调用序列的特征库问题,提出将正常系统调用序列抽取出的子序列的频率特征转换为频率特征向量,并以此作为系统调用序列的局部和全局特征;为了保证对大规模数据集检测的准确率和速度,采用一类分类支持向量机(SVM)分类器进行学习建模,利用先前建立的特征库进行训练,建立入侵检测分类模型,最后对于待检测序列进行异常检测。在多个真实数据集上与已有的异常入侵检测方法进行比较实验,结果表明本文提出的方法的多个异常检测指标都都优于已有方法。     

基于集成LSTM自编码器的多维时间序列异常检测

针对长短时记忆网络自编码器(LSTM-AE)在多维时间序列(MTS)上异常检测效率低的问题,提出一种基于集成LSTM-AE(LAE)的MTS异常检测模型。该模型集成多个LSTM-AE分别重构正常MTS各子序列,并将各重构误差作为MTS的局部特征;利用全连接网络自编码器(FCAE)对各重构误差数据进行拟合,学习MTS数据的全局特征;根据FCAE的重构误差进行异常检测。在三个公共MTS数据集上的实验表明,与基准方法相比,在Precision、Recall和F₁＿score三个评价指标下分别最大提升0.058 4、0.118 4和0.078 6。     

基于一维航线的航空自组网连通性研究

为了研究航空自组网的网络连通性问题, 针对部分空域航线单一、航班较少的情况, 提出一种基于一维航线的连通性研究方法。该方法考虑了飞机航线分层、双向飞行等特点, 据此建立适当的飞机分布模型, 运用整体思想推导出可以衡量一维航线实际连通性的数学表达式, 并通过实验证明了理论计算结果的正确性。根据实际航班数据仿真得到了我国部分空域上航空自组网的连通概率, 实例仿真结果表明, 利用反向飞机的转发作用, 一维双向航线的连通率可以满足航空自组网的组网要求。     

基于滑动窗口的直升机序列异常检测算法

无标签的序列在异常检测算法中往往存在着对数据的信息掌握不全面、不能合理使用的情况,而采用深度学习的技术实现检测时往往对其计算的解释性欠佳;对于攻克这些难题,以直升机飞行数据为例对时间序列的反常检测问题展开了深入研究,并利用Iforest技术和PCA算法,给出了一个采用滑动窗口的时间序列异常检测方法,利用从滑动窗口采集信息的时间变化状态等数据信息,将序列异常检测问题转换为点异常检测问题;同时以auc评分为衡量标准,从带有时刻特殊标志的多个信息集上检验了检测效率的提高;在无标签的直升机飞行数据集上进行实验,验证了算法的有效性,并通过对比检测过程中不同特征变量的变化情况,从算法层面和现实层面上阐述了算法的可解释性。     

基于图自编码器的无监督多变量时间序列异常检测

针对多变量时间序列复杂的时间相关性和高维度使得异常检测性能较差的问题,以对抗训练框架为基础提出基于图自编码的无监督多变量时间序列异常检测模型.首先,将特征转换为嵌入向量来表示;其次,将划分好的时间序列结合嵌入向量转换为图结构数据;然后,用两个图自编码器模拟对抗训练重构数据样本;最后,根据测试数据在模型训练下的重构误差进行异常判定.将提出的方法与5种基线异常检测方法进行比较.实验结果表明,提出的模型在测试数据集获得了最高的F1分数,总体性能分F1分数比最新的异常检测模型USAD提高了28.4%.可见提出的模型有效提高异常检测性能.     

基于飞参数据的飞行仿真模型验证方法研究

仿真模型验证已成为仿真研究的有机组成部分。为了更好地对飞行训练模拟器飞行仿真模型进行可信性评估,提高飞行训练模拟器飞行仿真模型的逼真性,将飞参数据应用于验证飞行训练模拟器飞行仿真模型的可信性。提出飞行仿真模型验证的验证方案,并对方案中的飞参解译、飞参数字滤波、飞行阶段识别及飞参数据插值处理等技术进行研究。介绍仿真模型验证量化评估的方法,包括时域分析法和频域分析法,并将这几种方法应用于某型飞行训练模拟器飞行仿真模型的验证,验证结果表明,利用飞参数据验证飞行仿真模型的方法完全可行。     

基于频繁模式发现的时间序列异常检测方法

针对传统异常片段检测方法在处理增量式时间序列时效率低的问题,提出一种基于频繁模式发现的时间序列异常检测（TSAD）方法。首先,将历史输入的时间序列数据进行符号转化;其次,利用符号化特征找出历史序列数据集中的频繁模式;最后,结合最长公共子序列匹配方法度量频繁模式与当前新增加时间序列数据之间的相似度,从而发现新增加数据中的异常模式。与基于滑动窗口预测的水文时间序列异常检测方法（TSOD）和基于扩展符号聚集近似的水文时间序列异常挖掘方法（ESAA）相比,对于实验选择的三种类型的时间序列数据,TSAD的检测率都超过90%;TSOD对规则性较强的序列检测率较高,能达到99%,但对噪声干扰较大的序列检测率较低,对数据偏向性较强;ESAA对三种类型的数据检测率均不超过70%。实验结果表明,TSAD在时间序列异常检测中能够较好地发现异常片段。     

基于LSTM的动态图模型异常检测算法研究

传统异常检测模型往往基于内容特征，随着攻击手段的提高，该方法易于被绕过，因此图挖掘技术逐渐成为了国内外学术研究的热点。为了提高异常检测的准确率，提出了一种基于长短时记忆网络的动态图模型异常检测算法。首先通过对动态图的变化特征进行分析，总结了Egonet图结构距离和编辑距离两类特征，高效地表示动态图结构的变化情况。其次，通过基于LSTM的时间序列分类算法，进行模型的训练。最后对抓取的网络数据流进行入侵检测，对超过6万节点和300万条边的拓扑图进行测试。最终实验结果表明，该算法具有更高的准确率和召回率，可以有效地检测出网络入侵事件。     

Anomaly detection via a combination model in time series data

Since the time series data have the characteristics of a large amount of data and non-stationarity, we usually cannot obtain a satisfactory result by a single-model-based method to detect anomalies in time series data. To overcome this problem, in this paper, a combination-model-based approach is proposed by combining a similarity-measurement-based method and a model-based method for anomaly detection. First, the process of data representation is performed to generate a new data form to arrive at the purpose of reducing data volume. Furthermore, due to the anomalies being generally caused by changes in amplitude and shape, we take both the original time series data and their amplitude change data into consideration of the process of data representation to capture the shape and morphological features. Then, the results of data representation are employed to establish a model for anomaly detection. Compared with the state-of-the-art methods, experimental studies on a large number of datasets show that the proposed method can significantly improve the performance of anomaly detection with higher data anomaly resolution.

     

三维模型边缘特征与异常检测

针对三维模型识别和检测问题,提出一种新的基于边缘特征的三维模型异常检测方法。将每一个三维模型利用边缘特征表示为一条时间序列,对产生的时间序列集进行Isodata聚类,利用聚类结果经过两次划分实现异常检测。第一次划分过程产生候选异常和候选正常,第二次划分过程在候选异常中进一步选出检测结果。实验结果表明,该算法性能优于传统的基于距离、邻近度以及基于相对密度的异常检测算法,在一定条件下,也优于基于密度的异常检测算法。     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

基于流量异常分析多维优化的入侵检测方法

入侵检测系统在检测和预防各种网络异常行为的过程中,海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法,该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。在横向维度优化中,对数量较多的类别进行数据抽样,并采用遗传算法得到每个类别的最佳抽样比例参数,完成数据的均衡化。在纵向维度优化中,结合特征与类别的相关分析,采用递归特征添加算法选择特征,并提出平均召回率指标评估特征选择效果,实现训练集的低维高效性。基于优化的入侵检测数据,进一步通过训练数据集得到随机森林分类器,在真实数据集UNSW_NB15评估和验证本文提出的算法。与其他算法相比,本文算法具有高准确率和低误报率,并在攻击类型上取得了有效的召回率。