日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

基于CNN-BiLSTM模型的日志异常检测方法

目前日志异常检测领域存在数据量大、故障和攻击威胁隐蔽性高、传统方法特征工程复杂等困难,研究卷积神经网络（CNN）、循环神经网络等迅速发展的深度学习技术,能够为解决这些问题提供新的思路。提出结合CNN和双向长短时记忆循环神经网络（Bi-LSTM）优势的CNN-BiLSTM深度学习模型,在考虑日志键显著时间序列特征基础上,兼顾日志参数的空间位置特征,通过拼接映射方法进行最大程度避免特征淹没的融合处理。在此基础上,分析模型复杂度,同时在Hadoop日志HDFS数据集上进行实验,对比支持向量机（SVM）、CNN和Bi-LSTM验证CNN-BiLSTM模型的分类效果。分析和实验结果表明,CNN-BiLSTM达到平均91%的日志异常检测准确度,并在WC98_day网络日志数据集上达到94%检测准确度,验证了模型良好的泛化能力,与SVM CNN和Bi-LSTM相比具有更优的检测性能。此外,通过消融实验表明,词嵌入和全连接层结构对于提升模型准确率具有重要作用。     

基于机器学习的网络流量异常检测

为了提高网络流量异常的检出率,研究基于机器学习的网络流量异常检测方法。先通过K-means聚类算法分别得到网络流量异常数据簇,再将其输入双向长短期记忆网络和注意力机制模型,实现网络流量异常检测。实验结果表明,所提方法实用性良好,可提升网络流量异常检测的性能。     

基于机器学习的日志解析系统设计与实现

针对现有日志分类方法只适用于格式化的日志,且性能依赖于日志结构的问题,基于机器学习方法对日志信息解析算法LogSig进行了扩展改进,并设计开发了一个集数据处理与结果分析于一体的日志解析系统,包括原始数据预处理、日志解析、聚类分析评价、聚类结果散点图显示等功能,在VAST 2011挑战赛的开源防火墙日志数据集上进行了测试。实验结果表明,改进后的算法在归类整理日志事件时的平均准确性达到85%以上;与原LogSig算法相比,日志解析精度提高了50%,同时解析时间仅为原先的25%,可用于大数据环境下高效准确地对多源非结构化日志数据进行解析。     

轨迹异常检测研究综述

传感器技术的飞速发展催生大量交通轨迹数据,轨迹异常检测在智慧交通、自动驾驶、视频监控等领域具有重要的应用价值.不同于分类、聚类和预测等轨迹挖掘任务,轨迹异常检测旨在发现小概率、不确定和罕见的轨迹行为.轨迹异常检测中一些常见的挑战与异常值类型、轨迹数据标签、检测准确率以及计算复杂度有关.针对上述问题,全面综述近20年来轨迹异常检测技术的研究现状和最新进展.首先,对轨迹异常检测问题的特点与目前存在的研究挑战进行剖析.然后,基于轨迹标签的可用性、异常检测算法原理、离线或在线算法工作方式等分类标准,对现有轨迹异常检测算法进行对比分析.对于每一类异常检测技术,从算法原理、代表性方法、复杂度分析以及算法优缺点等方面进行详细总结与剖析.接着,讨论开源的轨迹数据集、常用的异常检测评估方法以及异常检测工具.在此基础上,给出轨迹异常检测系统架构,形成从轨迹数据采集到异常检测应用等一系列相对完备的轨迹挖掘流程.最后,总结轨迹异常检测领域关键的开放性问题,并展望未来的研究趋势和解决思路.     

基于深度学习的系统日志异常检测研究

系统日志反映了系统运行状态,记录着系统中特定事件的活动信息,快速准确地检测出系统异常日志,对维护系统安全稳定具有重要意义。提出了一种基于GRU神经网络的日志异常检测算法,基于log key技术实现日志解析,利用执行路径的异常检测模型和参数值的异常检测模型实现日志异常检测,具有参数少、训练快的优点,在取得较高检测精度的同时提升了运行速度,适用于大型信息系统的日志分析。     

基于机器学习的物联网入侵检测系统综述

物联网技术的广泛应用在给人们带来便利的同时也造成诸多安全问题,亟需建立完整且稳定的系统来确保物联网的安全,使得物联网对象间能够安全有效地通信,而入侵检测系统成为保护物联网安全的关键技术.随着机器学习和深度学习技术的不断发展,研究人员设计了大量且有效的入侵检测系统,对此类研究进行了综述.比较了现阶段物联网安全与传统的系统...     

基于深度学习的属性图异常检测综述

异常检测一直以来都是数据挖掘领域的研究热点之一,其任务是在海量数据中识别罕见的观测对象。随着图数据挖掘的发展,属性图异常检测在各个领域广受关注。然而,属性图因其复杂的拓扑结构和丰富的属性信息成为异常检测一大难点。深度学习方法在捕捉属性图复杂的信息中展现出优越性能,已被证实是解决属性图异常检测问题非常有效的方法。对普通图异常检测和属性图异常检测以及表示学习相关方法进行简要概述;其次从静态属性图和动态属性图两方面对最新深度学习异常检测方法进行介绍与分类;对常见数据集上的实验结果进行了对比、分析;对属性图异常检测的应用场景、存在的问题以及面临的挑战进行讨论,展望了未来的研究方向。     

基于机器学习的用户行为异常检测模型

针对LaneT等人提出的用户行为异常检测模型的不足,提出了一种新的IDS异常检测模型。该模型改进了用户行为模式和行为轮廓的表示方式,采用了新的相似度赋值方法,在对相似度流进行平滑时引入了“可变窗长度”的概念,并联合采用多个判决门限对用户行为进行判决。基于Unix用户shell命令数据的实验表明,该文提出的检测模型具有更高的检测性能。     

基于深度学习的图异常检测技术综述

图异常检测旨在大图或海量图数据库中寻找“陌生”或“不寻常”模式,具有广泛的应用场景.深度学习可以从数据中学习隐含的规律,在提取数据中潜在复杂模式方面表现出优越的性能.近年来随着基于深度神经网络的图表示学习取得显著进展,如何利用深度学习方法进行图异常检测引起了学术界和产业界的广泛关注.尽管最近一系列研究从图的角度对异常检测技术进行了调研,但是缺少对深度学习技术下的图异常检测技术的关注.首先给出了静态图和动态图上各类常见的异常定义,然后调研了基于深度神经网络的图表示学习方法,接着从静态图和动态图的角度出发,梳理了基于深度学习的图异常检测的研究现状,并总结了图异常检测的应用场景和相关数据集,最后讨论了图异常检测技术目前面临的挑战和未来的研究方向.     

基于免疫智能的网络异常检测算法

网络异常检测模型可以用来检测未知攻击,具有良好的可扩展性,是目前入侵检测系统研究的热点。但目前的异常检测方法存在着误报率较高、检测效率不能满足高速网络实时检测需求等问题。本文通过对免疫智能算法与网络异常研究,提出了一种基于免疫智能的网络异常检测算法AIAIK。理论分析和实验说明改算法具有自然免疫系统的免疫网络、非线性、免疫记忆和克隆选择等良好特性,实验检测效果良好。     

一种基于XGboost的异常检测算法

为了提高异常检测的准确性和高效性,提出了基于xgboost的异常检测算法.首先对异常检测当前遇到的挑战进行分析,指出缺少样本和模型泛化是异常检测中的难点.在此基础上设计了异常注入算法,利用3sigma原则对数据集进行扩充;然后设计特征提取器,针对正常数据和异常数据的特点设计相关特征;最后选择xgboost模型对时序数据...     

Anomaly Detection in ICS Datasets with Machine Learning Algorithms

An Intrusion Detection System (IDS) provides a front-line defense mechanism for the Industrial Control System (ICS) dedicated to keeping the process operations running continuously for 24 hours in a day and 7 days in a week. A well-known ICS is the Supervisory Control and Data Acquisition (SCADA) system. It supervises the physical process from sensor data and performs remote monitoring control and diagnostic functions in critical infrastructures. The ICS cyber threats are growing at an alarming rate on industrial automation applications. Detection techniques with machine learning algorithms on public datasets, suitable for intrusion detection of cyber-attacks in SCADA systems, as the first line of defense, have been detailed. The machine learning algorithms have been performed with labeled output for prediction classification. The activity traffic between ICS components is analyzed and packet inspection of the dataset is performed for the ICS network. The features of flow-based network traffic are extracted for behavior analysis with port-wise profiling based on the data baseline, and anomaly detection classification and prediction using machine learning algorithms are performed.     

基于半监督学习的学生消费数据异常检测

随着校园卡的应用场景越来越广泛,校园卡的资金安全问题日益突出,校园卡欺诈不但给师生和校内商家带来经济损失,还会危害校园的正常秩序。针对传统异常检测方法无法有效提取学生消费数据时序特征的问题,提出一种基于半监督学习的学生消费数据异常检测方法。首先,利用门控循环单元改进自编码器,使得模型可以更准确地进行消费数据的重构;然后,采用马氏距离计算重构误差,计算F_β-分数确定误差阈值,进行异常数据的检测;最后,利用所提方法对某高校的学生消费数据进行异常检测实验。实验结果表明,所提方法具有更优越的检测性能。     

基于深度学习的时间序列数据异常检测方法

针对类间分布不平衡的时间序列数据的异常检测问题,提出了一种基于深度卷积神经网络的检测方法.首先采用抽样法对不平衡时间序列数据进行预处理;其次,将处理后的时间序列数据转换为尺度一致、时长一致的片段;最后将数据送入具有4层隐藏层结构的卷积神经网络模型中进行异常检测.实验结果表明,所提方法弥补了现存的检测技术由于忽略数据分布的偏斜性而造成的少数类检测精度低的缺点,并通过与现有的时间序列分类方法的比较,验证了所提方法的高效性.