基于日志模板主题特征的日志异常检测

在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。     

云工作流中基于多任务时序卷积网络的异常检测方法

云计算数据中心在日常部署和运行过程中产生的大量日志可以帮助系统运维人员进行异常分析。路径异常和时延异常是云工作流中常见的异常。针对传统的异常检测方法分别对两种异常检测任务训练相应的学习模型,而忽略了两种异常检测任务之间的关联性,导致异常检测准确率下降的问题,提出了一种基于多任务时序卷积网络的日志异常检测方法。首先,基于日志流的事件模板,生成事件序列和时间序列;然后,训练基于多任务时序卷积网络的深度学习模型,该模型通过共享时序卷积网络中的浅层部分来从系统正常执行的流程中并行地学习事件和时间特征;最后,对云计算工作流中的异常进行分析,并设计了相关异常检测逻辑。在OpenStack数据集上的实验结果表明,与日志异常检测的领先算法DeepLog和基于主成分分析（PCA）的方法比较,所提方法的异常检测准确率至少提升了7.7个百分点。     

用于神经网络异常检测模型的日志处理方法研究

针对在神经网络异常检测模型中日志分析处理存在的效率较低等问题,提出了一种基于词嵌入与word-level编码、charlevel编码相结合的日志数据处理方法,来实现提高异常检测模型日志数据处理效率。本文首先介绍了用于异常检测模型的日志预处理的基本流程;其次提出了词嵌入与两种编码相结合的日志向量化的表示方法,最后通过实验结果表明,提出的日志处理方法能够较好地提高异常检测模型中的日志分析处理效率。     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

基于CNN和Bi-LSTM的无监督日志异常检测模型

日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率（TF-IWF）算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络（CNN）和双向长短期记忆（Bi-LSTM）网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1-score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

主机日志分析及其在入侵检测中的应用

主机日志在入侵检测中有着不可替代的作用,通过深入分析主机日志可以发现系统的异常行为。该文分析了主机日志的构成,主机日志在计算机安全领域中的应用,并给出了常用的主机日志和基于主机日志的入侵检测系统。主机日志的分析方法有很多,文章对这些方法进行了分类并对它们进行了详细的讨论。最后,给出了一种基于主机日志分析的入侵检测通用模型。     

基于注意力机制的半监督日志异常检测方法

日志记载着系统运行时的重要信息，通过日志异常检测可以快速准确地找出系统故障的原因。然而，日志序列存在数据不稳定和数据之间相互依赖等问题。为此，提出了一种新的半监督日志序列异常检测方法。该方法利用双向编码语义解析BERT模型和多层卷积网络分别提取日志信息，得到日志序列之间的上下文相关信息和日志序列的局部相关性，然后使用基于注意力机制的Bi-GRU网络进行日志序列异常检测。在3个数据集上验证了所提方法的性能。与6个基准方法相比，所提方法拥有最优的F1值，同时获得了最高的AUC值0.981 3。实验结果表明，所提方法可以有效处理日志序列的数据不稳定性和数据之间相互依赖的问题。     

基于日志数据的分布式软件系统故障诊断综述

基于日志数据的故障诊断指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维（Artificial Intelligence for IT Operations,AIOps）的快速发展,该技术正成为学术界和工业界的研究热点.本文首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入地分析,最后以本文提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.     

基于大数据的网络日志分析技术

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法。实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性。     

基于日志的异常检测技术综述

日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。     

基于日志挖掘的装备健康管理系统设计与实现

随着装备的复杂度和信息化程度不断提高,在装备使用过程中产生的日志信息量正以指数级增长。针对目前日志信息处理应用中存在的问题,设计并实现了一个装备健康管理系统,通过对某型装备大量日志文件的分析,制定了设备通用的日志文件预处理规则和重要信息提取适配器,并结合数据挖掘算法构建装备健康管理系统,结合云重心评估法实现了对设备健康状态的评估。该系统从大量日志文件中提取出有价值的信息,帮助设备人员快速定位装备异常,提高解决问题的效率,通过设置系统的关键指标和监测点阀值,实现装备的健康预警。     

基于机器学习的日志异常检测综述

日志异常检测是当前数据中心智能运维管理的典型核心应用场景. 随着机器学习技术的快速发展和逐步成熟, 将机器学习技术应用于日志异常检测任务已经形成热点. 首先, 文章介绍了日志异常检测任务的一般流程, 并指出了相关过程中的技术分类和典型方法. 其次, 论述了日志分析任务中机器学习技术应用的分类及特点, 并从日志不稳定性、噪声干扰、计算存储要求、算法可移植性等方面分析了日志分析任务的技术难点. 再次, 对领域内相关研究成果进行了梳理总结和技术特点的比较分析. 最后, 文章从日志语义表征、模型在线更新、算法并行度和通用性3个方面讨论了日志异常检测今后的研究重点及思考.     

加权LOF结合上下文判断的云环境中服务运行数据异常检测方法

云环境中服务运行数据是服务运行状态的反映，如果服务运行数据出现异常将会影响相关软件的运行和用户的使用。传统的软件异常检测方法通常忽略软件运行数据各维度属性提供的信息量及软件运行时的上下文环境，从而影响异常检测的准确率。因此，提出一种加权LOF结合上下文判断的云环境中服务运行数据异常检测方法，首先使用信息熵法给服务运行数据的各维度属性赋权，使用改进的加权LOF算法对服务运行数据进行初次异常判断；然后综合考虑服务运行时的上下文信息，对服务运行数据进行二次异常判断后得到相应结果。实验表明，此方法能够有效检测出云环境中的服务运行数据异常。     

A Generative Adversarial Networks for Log Anomaly Detection

Detecting anomaly logs is a great significance step for guarding system faults. Due to the uncertainty of abnormal log types, lack of real anomaly logs and accurately labeled log datasets. Existing technologies cannot be enough for detecting complex and various log point anomalies by using human-defined rules. We propose a log anomaly detection method based on Generative Adversarial Networks (GAN). This method uses the Encoder-Decoder framework based on Long Short-Term Memory (LSTM) network as the generator, takes the log keywords as the input of the encoder, and the decoder outputs the generated log template. The discriminator uses the Convolutional Neural Networks (CNN) to identify the difference between the generated log template and the real log template. The model parameters are optimized automatically by iteration. In the stage of anomaly detection, the probability of anomaly is calculated by the Euclidean distance. Experiments on real data show that this method can detect log point anomalies with an average precision of 95%. Besides, it outperforms other existing log-based anomaly detection methods.     

基于国产操作系统的网络日志管理系统构建

系统日志信息是分析信息安全状况的重要数据来源,也是在出现信息安全事件后对事件发生路径及事件原因进行定位的关键,因此建立可为各种网络设备、主机设备提供集中日志管理的网络日志系统已经显得越来越重要。从实践出发,提出一种基于国产操作系统建立网络日志管理系统的采集方法。     

Complex log file synthesis for rapid sandbox-benchmarking of security- and computer network analysis tools

Today Information and Communications Technology (ICT) networks are a dominating component of our daily life. Centralized logging allows keeping track of events occurring in ICT networks. Therefore a central log store is essential for timely detection of problems such as service quality degradations, performance issues or especially security-relevant cyber attacks. There exist various software tools such as security information and event management (SIEM) systems, log analysis tools and anomaly detection systems, which exploit log data to achieve this. While there are many products on the market, based on different approaches, the identification of the most efficient solution for a specific infrastructure, and the optimal configuration is still an unsolved problem. Today׳s general test environments do not sufficiently account for the specific properties of individual infrastructure setups. Thus, tests in these environments are usually not representative. However, testing on the real running productive systems exposes the network infrastructure to dangerous or unstable situations. The solution to this dilemma is the design and implementation of a highly realistic test environment, i.e. sandbox solution, that follows a different – novel – approach. The idea is to generate realistic network event sequence (NES) data that reflects the actual system behavior and which is then used to challenge network analysis software tools with varying configurations safely and realistically offline. In this paper we define a model, based on log line clustering and Markov chain simulation to create this synthetic log data. The presented model requires only a small set of real network data as an input to understand the complex real system behavior. Based on the input׳s characteristics highly realistic customer specified NES data is generated. To prove the applicability of the concept developed in this work, we conclude the paper with an illustrative example of evaluation and test of an existing anomaly detection system by using generated NES data.     

一种通用综合日志系统的设计与实现

日志系统伴随着大型系统产生,用来记录系统运行时的状态等各方面信息.设计并实现了一种通用综合日志系统,能适应更多系统的日志管理需求.通过这个系统,提高了程序的复用性,并使时间复杂度控制在合理范围内,极大地减少了企业在日志系统方面的开发投入.     

基于系统调用的异常入侵检测

监视程序行为是近年基于主机的异常入侵检测的研究热点，构建程序行为模型是进行异常检测的关键。该文根据构建程序行为模型时，从系统调用抽取的信息和异常检测中使用的系统调用序列的粒度以及异常检测器记录的信息，分析和比较了基于程序行为的异常检测技术，并对该项研究作了展望。