基于Spark的油田应用日志行为分析系统

随着油田信息化建设的不断发展,越来越多的IT业务系统在油田各级单位普及应用.由于油田应用数量庞大、种类复杂,如何快速评估各类系统的运行情况和安全状况成为油田关注的重要问题.在使用这些应用系统的同时,一些访问信息会以日志的形式储存下来,因此通过分析日志数据可以挖掘出用户访问喜好,发觉业务系统潜在的安全问题,进而为油田应用评估提供决策依据.然而随着IT业务访问量剧增,应用日志的数量、容量也随之增加,仅依靠单机环境对海量数据进行分析已经无法满足油田业务需求.针对这个问题本文提出了基于Spark计算框架的应用日志行为分析方法,同时设计了可视化平台完成对整个分析系统的管理.     

云资源池探针的故障检测方法研究

随着大数据时代的发展,人们越来越重视保存历史数据,通过海量的历史数据挖掘数据潜藏的价值。在云计算与大数据发展的背景下,虚拟化资源产生的大量状态文件、日志信息将为云平台的故障诊断与预测提供了有力地预测与快速定位依据。通过建立探针机制的挖掘虚拟化资源池日志等信息,找出其中潜在的关联信息。本文构建云计算资源池的大数据分析模型,通过利用大数据技术对资源池各管理层日志进行关联性分析,快速对故障和性能瓶颈进行探查,准确给出探查出的每层资源故障路径或性能瓶颈轨迹,以智能化的方式替换随机性和经验性的人工模式。通过注入云计算操作系统的控制台接口和日志、利用SDN技术对网络流量进行采集、通过存储虚拟化控制工具采集存储性能和日志,再结合现有应用性能分析系统API接口开发,研发基于探针技术的资源池故障及性能分析探针系统。通过该模型系统能对不同资源类型的数据和日志进行综合分析,从这些数据中捕获隐患信息和故障发生点的位置信息并予以可视化表示。     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

复杂系统故障预测方法与应用技术研究

故障预测技术是我国未来发展复杂系统增强型视情维修体系(CBM+)的核心技术;在分析了目前广泛使用的基于统计学的故障预测方法基础上,研究了精度更高的基于模型和基于数据驱动等多种故障预测方法,总结了不同预测方法的适用性,结合实际应用提出了一种多方法融合的复杂系统故障预测新方法,与传统的统计学预测法进行了对比,并完成了仿真验证;新方法有利于提高故障预测的准确性,为未来实现复杂系统视情维修与贮存延寿提供技术保障。     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

基于日志数据的分布式软件系统故障诊断综述

基于日志数据的故障诊断指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维（Artificial Intelligence for IT Operations,AIOps）的快速发展,该技术正成为学术界和工业界的研究热点.本文首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入地分析,最后以本文提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.     

面向过程挖掘的日志划分技术综述

过程挖掘的目标是从软件系统产生的日志数据中提取出有价值信息,用于配置或优化已实施的业务过程.与此同时,大数据、物联网等技术的发展不仅使得业务内容愈加复杂,更是加速了业务演化的速度.在此背景下,有必要对原始日志进行划分,使得事件日志通过分解而被更有效地分析,进而提升过程挖掘的质量.日志划分的宗旨是根据不同问题采取不同方法将原始事件日志划分为多个子日志,为后续的过程挖掘研究提供支撑.模型发现是过程挖掘中最重要的应用场景,而该场景面临的两大难题就是模型过于复杂和模型不正确.当前,解决这两个难题的方法分别是轨迹聚类和概念漂移,而这两类方法的本质都是对原始事件日志进行了划分.本文针对轨迹聚类和概念漂移两个分支进行归纳总结,试图厘清日志划分内容中这两个分支的异同点.接着,通过文献规约系统地对现有研究进行统计与分析,揭露了两个研究分支的发展趋势.然后,梳理了现有研究方法的主要思路,将轨迹聚类分为距离驱动、模型驱动和混合聚类三类,并将概念漂移分为单一类型和复合类型两类.最后,利用公开数据集测试不同类型算法的优缺点,并指出未来研究的发展方向.     

面向银行业务的交易量预测与告警研究

银行一般都有多种交易系统并存,当这些分散的交易系统出现故障时,运维人员难以从海量的日志中定位故障。针对以上问题,使用SparkStreaming、Spark ML、Hadoop、ELK等技术,基于决策树回归模型,设计并实现了一个面向银行业务的交易量预测与告警平台。该平台能够实时监控各交易系统近期交易量,并对各个交易系统不同时段的交易量进行预测,预测值作为交易系统交易量的动态阈值,平台能够根据阈值对异常的系统进行实时告警。真实环境下的运行结果表明,平台很好地满足了银行交易系统运维的需求。     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

UiLog: Improving Log-Based Fault Diagnosis by Log Analysis

In modern computer systems, system event logs have always been the primary source for checking system status. As computer systems become more and more complex, the interaction between software and hardware increases frequently. The components will generate enormous log information, including running reports and fault information. The sheer quantity of data is a great challenge for analysis relying on the manual method. In this paper, we implement a management and analysis system of log information, which can assist system administrators to understand the real-time status of the entire system, classify logs into different fault types, and determine the root cause of the faults. In addition, we improve the existing fault correlation analysis method based on the results of system log classification. We apply the system in a cloud computing environment for evaluation. The results show that our system can classify fault logs automatically and effectively. With the proposed system, administrators can easily detect the root cause of faults.     

模型未知的离散事件系统故障诊断方法

针对离散事件系统模型难以建立的大型实际系统,无法对其进行有效故障诊断的问题,提出一种基于主动学习的故障诊断方法。首先,为获取到的系统事件日志添加正常/故障标签,并将日志集划分为训练集和测试集,提出一种基于抽象技术的迭代算法提取训练集中日志的故障特征样本。然后,通过故障特征样本构造初始故障识别器,并利用测试集中的日志检验识别器的准确性。仿真结果表明,该故障诊断算法使得模型未知下诊断精度更高。最后,实例说明系统模型未知下故障诊断算法的应用。与现有研究相比,提出的方法可以在系统模型未知下进行故障诊断且算法复杂度为多项式,诊断精度更高,应用范围更加广泛。     

复杂系统的智能故障诊断技术现状及其发展趋势

智能故障诊断技术为保障工程技术系统的可靠性和安全性开辟了新的途径，随着系统设备和功能的日益复杂化，发生故障的机率以及由此带来的损失越来越大，现有单一、固定的故障诊断方法却难以满足复杂系统诊断的全部要求。该文针对复杂系统故障现象的特点，分析了现有基于规则、基于结构和行为、案例、模糊逻辑、神经网络及其集成知识诊断技术的各自特点和局限性，指出了机器学习对于当前复杂系统智能故障诊断发展的重要性，有利于改变现有单一、固定的故障诊断思维，并对未来的主要发展方向进行了一些探讨。     

基于非线性输出频率响应函数的液压管路故障诊断研究

航空液压管路系统受到多源激励的影响,在工程应用中经常发生管路系统振动故障。针对长跨距管路系统振动故障定位困难的问题,采用光纤布拉格光栅（Fiber Bragg Grating,FBG）测试技术开展了长跨距管路系统振动信号分布式测量,并提出结合非线性输出频率响应函数（Nonlinear Output Frequency Response Function,NOFRF）分析方法实现液压管路系统卡箍松动和管体碰撞故障的准确定位。采用FBG传感器对长跨距管路系统振动信号进行分布式测量,克服了传统加速度测试过程中的电磁干扰和复杂布线问题;采用NOFRF指标提取卡箍松动和管体碰撞的故障特征,实现了对微弱故障的早期监测和准确定位。试验结果表明,所提方法可有效定位卡箍松动和管体碰撞故障。     

系统日志的安全管理方案与分析处理策略

系统中的各类日志文件作为系统和网络用户行为的记录管理者，对及早发现入侵行为、恢复系统、统计系统资源使用状况和为打击计算机犯罪提供电子物证有着极其重要的作 用。因此，保护系统日志安全，不被内部用户或外部入侵者修改或删除显得尤为重要。但是，我们在制定网络信息安全策略时往往忽视系统日志安全，基本上还没有形成一套 套比较合理的系统日志安全管理方法。本文讨论了对各类系统日志文件进行集中式统一管理的问题，提出了对日志文件处理分析和完整性加密保护的办法，最后提出了相应的日志管理策略。     

基于免疫原理的故障诊断推理模型研究

智能故障诊断系统作为人工智能技术在故障诊断领域的应用,在实践中取得了较好的成效,但随着系统设备和功能的日益复杂化,各种故障现象成因越来越复杂,同时异常故障也时有发生,现有固定的诊断推理模型却难以满足复杂系统诊断面临的全部要求。针对故障诊断系统中常规固定诊断推理模型难以适应动态变化环境的缺点,该文在分析生物体免疫应答过程中免疫细胞协作机制基础上,采用多Agent技术构建了一种具有进化重构特性、适合于复杂系统故障问题求解的诊断推理模型,并给出了其工作流程。     

一种基于时序的状态监控及故障诊断系统

复杂系统在研发及运行过程中会产生大量的状态量及参数记录，为判定系统运行的健康状况，往往在运行结束后对其进行挖掘分析。在对数据分析的过程中，信号的时序变化成为复杂系统运行状态评估的重要参照之一，但是目前将时序分析作为独立分析模块进行状态监测的研究较少。在时序分析方面进行了改进，使用阈值判断结合时序分析的方法对复杂系统的监测点信号进行数据分析，根据分析结果使用专家系统进行基于案例的信号匹配及故障诊断，实现复杂系统基于时序的状态监测及故障诊断。提出的状态监测及故障诊断系统除了适用于对时序要求较高的复杂系统以外，对航天探测、新能源设备研发、医疗技术发展及海洋、大气、大地环境监测等领域都具有应用价值。     

Common Trends in Software Fault and Failure Data

The benefits of the analysis of software faults and failures have been widely recognized. However, detailed studies based on empirical data are rare. In this paper, we analyze the fault and failure data from two large, real-world case studies. Specifically, we explore: 1) the localization of faults that lead to individual software failures and 2) the distribution of different types of software faults. Our results show that individual failures are often caused by multiple faults spread throughout the system. This observation is important since it does not support several heuristics and assumptions used in the past. In addition, it clearly indicates that finding and fixing faults that lead to such software failures in large, complex systems are often difficult and challenging tasks despite the advances in software development. Our results also show that requirement faults, coding faults, and data problems are the three most common types of software faults. Furthermore, these results show that contrary to the popular belief, a significant percentage of failures are linked to late life cycle activities. Another important aspect of our work is that we conduct intra- and interproject comparisons, as well as comparisons with the findings from related studies. The consistency of several main trends across software systems in this paper and several related research efforts suggests that these trends are likely to be intrinsic characteristics of software faults and failures rather than project specific.     

用VB实现测井曲线的分形插值

分形几何是一门新兴边缘学科,它是研究自然界中不规则、复杂现象的强有力工具。通过对分形的维数、几何特征、迭代函数系进行初步探索和研究,建立了油井测井曲线的分形插值函数和分数维,并用Visual Basic语言实现了油井测井曲线的分形插值,有效提高了测井曲线的分辨率。     

Human-like fault diagnosis using a neural network implementation of plausibility and relevance

In real systems, fault diagnosis is performed by a human diagnostician, and it encounters complex knowledge associations, both for normal and faulty behaviour of the target system. The human diagnostician relies on deep knowledge about the structure and the behaviour of the system, along with shallow knowledge on fault-to-manifestation patterns acquired from practice. This paper proposes a general approach to embed deep and shallow knowledge in neural network models for fault diagnosis by abduction, using neural sites for logical aggregation of manifestations and faults. All types of abduction problems were considered. The abduction proceeds by plausibility and relevance criteria multiply applied. The neural network implements plausibility by feed-forward links between manifestations and faults, and relevance by competition links between faults. Abduction by plausibility and relevance is also used for decision on the next best test along the diagnostic refinement. A case study on an installation in a rolling mill plant is presented.