基于Spark的油田应用日志行为分析系统

随着油田信息化建设的不断发展,越来越多的IT业务系统在油田各级单位普及应用.由于油田应用数量庞大、种类复杂,如何快速评估各类系统的运行情况和安全状况成为油田关注的重要问题.在使用这些应用系统的同时,一些访问信息会以日志的形式储存下来,因此通过分析日志数据可以挖掘出用户访问喜好,发觉业务系统潜在的安全问题,进而为油田应用评估提供决策依据.然而随着IT业务访问量剧增,应用日志的数量、容量也随之增加,仅依靠单机环境对海量数据进行分析已经无法满足油田业务需求.针对这个问题本文提出了基于Spark计算框架的应用日志行为分析方法,同时设计了可视化平台完成对整个分析系统的管理.     

云资源池探针的故障检测方法研究

随着大数据时代的发展,人们越来越重视保存历史数据,通过海量的历史数据挖掘数据潜藏的价值。在云计算与大数据发展的背景下,虚拟化资源产生的大量状态文件、日志信息将为云平台的故障诊断与预测提供了有力地预测与快速定位依据。通过建立探针机制的挖掘虚拟化资源池日志等信息,找出其中潜在的关联信息。本文构建云计算资源池的大数据分析模型,通过利用大数据技术对资源池各管理层日志进行关联性分析,快速对故障和性能瓶颈进行探查,准确给出探查出的每层资源故障路径或性能瓶颈轨迹,以智能化的方式替换随机性和经验性的人工模式。通过注入云计算操作系统的控制台接口和日志、利用SDN技术对网络流量进行采集、通过存储虚拟化控制工具采集存储性能和日志,再结合现有应用性能分析系统API接口开发,研发基于探针技术的资源池故障及性能分析探针系统。通过该模型系统能对不同资源类型的数据和日志进行综合分析,从这些数据中捕获隐患信息和故障发生点的位置信息并予以可视化表示。     

FD-LSTM:基于大规模系统日志的故障分析模型

可靠性研究是高性能计算领域的经典问题,随着制程技术与集成工艺的不断发展,当前全系统规模呈指数级快速增长,给可靠性研究尤其是故障分析带来巨大挑战.收集了自主高性能计算系统投产后工作故障日志信息203510247条,时间自2016年1月28日至2016年12月6日.首先使用K-M eans聚类方法对故障进行分类,并分析故障分布特征.接着基于聚类结果设计基于时序的故障分析模型FD-LSTM,使用结构化日志训练后,预测不同故障类型的发生时间和空间,结果表明所提出的FD-LSTM预测模型准确率可达80.56％.本文研究表明,基于日志信息的时序模型FD-LSTM在时间预测和空间预测方面,较之前传统的故障分析模型,在提高故障分析准确度、加强机器运维高效性,乃至增进全系统协同设计合理化等方面都具有现实的指导意义.     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

复杂系统故障预测方法与应用技术研究

故障预测技术是我国未来发展复杂系统增强型视情维修体系(CBM+)的核心技术;在分析了目前广泛使用的基于统计学的故障预测方法基础上,研究了精度更高的基于模型和基于数据驱动等多种故障预测方法,总结了不同预测方法的适用性,结合实际应用提出了一种多方法融合的复杂系统故障预测新方法,与传统的统计学预测法进行了对比,并完成了仿真验证;新方法有利于提高故障预测的准确性,为未来实现复杂系统视情维修与贮存延寿提供技术保障。     

基于OSGi的分布式系统集中日志管理方案

目前分布式业务应用的日志多存储在各分布式服务器节点本地日志文件中,没有集中存储和管理,导致业务系统问题定位速度慢,解决问题效率低.本文提供一种基于OSGi的分布式日志收集与分析技术方案.该方案单独设计了集中的日志存储服务器用于存储日志,并提供一套通用日志模型,业务应用分布式节点向该设备发送基于该模型的日志数据,日志存储服务器接收到各节点的日志数据后进行统一存储和界面化分析展示,帮助开发人员快速定位和分析问题.该方案以OSGi插件形式部署到应用系统,应用卸载该插件后则以原有方式存储日志.应用结果表明,采用该日志管理方案对1000并发下记录日志的业务应用访问性能平均提升2秒,并且没有日志数据丢失.开发人员反馈,错误日志更加一目了然,定位问题的时间明显短于普通的日志存储方式.     

基于日志数据的分布式软件系统故障诊断综述

基于日志数据的故障诊断指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维（Artificial Intelligence for IT Operations,AIOps）的快速发展,该技术正成为学术界和工业界的研究热点.本文首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入地分析,最后以本文提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

面向银行业务的交易量预测与告警研究

银行一般都有多种交易系统并存,当这些分散的交易系统出现故障时,运维人员难以从海量的日志中定位故障。针对以上问题,使用SparkStreaming、Spark ML、Hadoop、ELK等技术,基于决策树回归模型,设计并实现了一个面向银行业务的交易量预测与告警平台。该平台能够实时监控各交易系统近期交易量,并对各个交易系统不同时段的交易量进行预测,预测值作为交易系统交易量的动态阈值,平台能够根据阈值对异常的系统进行实时告警。真实环境下的运行结果表明,平台很好地满足了银行交易系统运维的需求。     

UiLog: Improving Log-Based Fault Diagnosis by Log Analysis

In modern computer systems, system event logs have always been the primary source for checking system status. As computer systems become more and more complex, the interaction between software and hardware increases frequently. The components will generate enormous log information, including running reports and fault information. The sheer quantity of data is a great challenge for analysis relying on the manual method. In this paper, we implement a management and analysis system of log information, which can assist system administrators to understand the real-time status of the entire system, classify logs into different fault types, and determine the root cause of the faults. In addition, we improve the existing fault correlation analysis method based on the results of system log classification. We apply the system in a cloud computing environment for evaluation. The results show that our system can classify fault logs automatically and effectively. With the proposed system, administrators can easily detect the root cause of faults.     

复杂系统的智能故障诊断技术现状及其发展趋势

智能故障诊断技术为保障工程技术系统的可靠性和安全性开辟了新的途径，随着系统设备和功能的日益复杂化，发生故障的机率以及由此带来的损失越来越大，现有单一、固定的故障诊断方法却难以满足复杂系统诊断的全部要求。该文针对复杂系统故障现象的特点，分析了现有基于规则、基于结构和行为、案例、模糊逻辑、神经网络及其集成知识诊断技术的各自特点和局限性，指出了机器学习对于当前复杂系统智能故障诊断发展的重要性，有利于改变现有单一、固定的故障诊断思维，并对未来的主要发展方向进行了一些探讨。     

系统日志的安全管理方案与分析处理策略

系统中的各类日志文件作为系统和网络用户行为的记录管理者，对及早发现入侵行为、恢复系统、统计系统资源使用状况和为打击计算机犯罪提供电子物证有着极其重要的作 用。因此，保护系统日志安全，不被内部用户或外部入侵者修改或删除显得尤为重要。但是，我们在制定网络信息安全策略时往往忽视系统日志安全，基本上还没有形成一套 套比较合理的系统日志安全管理方法。本文讨论了对各类系统日志文件进行集中式统一管理的问题，提出了对日志文件处理分析和完整性加密保护的办法，最后提出了相应的日志管理策略。     

基于免疫原理的故障诊断推理模型研究

智能故障诊断系统作为人工智能技术在故障诊断领域的应用,在实践中取得了较好的成效,但随着系统设备和功能的日益复杂化,各种故障现象成因越来越复杂,同时异常故障也时有发生,现有固定的诊断推理模型却难以满足复杂系统诊断面临的全部要求。针对故障诊断系统中常规固定诊断推理模型难以适应动态变化环境的缺点,该文在分析生物体免疫应答过程中免疫细胞协作机制基础上,采用多Agent技术构建了一种具有进化重构特性、适合于复杂系统故障问题求解的诊断推理模型,并给出了其工作流程。     

一种基于时序的状态监控及故障诊断系统

复杂系统在研发及运行过程中会产生大量的状态量及参数记录，为判定系统运行的健康状况，往往在运行结束后对其进行挖掘分析。在对数据分析的过程中，信号的时序变化成为复杂系统运行状态评估的重要参照之一，但是目前将时序分析作为独立分析模块进行状态监测的研究较少。在时序分析方面进行了改进，使用阈值判断结合时序分析的方法对复杂系统的监测点信号进行数据分析，根据分析结果使用专家系统进行基于案例的信号匹配及故障诊断，实现复杂系统基于时序的状态监测及故障诊断。提出的状态监测及故障诊断系统除了适用于对时序要求较高的复杂系统以外，对航天探测、新能源设备研发、医疗技术发展及海洋、大气、大地环境监测等领域都具有应用价值。     

Common Trends in Software Fault and Failure Data

The benefits of the analysis of software faults and failures have been widely recognized. However, detailed studies based on empirical data are rare. In this paper, we analyze the fault and failure data from two large, real-world case studies. Specifically, we explore: 1) the localization of faults that lead to individual software failures and 2) the distribution of different types of software faults. Our results show that individual failures are often caused by multiple faults spread throughout the system. This observation is important since it does not support several heuristics and assumptions used in the past. In addition, it clearly indicates that finding and fixing faults that lead to such software failures in large, complex systems are often difficult and challenging tasks despite the advances in software development. Our results also show that requirement faults, coding faults, and data problems are the three most common types of software faults. Furthermore, these results show that contrary to the popular belief, a significant percentage of failures are linked to late life cycle activities. Another important aspect of our work is that we conduct intra- and interproject comparisons, as well as comparisons with the findings from related studies. The consistency of several main trends across software systems in this paper and several related research efforts suggests that these trends are likely to be intrinsic characteristics of software faults and failures rather than project specific.     

用VB实现测井曲线的分形插值

分形几何是一门新兴边缘学科,它是研究自然界中不规则、复杂现象的强有力工具。通过对分形的维数、几何特征、迭代函数系进行初步探索和研究,建立了油井测井曲线的分形插值函数和分数维,并用Visual Basic语言实现了油井测井曲线的分形插值,有效提高了测井曲线的分辨率。     

Human-like fault diagnosis using a neural network implementation of plausibility and relevance

In real systems, fault diagnosis is performed by a human diagnostician, and it encounters complex knowledge associations, both for normal and faulty behaviour of the target system. The human diagnostician relies on deep knowledge about the structure and the behaviour of the system, along with shallow knowledge on fault-to-manifestation patterns acquired from practice. This paper proposes a general approach to embed deep and shallow knowledge in neural network models for fault diagnosis by abduction, using neural sites for logical aggregation of manifestations and faults. All types of abduction problems were considered. The abduction proceeds by plausibility and relevance criteria multiply applied. The neural network implements plausibility by feed-forward links between manifestations and faults, and relevance by competition links between faults. Abduction by plausibility and relevance is also used for decision on the next best test along the diagnostic refinement. A case study on an installation in a rolling mill plant is presented.     

部分扇形区域极点配置的可靠控制

针对线性定常系统,采用连续增益故障模型提出了考虑执行器故障的部分扇形区域极点配置的可靠控制问题.当系统发生故障时,正常控制的闭环系统极点可能跳出所给定的复平面区域,而可靠控制的闭环系统仍然保持极点在指定的区域内。本文利用线性矩阵不等式(LMI)给出了部分扇形区域极点配置的可靠控制器存在的充分条件。研究成果的仿真,不仅验证所提出方法的可行性;而且比较了部分扇形区域极点配置正常控制器和可靠控制器的控制效果。进一步看出对系统进行可靠极点配置的必要性。     

Fault diagnosis of power electronic system based on fault gradation and neural network group

We propose a new fault diagnosis approach with fault gradation using BP (back-propagation) neural network group consisting of 3 sub BP neural networks. According to the hazard extents and the occurrence frequencies of different faults, the faults are divided into different grades. The higher the fault grade, the larger the number of the used sub neural networks is. Experimental results show that our approach makes the correctness rate of the fault diagnosis rise greatly (from less than 95.0% to 99.5%) and the performance of the whole fault diagnosis system gets much better especially for the on-line complex systems. The approach proposed in this paper also can be extended to other complex fault diagnosis systems, such as mechanical systems.