基于增量式挖掘算法的电力通信网告警关联分析

电力通信网络管理系统每天都会产生大量的告警信息,给实时网络监控和故障管理带来很大困难.告警关联分析是网络故障诊断中的重要任务,对通信网络的管理和维护具有十分重要的意义.序列模式挖掘作为一种时序数据分析的有效手段,能自动从告警中提取有助于关联分析的情景规则.研究了告警序列模式挖掘算法,并根据网络告警数据的增量式特征,在传统序列模式挖掘算法的基础上,为提高告警教据挖掘效率,提出了一种改变时间窗的增量式挖掘算法.通过实验证明了它的优越性.     

基于序列模式挖掘的网管告警系统

告警关联分析是网络故障管理中的一个难点,传统方法由于需要引入大量的先验知识而难以适应网络复杂多变的情况.序列模式挖掘作为一种时序数据分析的有效手段,能够自动从告警中提取出有助于关联分析的情景规则.本文首先介绍了与情景规则有关的一些基本概念,然后讨论了挖掘情景规则的常用算法,进而提出了基于序列模式挖掘的告警关联分析的网管系统模型,并实现了一个简单的原型系统,实验证明该系统能够从海量告警中提取出有助于关联分析的情景规则.     

基于FP-tree的项约束关联规则挖掘算法研究

介绍了项约束关联规则的基本概念和技术现状,详细分析了FP-tree关联规则算法的关键技术。对FPC、CMFIMA、CCFP、DCMFI和CMFI五种基于FP-tree的项约束关联规则算法思想及技术进行分析和评价,通过比较,给出各算法的优点和不足,最后介绍了基于FP-tree项约束关联规则的应用,并展望了FP-tree项约束关联规则挖掘未来的研究方向,为基于FP-tree的项约束关联规则技术的研究与发展提供参考。     

逆向索引FP-tree挖掘频繁项集

在对逆向FP-tree的研究基础上提出了逆向索引FP-tree挖掘频繁项集的算法。该算法构造了逆向索引FP-tree,通过寻找扩展频繁项集与合并第一棵子树的方法挖掘频繁项集,给出了逆向索引FP-tree的性质和挖掘算法。     

一种电信告警关联规则的改进算法

本文提出了一种基于矩阵运算挖掘告警关联规则的算法。该方法解决了以往WINEPI算法中需要多次扫描数据库的问题，其思路是首先将告警数据库转化为告警关联矩阵，然后对矩阵进行运算，得到告警间的关联规则。实验证明，该方法的执行效率与WINEPI相比有明显提高。     

基于告警事件特征的网络攻击行为实时预警研究

针对当前网络告警数据误报率过高以及新型网络攻击行为难以预测的问题,本文提出基于告警事件特征的网络攻击行为预测方法：首先通过FP_tree树挖掘告警事件属性间的强关联规则,如果挖掘得到的频繁项与正常网络的访问事件属性频繁项相关,则剔除虚假告警事件;接着,采用序列模式算法挖掘正确告警事件的序列关系,如果该序列与某种网络攻击行为序列相关,则形成网络攻击的事件组合规则,实现网络攻击行为的有效预警。通过相关的实验过程和结果分析,表明本文提出的方法能够有效、实时预警网络的攻击行为,具有一定的应用性和扩展性。     

基于小波神经网络的告警信息相关性挖掘策略

针对现有告警信息相关性分析方法没有客观全面考虑各告警的重要程度,无法体现告警之间个体差异性等问题,该文提出一种基于小波神经网络的加权关联规则告警挖掘算法。综合告警级别、告警类型以及告警设备类型3个主要告警属性,将其作为小波神经网络的输入,通过对历史样本数据的学习确定连接权值,合理地评估各个告警属性重要程度,利用所得权值向量进一步挖掘告警加权关联规则。结果表明所提算法在权值确定时能够综合考虑告警信息的多个属性及历史经验,得到的权值更能合理地反映告警重要度,所得关联规则能够更加准确地反映告警之间的相关性。     

一种基于神经网络的alarm2vec告警压缩算法

告警压缩是在网络故障告警的相关性分析中,发现告警间的关联性,从而减少告警数量,获取有用信息,根据已建立的告警知识库快速准确地对其进行分析推理,获取根源故障,从而确定网络设备或网络功能故障,完成故障定位。针对该场景,提出了一种基于神经网络的alarm2vec算法,并结合极大团图挖掘告警间的关联规则,实际网络告警数据实验结果表明,该方法相对原始数据,实现39.85%的告警压缩率,对告警数据信息进行了有效压缩。     

基于机器学习的安全态势预测方法

针对现有方法对告警数据特征学习能力不足进而导致网络安全态势评估准确率不高的问题,提出了一种基于机器学习的安全态势预测方法。该方法在分析告警序列数据的时序性关联的基础上,采用注意力机制对不同的时间特征分配不同的注意力权重矩阵后,实现告警数据频繁项集的有机融合。仿真表明,该方法能够保证时空特征学习的一致性,有效避免由于虚假告警所引致故障类型判断错误的问题,具有一定的应用价值。     

基于加权关联模式的通信网告警相关性分析

加权关联规则挖掘是告警相关性分析的重要手段.本文引入了比例加权支持度的概念,提出了一种基于加权关联模式树的加权关联模式挖掘算法.实验表明,本算法与MINWAL(O)算法相比,时间效率有了明显提高,节约了存储空间,告警相关性分析的准确性也得到了提高.     

A LFP-tree based method for association rules mining in telecommunication alarm correlation analysis

The mining of association rules is one of the primary methods used in telecommunication alarm correlation analysis,of which the alarm databases are very large.The efficiency of the algorithms plays an important role in tackling with large datasets. The classical frequent pattern growth(FP-growth) algorithm can produce a large number of conditional pattern trees which made it difficult to mine association rules in are telecommunication environment.In this paper,an algorithm based on layered frequent pattern tree(LFP-tree) is proposed for mining frequent patterns. Efficiency of this alagorithm is achieved with following techniques:1) All the frequent patterns are condensed into a layered structure,which can save memory time but also be very useful for updating the alarm databases.2) Each alarm item can be viewed as a triple,in which t is a Boolean vaviable that shows the item frequent or not.3) Deleting infrequent items with dynamic pruning can avoid produce conditional pattern sets. Simulation and analysis of algorithm show that it is a valid method with better time and space efficiency,which is adapted to mine association rules in telecommunication alarm correlation analysis.     

一种新的面向普通用户的多值属性关联规则可视化挖掘方法

针对传统关联规则可视化挖掘方法不利于处理多值属性数据、缺乏展现数据间的频繁模式和关联模式以及效率低下等问题,提出了基于KAF因子和CHF因子的Apriori改进算法进行多值属性关联规则挖掘,实现了一种新的基于概念格的多值属性关联规则可视化方法.运用概念格理论对多值属性数据进行了重新定义和分类,建立了较为完整的挖掘过程参数调整策略,方便用户选择关键属性值进行规则挖掘分析,提高了算法运行速度和挖掘效率.以概念格结构将多值数据组织起来,实现了对频繁项集的可视化展示,以及关联规则的多模式可视化展示.实验结果表明,改进后的挖掘算法具有更好的性能,所提出的可视化形式和已有成果相比具有良好的展现效果.     

Mining Frequent Sets Using Fuzzy Multiple-Level Association Rules

At present, most of the association rules algorithms are based on the Boolean attribute and single-level association rules mining. But data of the real world has various types, the multi-level and quantitative attributes are got more and more attention. And the most important step is to mine frequent sets. In this paper, we propose an algorithm that is called fuzzy multiple-level association (FMA) rules to mine frequent sets. It is based on the improved Eclat algorithm that is different to many researchers’ proposed algorithms that used the Apriori algorithm. We analyze quantitative data’s frequent sets by using the fuzzy theory, dividing the hierarchy of concept and softening the boundary of attributes’ values and frequency. In this paper, we use the vertical-style data and the improved Eclat algorithm to describe the proposed method, we use this algorithm to analyze the data of Beijing logistics route. Experiments show that the algorithm has a good performance, it has better effectiveness and high efficiency.     

基于关联规则的电子病历挖掘算法研究与应用

采用了一种改进的关联规则快速挖掘算法——FG算法，该算法不需要查找频繁项集．可直接求出所有的无冗余的关联规则。基于电子病历系统历史数据，建立数据仓库，进行了FG关联规则挖掘算法的实验。结果表明该算法优于其他算法，能提取隐含在电子病历系统中未知的有用的信息，为医疗诊断能提供辅助性的决策。     

关联规则在电子商务推荐系统中的应用

以数据挖掘中的关联规则为基础,深入研究了基于关联规则的个性化推荐技术在电子商务中的应用,提出了电子商务推荐系统的体系结构,并对系统涉及到的关键技术进行了详细的描述.系统采用FP-Growth算法进行关联规则的挖掘,紧紧结合了数据库技术的优势,对当前电子商务系统中大量复杂的数据具有很好的适应性.     

C程序隐式规则自动提取与反例检测

提出一种通用且高效的隐式规则自动提取与反例检测方法,使用频繁闭合项集挖掘技术挖掘包含多种程序元素的编程模式,然后由编程模式产生编程规则;引入正序规则的概念,以避免从同一个编程模式中产生多个冗余规则.在此基础上,提出一种高效的反例检测算法检测违反规则的程序片段.实验结果表明,该方法能够自动提取程序中存在的隐式编程规则,并快速有效地检测违反规则的反例.     

基于数据挖掘的电网故障关联性分析与研究

将数据挖掘技术中的关联规则应用到电网故障分析中,从故障数据中发现分类属性与决策属性间的频繁模式、相关性或因果关系,以便从宏观上把握电网故障元素间的关联特性.讨论了关联规则应用于电网故障分析的体系结构及实现的具体步骤,重点对电网故障关联性分析中的频繁项挖掘算法进行了研究,对传统的Apriori算法进行了改进,提出了一种高效的基于数组的类频繁项集挖掘算法.     

High Utility Itemsets Mining Based on Divide-and-Conquer Strategy

High utility itemsets mining has become a hot research topic in association rules mining. But many algorithms directly mine datasets, and there is a problem on dense datasets, that is, too many itemsets stored in each transaction. In the process of mining association rules, it takes a lot of storage space and affects the running efficiency of the algorithm. In the existing algorithms, there is a lack of efficient itemset mining algorithms for dense datasets. Aiming at this problem, a high utility itemsets mining algorithm based on divide-and-conquer strategy is proposed. Using the improved silhouette coefficient to select the best K-means cluster number, the datasets are divided into many smaller subclasses. Then, the association rules mining is performed by Boolean matrix compression operation on each subclass, and iteratively merge them to get the final mining results. We also analyze the time complexity of our method and Apriori algorithm. Finally, experimental results on several well-known real world datasets are conducted to show that the improved algorithm performs faster and consumes less memory on dense datasets, which can effectively improve the computational efficiency of the algorithm.

     

基于改进序列模式挖掘算法的告警关联模型

在电力故障发生时,会产生大量的电力故障告警信息数据,如何从电力故障告警信息中挖掘出可靠的关联规则,对后续电力的调度运维有着重要的影响。广义序列模式（Generalized Sequential Pattern,GSP）算法通过增加时间上的约束条件提高算法的效率,适合应用于电力故障告警信息挖掘的场景。针对GSP算法中的关键参数多和不同的参数组合影响算法的准确性和可靠性的问题,将遗传算法与GSP算法相结合,自适应地得到一组较好的参数,将参数代入GSP算法,从而得到更加可靠的关联规则,以此来解决在电力故障告警信息应用中很难为不同的数据集找到合适的参数组合的问题。通过实例验证,电力故障告警信息数据应用遗传算法结合GSP算法能够有效地得到更加准确和可靠的计算结果。     

周期性时间序列数据聚类算法的改进研究

聚类分析是时间数据序列分析的一种常用手段,现有的聚类算法通常从相似性度量方面进行改进.实际的时间序列数据往往具有一定的周期性和连续性,现有的算法往往忽略时间序列数据周期性和连续性特点对聚类算法的影响.对此问题进行了研究,尝试采用延拓的方法来解决该问题,从而改善聚类的效果.初步的实验结果表明了该方法的可行性和有效性.