挖掘电信告警关联模式方法

关联模式挖掘算法通常受到最小支持度的限制,仅能得到频繁告警序列间的关联模式,针对这一问题,基于图论思想提出了一种挖掘电信网络告警间关联模式的方法.首先在单遍扫描数据库的条件下挖掘网络中的二项关联模式,然后直接发现其最大关联模式,从而避免大量中间项集的产生. 基于实际网络告警数据的实验结果表明,该方法不仅具有较高的效率,而且有效.     

基于垂直事务关系的快速Apriori算法

针对Apriori算法需要多次扫描数据库的缺陷,提出一种基于垂直事务关系的改进算法XApriori。该方法对原始事务数据库扫描后,采用项集事务垂直对应关系的位集合数据存储结构,并构建逻辑生成候选项集策略,利用数值统计的方法生成候选项集并确定频繁项集,实现关联规则的挖掘。对比实验结果表明,改进算法比Aprior算法关联规则挖掘的效率有所提高。     

一种基于倒排索引的频繁项集挖掘方法

针对频繁项集挖掘算法中多次扫描数据库、生成大量无效频繁项集的问题,提出一种基于倒排索引和二维数组的挖掘算法。通过一次扫描数据库建立包含事务的倒排索引,解决多次扫描数据库的问题。在二维数组存储候选频繁项集时,引入标志位约束,避免产生大量无效的频繁项集。与其他算法在不同规模的数据集上进行性能比较,发现算法在数据集超过25万时执行效率优于其他算法。通过实验验证了所提出算法的高效性和可行性。     

一种基于逆序编码性质的Apriori算法改进

针对目前大多数Apriori改进算法在处理大数据集时所面临的性能瓶紧问题,该文以项集中各项在事务中的概率分布特征为切入点,并在BF-Apriori的逆序编码算法基础上,设计基于逆序转换的模式匹配算法和候选频繁项集生成算法,以提高规则挖掘过程的时间效率.最后,3个子算法构成了该文所提出的Apriori改进算法BF_Adv...     

一种有效的通信网络告警分析方法

以往大多告警分析研究都是假设通信网络中所有告警是平等的,考虑此假设的不合理性,提出了一种加权告警分析方法。首先,根据告警对网络的影响程度,采用熵值法为不同的告警分配不同的权值,并将其转换成适合于数据挖掘的序列数据集;然后,设计了一种加权告警序列模式挖掘算法,并采用了一种新颖的剪枝策略来缩减需要挖掘的数据集大小以提高算法的效率;最后,利用该算法挖掘告警数据中的时序关系。实验结果表明,这种加权告警分析方法在剪枝效果、挖掘重要告警序列模式和执行效率方面具有很好的性能。     

通信网告警相关性分析中有效的关联规则挖掘算法

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,使得在通信网环境下挖掘关联规则的难度非常大。针对上述问题,提出了一种基于分层频繁模式树的LFPTDP算法,采用分层模式树的方法产生频繁项集,从而避免了产生大量的条件模式树,并用动态剪枝的方法删除大量的非频繁项。算法分析及仿真表明,LFPTDP算法具有较好的时间和空间效率,是一种适合于通信网告警相关性分析的关联规则挖掘算法。     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。     

基于Apriori改进算法的入侵检测系统的研究

采用了关联规则中的Apriroi算法挖掘入侵模式建立了一种基于数据挖掘技术的入侵检测系统,实现规则库的自动更新,提高了系统的整体性能.根据Apriroi算法的不足,提出改进算法,提高了扫描入侵数据库过程中的信息获取率,及时剔除超集不是频繁项集的项集,缩减项集的潜在规模,提高了入侵检测规则生成的效率.     

一种分层实现的分布式告警融合算法

在大规模高速网络环境下,分布式入侵检测系统中使用的告警融合算法把底层模块产生的多个简单告警融合生成少量包含更多信息的告警.以减少冗余告警,提高入侵检测的检测效率,降低误报率,最终为管理员提供简练精确的告警.算法通过"聚集--合并--关联"二个步骤,实现了对告警的融合.     

通信网告警加权关联规则挖掘算法的研究

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,加权算法MINWAL (O)则需要多次扫描数据库,使得在通信网环境下挖掘关联规则的难度非常大。该文提出了一种高效的基于加权频繁模式树的通信网告警关联规则挖掘算法,算法性能测试表明,该算法与已有的加权关联规则挖掘算法相比较,节约了大量的存储空间,提高了算法的挖掘速度,对通信网的故障诊断和故障定位有着积极的意义。     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进。在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法。该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则。理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的。     

基于告警属性聚类的攻击场景关联规则挖掘方法研究

针对现有攻击场景重构方法中存在关联规则挖掘不充分、攻击场景链断裂的问题,以及安全设备的误告警影响攻击场景重构准确性的现状,提出一种基于告警属性聚类的攻击场景关联规则挖掘方法。该方法能够有效挖掘攻击场景关联规则,减少攻击链断裂,还原实际的多步攻击,更好地帮助安全管理员深入理解攻击者入侵行为并掌握攻击全貌。以真实网络中的安全设备的原始告警为数据源,首先,对原始告警数据进行预处理,实现告警数据的归一化。然后,通过构建告警时间序列,利用FFT和Pearson相关系数对误告警周期特性进行分析,生成误告警过滤规则。接着,提出一种基于动态时间阈值的告警属性聚类方法,通过告警属性相似性刻画告警间相似度,并根据告警发生的时间间隔结合动态时间阈值方法更新聚类时间,对属于同一攻击场景的告警进行聚类。最后,利用Apriori频繁项挖掘算法生成攻击场景序列模式,并对具有重复攻击步骤的攻击场景序列模式进行融合生成关联规则。在四川大学校园网真实环境中进行实验,结果表明所提方法可有效缓解攻击链断裂问题和误告警的影响,相较于对比方法可有效提升生成的攻击场景关联规则的完整性。     

电信网中基于社区挖掘的用户行为预测算法

利用社会网络分析去解决电信网中的用户行为预测问题,把用户行为预测转换为社区挖掘和社区内用户行为预测2个步骤。之后,利用改进的凝聚层次聚类算法实现了电信网中用户的社区挖掘,通过对社区内的邻近度进行排序,设计了社区内用户行为的预测算法。仿真实验结果表明,该算法能够有效的预测出指定社区中的用户行为。     

数据挖掘技术在高校学生就业指导决策中的运用

高校学生的招生、就业等信息数量庞大，表目繁多，对这些数据有效地进行预处理，并进一步挖掘以获得有利于高校教学管理决策和毕业生就业指导的有用信息，具有重要意义.以沈阳市某高校学生招生就业数据为基础，建立了一个基于学生信息的关联规则挖掘系统，并对其中的Apriori算法进行优化，同时对由频繁项集生成关联规则的算法给予改进，挖掘结果中产生了大量有益信息，通过实际检验，该优化算法能避免大量无意义关联规则的产生并提高挖掘效率.     

关联规则挖掘Apriori算法的研究与改进

关联规则挖掘是数据挖掘领域中的重要研究方向，该文在分析关联规则挖掘Apriori算法原理和性能的基础上，指出了该算法存在着两点不足：扫描事务数据库的次数和连接成高维候选项目集时的比较次数太多。并提出了一种效率更高的S-Apriofi算法，该算法通过采用新的数据结构和原理，克服了传统Apriori算法的缺点，从而大大提高了运算效率。     

一种基于FP-Growth的改进算法

关联规则挖掘由于表达形式简洁、易于解释和理解已成为数据挖掘中的研究热点,对关联规则的研究具有重要的理论价值和现实意义。文章分析频繁项集挖掘算法FP—growth算法,针对算法中存在的效率瓶颈问题,提出了一个改进的挖掘算法。改进后的算法通过投影统计的方法直接得到频繁1-项集的条件模式基,从而减少了FP-growth算法中构造FP—tree和搜索的开销。通过分析,说明改进的算法具有良好的性能。