基于Spark框架的FP-Growth大数据频繁项集挖掘算法

针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标识符垂直排列,以此解决扫描整个数据集的缺陷。然后,通过FP-Growth算法构建频繁模式树,并生成频繁1-项集。接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸。最后,通过迭代过程来生成频繁 -项集。在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性。     

高校学生学习成绩预警系统设计与实现

学生的学习质量是高校人才培养方案中的一个重要环节。现阶段,考试仍是较为公平衡量学生学习能力的手段之一,学习成绩的高低基本可以作为学校办学质量和检验学生学习成果的主要依据。学习成绩预警系统通过深入挖掘、筛选、分析学生关联课程历史成绩,生成学生学习状态与学习行为,对存在异常的学生进行预警,提高教育管理水平与学生学习质量。     

考虑换流站海量事件的关联规则挖掘分析方法

为提高换流站运维人员面对海量生成事件的分析能力,提出一种考虑换流站海量事件的关联规则挖掘分析方法。首先,利用原始事件元组特性进行记录事件与响应日志的实体特征筛选,并进行换流站实体特征的布尔映射与关联挖掘建模。然后,利用互信息(MI)原理与对称不确定性(SU)理论改进FP-Growth算法。最后,基于改进算法进行换流站事件关联分析,进而基于关联规则结果进行换流站异常反馈。通过挖掘昆柳龙直流换流站调试期间海量生成事件,表明所提出的方法可以有效地从海量事件中提取判断特征与结果特征的强关联规则,及时发现换流站的设备异常动作,并为运维分析提供决策支撑。     

基于Android平台的图书阅读推荐系统

随着移动互联网技术的发展,通过手机进行阅读已经成为人们的一种生活习惯。为了帮助读者在成千上万的“书海”中找到自己喜欢的图书,提出将经典的频繁项集挖掘算法FP-Growth应用到图书推荐系统中。算法根据读者的历史阅读记录,挖掘频繁出现的图书阅读组合,提取满足最小支持度和最小置信度阈值的强关联性规则,并根据关联规则进行图书智能推荐。实例证明该系统能够为读者提供快速、准确的智能推荐服务。     

云制造环境下基于动态服务编排的产品配置研究

针对云制造环境下的产品配置需求,提出一种云制造服务标准化建模方法.利用本体技术对云制造服务进行标准化建模,基于加权FP-Growth算法实现云制造服务目录的动态聚合完善;提出一种基于相似度聚类算法的制造需求动态编排及制造批次重组方法;以履带式液压挖掘机的产品配置为实例,展示了云制造服务目录的动态构建及制造需求重组过程,对相关技术方法的有效性进行了初步论证.     

电网企业信息运维故障诊断模型的研究与应用

电力行业信息化已然成为新时代之大势所趋,对于电力调度运维中心来说,如何确保信息系统各种软硬件资源的正常运行是一个值得研究的重要问题。文章充分利用运维监管方法,提出一种基于FP-Growth关联规则算法的电网企业信息运维故障诊断模型。首先对电网信息系统运维监管模式进行了构建,根据电力企业规程和运维人员的实际经验制定了一系列运维指标。然后在此基础之上详细设计了信息运维故障诊断模型,分析在不同指标违规的情况下诊断推理的过程,并将其应用到实际运行的电网企业信息系统实时监管平台(ISRMP)中。最后介绍了某省电力有限公司信息通信公司ISRMP的初步实践。     

基于聚类分析的关联规则挖掘方法

从数据集中挖掘数据间的相互关系及其关联规则是数据挖掘研究领域的核心内容之一,为了挖掘实体表现出的数据特征与实体具备因素间的关系,提出了一种挖掘方法.先采用聚类分析的方法对实体的数据进行了聚类,再通过关联分析的方法分析聚类簇中实体的因素,继而得出实体具备的因素与实体数据间的相互影响及其关联规则.通过该方法分析了学生具有的因素对学生学习成绩的影响,分析结果表明了方法的可行性.     

融合实时因素的短期电力负荷预测方法

短期负荷预测对于电力系统安全经济运行有着重要的作用,支持向量机现已成功地应用在电力预测领域。提出一种基于实时气象因素的样本选择策略,首先利用日气象特征向量缩小样本集,然后基于实时气象因素利用FP-Growth算法选择与预测日相似的训练样本,最后建立支持向量机预测模型。最后通过实验表明,经过样本选择所建立起来的预测模型具有较高的预测精度。     

基于关联规则挖掘的未知协议特征提取方法

在日益激烈的通信对抗中,未知协议的分析与识别占据着越来越重要的位置.传统的协议分析主要是针对已知协议类型条件下,对互联网数据传输过程中产生的大量比特流,单纯采用模式匹配方式进行特征序列提取,效率较低.针对这一问题,以更普遍的通信数据流作为研究对象,采用模式匹配和数据挖掘相结合的方法,对AC多模式识别和FP-Growth算法进行了改进和优化,提高了特征序列提取的准确率和效率.实际数据验证证明改进后算法对未知通信协议具有一定的识别效率.     

一种基于FP-Growth的频繁项目集并行挖掘算法

FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式树,并对之进行挖掘得到局部频繁项目集,然后合并局部频繁项目集以得到全局频繁项集,由于此时得到的结果并不完备,所以对合并后未达到最小支持度阈值的项目集,重新计算其支持数。介绍了FPPM算法的设计思想,测试了其性能。实验结果表明FPPM算法具有较好的可扩展性。