基于并行Apriori的物流路径频繁模式研究

传统的频繁路径挖掘分析主要通过关联规则算法实现，但其在处理大型数据集时，会产生占用内存过多，数据处理速度慢等问题，对此提出一种基于Fuzzy [c]-means聚类算法的并行Apriori算法模型。该模型通过Fuzzy [c]-means算法完成对原始数据集的聚类分析，将同一区域的物流路径数据划分到内部相似度较高的数据类，并利用Apriori算法对各数据类中的频繁模式进行挖掘分析，进而获得各区域的物流频繁路径。同时通过Hadoop平台实现算法的并行化，有效提高算法运行效率和质量。通过对物流频繁路径的挖掘分析，使管理者更清楚货物流向，可为配送路径优化等决策提供支持。     

煤矿机电设备运行状态大数据管理平台设计

针对目前煤矿机电设备运行状态数据量大、关系复杂且利用率低的现状，提出了一种基于Hadoop的煤矿机电设备运行状态大数据管理平台，整合企业资源数据和设备状态监测数据，建立适用于煤矿机电设备的大数据专用模型。对高通量数据管理技术、多源数据融合技术、并行化数据处理技术及数据可视化技术进行研究，并结合实际需求对数据管理分析平台的原型进行设计和开发。实验表明，该平台可实现对煤矿机电设备状态大数据的高效管理，为数字矿山的建设奠定了基础。     

云计算Hadoop平台中基于遗传算法的高校师资培训资源管理

为了提高高校教学质量和教学品牌影响力,必须打破单一的培训模式,以多样化资源共享的形式完成高校师资培训。而进行多样化培训资源共享时,高精度的培训资源管理成为目前急需解决的问题。文中深入探讨高校师资培训资源管理问题,建立基于云计算Hadoop平台的高校教育资源网架构,整合各大高校优秀教师培训资源,并采用基于遗传算法的高校师资培训资源调度方法实现高校师资培训资源管理。实验结果表明,所提方法在资源调度精度、资源利用率以及资源管理灵活性方面性能显著,应用价值可观。     

浅谈基于Kerberos 认证机制进行Hadoop平台的安全加固

在数据中心分布式架构部署中，Apache Hadoop 早期版本因其设计过程中对安全设计的缺失，导致在实际应用中数据中心存在安全隐患问题。通过在常见安全问题分析基础上，本文针对性地提出安全管控模型，给出了一种基于Kerberos认证机制进行数据中心加固的解决方案，提高整个数据中心的安全性。     

基于用电信息采集大数据的公变负载状态评估

配电网公用变压器(以下简称"公变")是电力系统中数量庞大且又关键的设备,由于电力需求波动等条件影响,其负载情况变化较大。为能够快速地对公变的负载状态进行准确评价,文中介绍了基于Hadoop CDH的大数据分析平台,基于用电信息采集大数据提出了公变负载状态的评估方法。此方法在合理运用综合评价法的同时,通过历史统计数据确定模糊判断矩阵进而求解权重,克服了主观因素的影响,在评估公变重过载、轻空载、负载波动状态的基础上,进行变权重加权求和,最终确定公变的负载状态。此方法计算结果合理,过程清晰,在公变精准投资、运行监控检修、投资后评估等方面具有重要的辅助决策作用。     

电力设备状态高速采样数据的云存储技术研究

提出基于Hadoop和HBase的电力设备状态高速采样数据的存储方案,基于MapReduce设计实现了设备状态高速采样数据的并行查询方法。创建了1个包含20个节点（每个节点配置4核CPU）的Hadoop集群,并对集群进行了基准测试,测试结果表明所建集群适合进行大量数据的读写。以绝缘子泄漏电流数据为例,使用YCSB对所建存储系统进行了性能测试,测试结果表明,Hadoop和Hbase在存储容量、吞吐量以及查询延迟上提供了足够高的性能,能够满足智能电网状态监测数据可靠性及实时性要求。