基于大数据分析的城轨列车运行路线追踪研究

传统基于移动闭塞模式下的城轨列车运行路线追踪方法在面向海量人流和车流的情况下,存在延误扩散以及线路运行的恢复能力差等问题。因此,提出基于大数据分析的城轨列车运行路线追踪方法,在Hadoop架构下塑造Map/Reduce并行计算架构的大数据运行方法,通过Map阶段任务配置与分发以及Reduce阶段任务合并与数据存储,对城轨列车运行数据进行学习、分析以及存储,塑造基于极大代数的列车运行计划模型,在分析模型参数的基础上,设计列车运行计划模型的约束条件,得到列车运行计划在极大代数中的线性模型,实现大数据环境下城轨列车运行路线的合理规划。实验结果表明,运用此方法的列车可顺利通行,对客流具有较强的调控性,确保列车均匀稳定地运行。     

基于多维动态创新模型的大学生创新创业体验系统设计与实现

针对校企合作模式下的大学生创新创业若干关键问题,笔者采用多维动态创新模型(MDMI)从多角度定性分析了大学生创新创业活动过程中存在的问题及发展趋势,采用多因素Logistic回归分析定量分析大学生创新创业机制与多影响因素之间的概率型非线性回归关系。设计并实现了基于多维动态创新模型的大学生创新创业体验系统,系统采用Java EE设计框架和Hadoop开发模式,采用ASP.NET语言实现动态Web网页,采用协同过滤技术和支持向量机(SVM)算法进行创新创业个性化推荐和数据挖掘。系统设计完成后,实际运行表明系统整体运行稳定,对促进大学生创新创业活动的开展具有积极意义。     

基于Hadoop大数据平台的人力资源决策技术研究

针对传统人力资源决策技术对海量人力资源数据辨别能力不高,导致决策效果不佳,研究基于Hadoop大数据平台的人力资源决策技术。该技术对海量的企业人力资源数据进行分布式处理,将神经网络下的员工信息按照输入层、隐含层、输出层进行组别划分;根据影响每一数据组数据变化的影响因素建立初选数据集合;通过计算人力资源的熵值离散度设立决策指标,以员工的姓名、部门、历史业绩、往期工作效率等要素作为选择条件;采用决策树分类算法构建决策树,生成人力资源决策分析报表,以此实现人力资源决策技术。实验结果表明:所研究的人力资源决策技术面对海量的人力资源数据,其辨识能力更强,决策结果的完整度达到了98.35%,比传统决策技术高出了21.55%。由此可见,所研究的决策技术性能更优越、更能满足企业当前的发展需求。     

安全管理平台中基于云计算的日志分析系统设计

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP中海量日志查询效率低下的问题,设计基于云计算的SMP日志存储分析系统。基于Hive的任务转化模式,利用Hadoop架构的分布式文件系统和MapReduce并行编程模型,实现海量SMP日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得SMP日志的平均查询效率提高约90%,并能加快SMP集中管控的整体响应速度。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

基于Flink的海量医学图像检索系统设计与实现

医学图像检索是有效利用医学资源的基础，而医学图像的海量性和增量性为图像检索带来了新的挑战和要求。为了提高医学图像检索过程的效率，设计并实现一种基于Flink的海量医学图像检索系统。首先，系统通过Web应用作为用户操作入口，在后端搭建数据平台和业务集群；其次，系统通过HBase对医学图像数据进行分布式存储，利用深度卷积神经网络模型提取医学图像特征；然后，将所提取的医学图像特征数据进行乘积量化编码，并通过HBase进行存储；最后，通过基于Flink的内存计算对接Kafka进行实时图像检索，以及对批量导入图像的特征索引编码。系统在4个节点的服务器上部署分布式集群，使用真实医学图像数据集进行测试，通过在MapReduce和Spark两种不同技术模块下的对比实验表明本系统具有更好的检索效率表现。     

基于分布式文件系统电力大数据存储实现

基于Hadoop存储架构设计了电网非结构化数据管理平台,主要包括存储分析与搜索读取2大模块,整合HDFS、Hbase等存储设备,利用HDFS实现海量数据的快速读写,采用基于ZooKeeper及Solr搭建的开源分布式搜索引擎SolrCloud实现数据检索,提供了高效便捷的智能化管理手段。     

Hadoop在数据挖掘中的应用研究

随着互联网和计算机技术越来越广泛的应用,数据量也在迅速增长,如何在海量数据中快速挖掘到有价值的信息成为数据挖掘研究的重点。本文分析了Hadoop云计算平台,设计了基于Hadoop的数据分析系统,提出了基于MapReduce的K-均值空间聚类算法。