浅析Hadoop 1.0与2.0设计原理

简要介绍了Hadoop发展历史及其版本演进进程;详细阐述了Hadoop 1.0中的HDFS设计理念、架构、读取/写入数据流程和MapReduce架构、任务执行流程,以及Hadoop 1.0功能不足问题;详细阐述了针对Hadoop 1.0功能不足问题,Hadoop 2.0所做的增强功能应对方案,包括NameNode HA方案、HDFS Federation方案和YARN设计原理等。     

基于MapReduce的网络舆情分析系统的设计与实现

设计并实现了一个基于MapReduce的网络舆情分析系统。系统采用HDFS和HBase双存储机制存储数据。通过实验分析与效果比对,选用MMSeg4j为系统进行中文分词。改进了Canopy—Kmeans算法实现文本自动聚类,提高了系统的聚类准确度及效率。目前,该系统已应用于某部队舆情分析系统中,能够实时发现热点话题、准确把握舆情趋势,为应对舆论危机、制定舆论政策提供了科学系统的信息支持。     

基于Hadoop的运营商流量经营分析系统建设方案浅探

随着移动互联网的快速发展,运营商的核心战略转向以智能管道为基础的流量经营。本文在对Hadoop平台和流量经营分析系统进行分析的基础上,提出了一种基于Hadoop平台的流量经营分析系统实现方案,以期有助于提升运营商的流量内容研究能力和智能营销支持能力,避免“量收剪刀差”的不断拉大。     

一种安全性的海量数据处理平台设计与实现

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以Map Reduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。     

大数据:内涵、技术体系与展望

随着复杂系统测试、试验和状态监测产生的数据呈级数增长,大数据逐渐成为各种工业领域的研究热点。为此,从大数据定义、产生、特性的角度阐述大数据的内涵,重点强调大数据产生三要素的彻底变革,并按照大数据处理流程——产生、存储、预处理、分析及挖掘、呈现,归纳得出大数据处理的通用技术体系,分析了技术体系中各环节技术的发展现状。最后,从数据科学、工业4.0以及信息物理系统的角度,阐述大数据发展的趋势,并分析了大数据发展的挑战。     

基于Hadoop的同步相量数据处理平台性能分析

智能电网的发展必然带来骤增的数据量,对其进行实时分析和控制的难度也随之增加。对此,电力部门的解决办法是使用同步相量测量单元(PMU)和GPS实现实时测量与定位,从而实现全网数据的同步性。但PMU的数量随着智能电网的发展不断增长,其数据量的复杂程度以及增长速度是进行实时分析和控制时所面临的一大挑战,使用传统的关系数据库技术处理有很大难度。文章针对智能电网的大数据进行了分析,提出了一种基于Hadoop的智能电网同步相量数据分析的新框架,实现了分布式并行分析大规模的同步相量数据集,并利用Map Reduce对Hadoop的2个性能指标进行测试,通过并行计算节点分析验证了该框架的有效性。     

基于用电信息采集大数据的公变负载状态评估

配电网公用变压器(以下简称"公变")是电力系统中数量庞大且又关键的设备,由于电力需求波动等条件影响,其负载情况变化较大。为能够快速地对公变的负载状态进行准确评价,文中介绍了基于Hadoop CDH的大数据分析平台,基于用电信息采集大数据提出了公变负载状态的评估方法。此方法在合理运用综合评价法的同时,通过历史统计数据确定模糊判断矩阵进而求解权重,克服了主观因素的影响,在评估公变重过载、轻空载、负载波动状态的基础上,进行变权重加权求和,最终确定公变的负载状态。此方法计算结果合理,过程清晰,在公变精准投资、运行监控检修、投资后评估等方面具有重要的辅助决策作用。     

New Spam Filtering Method with Hadoop Tuning-Based MapReduce Naïve Bayes

As the importance of email increases, the amount of malicious email is also increasing, so the need for malicious email filtering is growing. Since it is more economical to combine commodity hardware consisting of a medium server or PC with a virtual environment to use as a single server resource and filter malicious email using machine learning techniques, we used a Hadoop MapReduce framework and Naïve Bayes among machine learning methods for malicious email filtering. Naïve Bayes was selected because it is one of the top machine learning methods(Support Vector Machine (SVM), Naïve Bayes, K-Nearest Neighbor(KNN), and Decision Tree) in terms of execution time and accuracy. Malicious email was filtered with MapReduce programming using the Naïve Bayes technique, which is a supervised machine learning method, in a Hadoop framework with optimized performance and also with the Python program technique with the Naïve Bayes technique applied in a bare metal server environment with the Hadoop environment not applied. According to the results of a comparison of the accuracy and predictive error rates of the two methods, the Hadoop MapReduce Naïve Bayes method improved the accuracy of spam and ham email identification 1.11 times and the prediction error rate 14.13 times compared to the non-Hadoop Python Naïve Bayes method.