基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

云平台下海量数据冲击中的可视化调度平台设计

针对当前云平台调度中存在的问题,设计云平台下海量数据冲击中的可视化调度平台,其由海量数据采集模块、云平台模块和可视化调度模块组成。海量数据采集模块中的天线开始对海量数据进行采集和调频,并传递给数字信号处理器进行处理,其处理结果将传递给云平台模块。云平台模块利用Hadoop分布式计算技术,对海量数据采集模块的处理结果进行分析和计算,给出调度方案。调度方案将传递给可视化调度模块进行调度方案的可视化,以及调度工作的具体实施。平台软件对云平台模块中调度方案的产生流程进行设计。实验结果表明,所设计的平台拥有较好的计算性能和调度性能。     

高校后勤智能数据处理平台的设计与实现

传统基于Hadoop的高校后勤数据处理平台无法全面采集远程数据,并且未考虑警告信息缺失对系统故障分析的影响,存在效率差、误差高以及成本高的弊端。文中设计新的高校后勤智能化数据处理平台,平台整体架构包括展现层、应用层、服务层和数据资源层。平台通过数据采集现场控制子网实现监控中心对计量设备的全面数据采集与控制。平台软件设计维修管理模块工作流程,对高校设施与设备维修等进行管理;设计职工管理模块工作流程,对职工基本信息进行管理;通过信息融合算法保障警告信息缺失时平台对故障设备判断的准确性。实验结果表明:使用所设计平台后高校车辆耗油费用、室内温度、设备维修效率最高值分别为6.69万元、23.4℃和95.6%;误差控制在2.16%～2.54%,表明所设计平台可进行高效的、准确的高校后勤管理,节省后勤开支。     

基于大数据的移动用户行为分析系统与应用案例

本系统基于Hadoop架构采集运营商网络侧产生的大数据,并对数据进行深度加工,挖掘其中相关的用户行为属性,构建用户行为分析模型,并对具体用户行为应用进行有效探索.针对技术选型、系统实现、数据采集、模型设计与应用案例,完整展示了移动用户行为分析系统的设计思路与实现.     

基于Hadoop的交通信息物理系统大数据架构平台

CPS深度融合了计算、通信、控制技术,实现了对物理世界实体感知、通信、计算和控制过程.TCPS是CPS在交通领域的应用,是新一代智能化交通管理的解决方案.TCPS大数据是交通物理世界实体的感知信息,是所有后续决策制定的基础,是交通智能化管理的关键.本文研究了CPS、TCP以及Hadoop平台的技术原理,分析了TCPS大数据处理的关键问题,提出一种基于Hadoop的交通信息物理系统大数据架构平台的解决方案,设计了基于Hadoop的TCPS大数据平台架构,讨论了基于MapReduce的TCPS大数据挖掘方法和流程,为下一阶段的智能化交通管理系统建设提供技术支持.     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

基于可复用构件思想的ETL架构设计

为了在一类相似或相近的数据仓库系统中共享ETL过程,以提高数据仓库构建的效率,提出基于可复用构件思想的ETL架构,介绍10家银联省级分公司统计分析系统ETL构件识别过程,探讨了基于已识别构件设计可重用ETL架构的方法,在实际应用中,该架构大幅度地提高了银联统计分析系统数据仓库构件的效率和质量,表明这种基于可复用构件思想的ETL架构是有效的.     

基于Kettle的医院多源异构数据采集应用案例分析

通过分析医院信息化建设中的多源异构数据采集上报问题。利用开源ETL工具Kettle,将医院需要上报数据定时抽取、转换到DMZ区前置服务器,再通过VPN传输到上报平台。通过实际案例分析可以看出,在医院数据采集和上报工作中,Kettle不仅可以支持关系型数据库Oracle、SQL Server、MySQL等,还能很好地支持后关系型数据库Caché。Kettle友好的用户图形界面化操作、高效稳定的数据处理功能、多源异构数据采集功能等可以优化医院数据采集流程,提高医院各种数据的上报效率。     

ETL应用优化设计与实现研究

分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值.     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

High-performance and high-concurrency encryption scheme for Hadoop platform

To address the problem that as preventing data leakage on Hadoop platform,the existing encryption schemes suffer from several problems (e.g.,single encryption algorithm,complicated key management,low encryption performance) and they cannot protect data stored in Hadoop effectively,a high-performance encryption and key management scheme for Hadoop was proposed.Firstly,a three-level key management system was extended with the domestic commercial cipher algorithm.Then,a new data structure for encryption zone key to reduce time consumption was designed.Finally,the computing process of data stream in parallel was scheduled.The experimental results show that compared with the existing Hadoop schemes,the proposed scheme can improve the efficiency of key management,and can speed up file encryption.     

Job schedulers for Big data processing in Hadoop environment: testing real-life schedulers using benchmark programs

At present, big data is very popular, because it has proved to be much successful in many fields such as social media, E-commerce transactions, etc. Big data describes the tools and technologies needed to capture, manage, store, distribute, and analyze petabyte or larger-sized datasets having different structures with high speed. Big data can be structured, unstructured, or semi structured. Hadoop is an open source framework that is used to process large amounts of data in an inexpensive and efficient way, and job scheduling is a key factor for achieving high performance in big data processing. This paper gives an overview of big data and highlights the problems and challenges in big data. It then highlights Hadoop Distributed File System (HDFS), Hadoop MapReduce, and various parameters that affect the performance of job scheduling algorithms in big data such as Job Tracker, Task Tracker, Name Node, Data Node, etc. The primary purpose of this paper is to present a comparative study of job scheduling algorithms along with their experimental results in Hadoop environment. In addition, this paper describes the advantages, disadvantages, features, and drawbacks of various Hadoop job schedulers such as FIFO, Fair, capacity, Deadline Constraints, Delay, LATE, Resource Aware, etc, and provides a comparative study among these schedulers.     

基于Hadoop的石油大数据平台设计

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经...     

基于大数据技术的交通监管一体化管理与资源调度优化

文中主要探讨了大数据在交通监管一体化管理与资源调度优化中的应用、挑战、未来发展前景。首先，大数据在交通流量预测、事件监控和规则违章行为分析中起到了重要作用，能帮助决策者更有效地管理交通，提高交通效率和安全性。其次，分析了大数据在车辆调度优化、路网优化和公共交通优化中的应用，其通过精细化的管理和服务，提高了交通系统的效率和服务质量。然而，大数据在交通管理中的应用也面临着数据质量、数据安全、隐私保护等挑战。在实际应用中，需要充分考虑并采取有效的措施来解决这些问题。尽管存在一定的挑战，但大数据在交通管理中的应用前景仍然十分广阔。通过对大数据的深度分析，不仅可以提高交通管理的效率，还可以提高交通服务的质量，为乘客提供更加个性化的服务。     

数字化医院网络平台建设研究

数字化医院是我国现代医疗发展的趋势,是医院业务软件、数字化医疗设备、网络平台组成的三位一体的综合信息系统,可以有效实现医院资源整合、流程优化,进一步提高医疗服务质量、工作效率和管理水平,而网络平台是数字化医院建设中重要组成部分和通信链路支撑。文章通过研究数字化医院数据流量模型特征,分析医院网络架构要求,引入基于网络虚拟化的新型网络系统和安全域策略,实现网络资源的灵活调度,更好的适应未来数字医疗领域的多业务发展。     

基于Kudu的大数据平台实时业务处理能力提升方案

针对目前Hadoop大数据平台实时业务处理能力较差的难点，研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论，阐述了利用Kudu和Spark提供的主键索引和内存加速，有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。     

运营商省级大数据体系建设方案研究

运营商大数据体系建设是适应运营转型,对内提升运营效率,对外拓展市场的重要举措;虽然运营商已有较长的数据管理经验,但大数据体系建设还处在初级阶段;因此,在体系建立过程中,不仅要关注IT平台建设和数据的统一融合,还要有配套的大数据运营管理手段;本文结合现阶段建设需求,给出了省级大数据系统建设的技术方案和运营演进思路。