智慧社保大数据分析平台构建

针对社保业务数据分散、大数据分析能力较低等问题，采用“云结构、积木式架构、容器技术、多级权限设计”构建智慧社保大数据分析平台的整体架构。该平台包含数据交换平台、基础计算平台、流程调度平台、管理分析平台和实时分析平台。采用OGG接口技术获取源系统中的增量数据，通过流程调度服务实现对各层数据和业务工作流的调用和管理。该平台已包括1960万人的基本信息，集成了社保的各项业务和服务，为“最多跑一次”助力。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

计量自动化系统分布式计算和大数据分析技术研究

广东电网省级集中计量自动化系统电能量数据采集范围已覆盖全省4000万以上低压用户，成为超大规模系统，在数据采集、处理、计算、分析等方面，系统将面临巨大的压力。为了提高计量自动化系统电能量数据处理水平，保障业务正常开展，提出一种基于Spark分布式计算框架和Hbase数据库的分布式计算和存储架构，实现海量数据并发入库，提升大数据分析服务能力，更好地支撑计量系统电量分析、负荷计算、停电时间统计、电量质量计算等业务应用。     

大数据平台在机场的建设与应用研究

笔者介绍了一种大数据技术在机场中的应用方法。详细阐述了面对越来越快的业务增长速度和越来越大的数据处理压力,机场如何搭建一个符合机场需求和特点的大数据平台,在功能架构上和技术架构上分别提出了设计方法。大数据平台将会成为机场实现内外部信息共享交换的统一信息交换平台和融合机场生产、管理、服务各业务的数据核心。     

虚拟机和容器超融合试验研究

根据虚拟机和容器两种虚拟化技术的特点,在云平台将两种虚拟技术融合,可以实现弹性伸缩的资源供给,从而以更低的成本、更高的效率支撑业务的发展.从现有虚拟机与容器应用场景出发,分析当前现有的虚拟机与容器融合架构,提出一种新的虚拟机和容器超融合架构,使其具备更佳的资源池复用效果,能够实现资源更加细粒度的监控.该融合技术解决了虚拟机和容器融合的资源管理无法相互感知的问题,实现了融合后的容器编排.通过该架构原型系统的构建与实验,验证了技术可行性.     

基于裸金属架构的容器云框架设计

随着云计算技术的发展，容器云越来越多地被应用实践，Docker+Kubernetes构成的应用运行平台不足以支撑IT基础设施与信息化全生命周期管理的便捷需求，鉴于此，提出以Docker+Kubernetes的容器环境为基础，增加IT基础设施与信息化全生命周期管理的各类组件，设计了基于裸金属架构的容器云框架，指导自主行业容器云平台或是开源云平台开发，为企业级云计算平台发展提供应用路径参考。     

基于SOA的人工影响天气业务平台解决方案

为提高人工影响天气业务系统的服务水平,针对目前系统存在的不足,通过研究面向服务架构(SOA)和WebService技术,提出了基于面向服务架构(SOA)的人影作业综合业务平台解决方案.给出一个采用Web Service技术设计实现的四层结构的面向服务的基础框架,即分为基础数据层、服务提供层、业务应用层、用户表现层.阐述该框架在WebGIS平台上实现方法,验证了方案的可行性.为构建人影业务系统平台提供一种可行且优越的方案.     

面向服务的云数据挖掘引擎的研究

数据挖掘算法处理海量数据时,扩展性受到制约。在商业和科学研究的各个领域,知识发现的过程和需求差异较大,需要有效的机制来设计和运行各种类型的分布式数据挖掘应用。提出了一种面向服务的云数据挖掘引擎的框架CloudDM。不同于基于网格的分布式数据挖掘框架,CloudDM利用开源云计算平台Hadoop处理海量数据的能力,以面向服务的形式支持分布式数据挖掘应用的设计和运行,并描述面向服务的云数据挖掘引擎系统的关键部件和实现技术。依据面向服务的软件体系结构和基于云平台的数据挖掘引擎,可以有效解决海量数据挖掘中的海量数据存储、数据处理和数据挖掘算法互操作性等问题。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

大数据技术在水利统计查询分析系统中的应用

目前水利统计信息系统收录了全国各省市、自治区的农业灌溉、供用水、水土保持、水利建设投资、 农村水电、水文站网等行业数据,这些数据来源渠道广、涉及维度多、信息量级大,传统的数据分析手段已经很难满足水利业务分析的需要。为解决水利统计数据体量大、类型多、分析慢的问题,基于大数据技术提出包含从数据接入到业务应用的架构体系,设计综合展示、空间分析、智能分析及多维分析等功能模块,建立基于大数据技术的水利统计查询分析系统。结果表明：大数据水利统计查询分析系统不仅能够满足水利统计业务分析的需要,而且可以统筹分析不同类别、频率的数据,为水利统计查询分析业务提供平台支撑,同时也为大数据技术应用于其他行业提供参考。     

基于大数据云分析平台的企业经营分析系统建设

针对现有经营分析系统的海量数据存储、海量数据处理及企业业务发展需求,我们设计并构建了基于大数据云分析平台的企业经营分析系统.本文重点介绍了该系统的建设技术路线、总体框架图、系统实现及运行效果.结果证明,该系统能够较好的提高数据综合利用效率,为企业运营提供数据支撑.     

核电企业面向开放架构的大数据平台的研究与应用

本文对核电企业建设大数据平台的背景、建设目标以及预期收益进行分析,阐述了大数据平台架构设计需要遵循的前瞻性、可扩展、开放性、高性能、稳定性、安全性、易维护、实用性、高可用、统一管理等原则。以面向开放为架构设计准则,采用分层架构,详细分析了数据产生层、数据交换层、数据计算层、数据存储层、数据服务层、数据应用层等各个层次所起到的作用以及各个层次所使用到的具体技术方案。文章以基于大数据与机器学习的信函智能分发功能以及基于实时计算的阀门缺陷分类统计这两个案例为例,阐述了大数据技术平台在核电企业实际业务中的应用场景,介绍了各自的详细技术架构和应用效果,说明了大数据技术平台的应用对核电企业所带来的变化与业务收益。     

地税税收业务管理信息系统设计

地税税收业务管理信息系统架构包含了业务架构、应用逻辑架构、应用技术架构3大架构。业务架构主要描述业务模块的分割；应用逻辑架构主要描述了各个子系统的功能和用户的界面；应用技术架构主要描述了一个平台／两个引擎／三层结构。E-BOS平台（一个平台）的引入使得用户能快速调整业务流程、快速改变业务规则、监控业务处理活动。两个引擎（业务过程引擎与业务规则引擎）为业务过程与业务规则的可配奠定了技术。三层结构则是常见的B／S／S结构。     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

国外电力企业大数据需求侧应用分析

针对大数据技术的研究和实际应用,总结了国外企业大数据技术的实际应用现状。在国外企业大数据需求侧管理应用中,介绍了法国电力公司、美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂电力公司四大能源企业大数据技术的应用主题和管理模式。通过上述介绍,在数据平台建设、数据管理和数据分析应用三个方面总结了各类大数据应用的启示,即集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式;统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化;大数据分析应用有两个特点：一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。     

环境评估大数据管理平台初探及技术综述

随着软硬件成本的下降和相关技术的日趋成熟,传统的数据分析和管理方式已不能适应业务发展需求.由于环境保护监测和评估数据符合大数据的特征,因此利用大数据技术构建新的环境评估管理平台已成为可能.本文在通过对环境评估大数据管理平台三层架构以及物理实现方案的阐述,结合弹性扩展、流处理、数据湖、大规模并行处理、机器学习等技术的研究,尝试解决环境评估数据的高速、深入、智能处理问题,从而为业务管理提供更高效率的数据支撑.     

水文信息化思路与总体框架设计探讨

为更有效地推进水文业务的信息化水平,积极利用先进的信息化理念和技术,指导水文行业全面推进信息化建设,提升水文信息化的效能,立足水文业务信息化发展的现状,深入梳理水文业务信息化的建设需求,着眼未来信息技术发展趋势,引入大数据、支撑平台、云计算等新技术新理念,探讨水文信息化发展的基本原则、建设思路和总体框架。研究结果表明：水文信息化要坚持以业务为核心、技术和理念先进、总体规划分步实施的原则,从信息汇聚、数据管理、专业应用和聚焦服务 4 个方面入手,以水文智能感知网为基础、以区域水利信息资源为依托,以水文数据管理和业务应用为重点、以云平台保障体系为支撑,构建智慧水文业务信息系统的总体框架。     

基于大数据、云平台和微服务的水文综合平台建设

随着社会对水文服务需求的不断提高,为解决水文信息化发展的同时出现的水文应用繁多,资源不共享,标准不统一等问题,江西省建设基于大数据、云平台和微服务的水文综合平台。解析水文综合平台实现水文业务数据的一数一源和业务协同集成的脉络,分别阐述大数据平台、云平台和微服务架构技术结合在数据层和平台层的支撑作用;同时在分析应用支撑、水文综合数据库和数据共享、水文微服务、水文综合等平台建设内容的基础上,重点明确水文综合平台建设意义。江西省水文综合平台在11个地级市落地应用表明:“大数据+云平台+微服务”可为江西省水资源管理、水利数据整合、水利系统优化提供关键支撑,为未来水利信息化发展问题解决提供借鉴方案。     

大数据技术在协同场景监控中的应用

跨企业信息集成（协同场景监控平台）作为大数据技术在协同场景监控中的创新应用,是企业对内部信息系统协同业务处理的监控中心。该平台整合海南电网公司内部多个信息系统中的海量协同数据,利用大数据技术进行海量数据的采集、存储、处理和展现,实现跨部门、跨业务域的数据资源流动,同时通过大数据分析的结果设计协同监控指标,快速定位各信息系统业务协同中出现的异常情况,辅助公司各级管理人员了解协同问题整体情况,跟进协同问题闭环处理过程,平台结合实际业务需求,设计开发一系列实用功能,利用平台可智能识别并自动推送的相关协同问题和解决方案,利用平台大数据可视化工具可将数据分析结果以丰富的计算机图形直观地进行展示,有效地提高协同问题解决效率,提升企业精益化管理水平。