通用数采监控系统数据集成设计与实现

针对目前数采监控系统缺乏统一的数据共享集成模式问题,提出了一种可对不同数采监控系统进行统一管理的数据共享集成方案。该方案构建了一种异构数据协议模型,通过配置的方式生成不同数采系统的数据协议格式,并能将任意自定制协议进行动态注册或撤消。通过对各采集系统发送的数据进行实时协议识别、数据解析、数据分发与监控显示等处理,实现异构采集数据的共享集成和集中监控。     

大规模卫星遥感数据资源目录技术研究

当前多源异构的遥感数据在共享方面存在着数据组织差异、数据检索效率低等问题。制定规范化的遥感数据资源目录是大规模遥感数据管理和共享的基础。NASA的统一元数据模型UMM提供了权威的数据映射标准。论文首先基于UMM构建遥感元数据集成模型,并统一遥感元数据的接入规范。设计并实现了基于Elasticsearch的海量遥感数据检索技术,有效解决了多源异构情况下遥感数据资源目录检索效率低下的问题。     

基于电力企业大数据环境下的数据治理研究

随着大数据技术的不断成熟,大数据环境下数据治理工作对企业数据资产管理提出更高的要求。大数据时代,数据即为资产,且数据呈现出新的特点,即需要处理的数据量更大,需要处理的数据种类更多,数据产生和变化的速度更快。电网大数据具有多样性、一源共享、多源多标准、业务连动性等特点,如何针对全局数据的可用性、完整性、安全性和可用性进行全面管理,利用电网海量生产、运行数据从而产生实际的应用价值并且使得结构化和非结构化的信息价值最大化,已成为迫切需要解决的问题。本文针对数据分析问题,设计并实现一种完善的大数据调度管理平台,来满足可扩展的、分布式的、支持异构分析工具的、面向服务的大数据的要求,加快数据分析速度,为企业管理提供更好的服务。     

大数据环境下多源异构数据的访问控制模型

大数据平台具有开放性和共享性，但随着数据量不断增加且用户访问上下文环境复杂多变，RBAC模型难以满足大数据环境下细粒度、灵活的访问控制。针对这一问题，提出了大数据平台下多源异构数据的访问控制模型。该模型根据属性动态地确定角色权限，并构建基于数据组的层次结构，实现数据属性的简单管理。对该模型进行了形式化定义，阐述了在 Hadoop 平台中的实现和工作流程，并通过实验验证了所提方案的性能开销相对较小。     

基于Hadoop和HBase的输变电设备数据聚合平台

输变电设备在运行中将产生大量的多态、异构数据,导致在数据集成和利用过程中出现信息孤岛问题,无法实现不同数据源内的数据信息共享互换。如何可靠获取、同步处理并对这些数据信息充分挖掘给电力系统中信息系统的建设及运行维护带来巨大压力。采用本体技术对多源异构数据进行聚合,可以向用户提供更具针对性的信息。针对电网中输变电设备全景信息数据的多源性、多态性、异构性,本文提出了基于Hadoop和HBase的输变电设备大数据聚合平台方案,搭载改进混合本体聚合方法,并设计了Map/Reduce分布式查询和推理流程。该平台采用标准化和开放性建模语言,屏蔽底层异构数据源,具有良好的可扩展性,可用于解决输变电设备数据信息的非结构化、共享性差、难以处理等问题。     

基于XML的.NET通用数据访问模型的研究

.NET的数据访问模型利用通用数据接口,实现对异构数据库的管理和数据存储。但是,它缺乏对文件系统的集成,不能实现完全的信息共享。该模型实现文件系统和异构数据库系统的集成,在一定程度上能解决这一问题。     

异构数据库集成中间件的研究与实现

为了解决企业网络环境中异构数据库的数据集成和共享问题,重点研究了如何利用XML技术屏蔽数据库间的异构数据难题.提出了基于XML和中间件的集成异构数据库数据源的框架模型,该模型主要实现两部分的功能:数据库信息映射字典的生成和中间件系统查询的运行.中间件系统以XML作为数据交换的中介,提出了关系数据库数据与XML文档相互转换的方法,实现了用户对异构数据库数据的透明化共享.该模型适合企业信息化建设的需要.     

智能电网监控运行大数据分析系统统一建模方法研究

随着电网监控运行一体化运行趋势愈发明显,大数据技术应用的不断成熟、普及,为具有多源、高维、异构等特征的电网监控大数据的分析与应用提供了解决方案。本文提出了面向智能电网监控运行大数据分析系统的统一建模方法,分析了监控大数据的数据源、数据范围及现状与存在问题,指出了数据建模所需解决的问题与思路,采用元数据思想构建了公共模型,基于业务需要构建了应用模型,对于数据接入与存储管理方面,定义了元数据模型,其目的是在接入、汇总监控业务相关数据源的基础上,构建以设备为中心的监控数据关联模型,实现数据对象统一建模,为实现多源数据高效、规范接入提供了模型支撑,同时定义了符合该建模思路的元模型,元模型约束了建模行为,保证建立的模型遵行领域约束,为上层智能监控大数据分析应用奠定了基础。     

多源异构空间数据集成在海洋地学中的研究与应用

针对海洋地学中大量出现的多源异构空间数据,本着实现数据融合、共享的目的,最终达到节省人力、物力的目标,本文介绍了海洋地学中多源异构空间数据产生的缘由以及各种集成方法,最后笔者通过对FME软件的研究成功地实现了实例数据间的集成融合。     

智能健康管理多源异构数据融合体系与方法

针对智能健康管理中对信息集成的要求,深入分析信息资源的异构特性,对基于多级多中心的多源异构数据融合方法进行研究,提出智能健康管理中多源异构数据的融合树体系结构,并介绍融合系统的设计、融合节点的组成以及具体的融合算法。对所采集的健康数据进行仿真测试,实验证明该体系可以获得较好的融合效果,实现对信息的有效集成,使管理效果更加优化。     

大数据平台在高校智慧校园建设中的应用

大学智慧校园的数据往往分散在不同系统建立的数据库中,这就导致数据交换和共享的处理需求迅速增加,需要构建一个相对集中的大数据平台进行异构数据集成。文章对高校智慧校园构建的异构数据库数据集成框架进行分析,设计形成了一个集中式异构数据集成平台,为高校校园数据共享和互联互通的建设提供技术参考。     

基于异构服务的水资源遥感监测平台设计与实现

遥感监测是获取水资源信息的重要手段,但是水资源遥感监测数据的多源化及算法和服务异构化的特点,使得数据及应用共享不足等问题日渐突出。为解决数据和算法的多源集成管理问题,研究建立基于异构服务的水资源遥感监测平台,以充分利用各类水资源数据及服务。主要通过 KVM 实现底层资源虚拟化,为数据体量及异构等问题提供解决思路;通过分布式文件存储系统及数据立方体实现水资源数据的高效存储与高性能处理; 利用异构服务一体化封装等技术实现服务的共享。水资源遥感监测平台结合各级部门共享的水资源遥感监测及统计数据,以自下向上的基础设施层、数据层、应用层及用户层 4 层结构,实现我国水资源遥感监测数据及异构服务的共享交换等功能,对我国水资源的实时监控和管理有积极作用。     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

数据资源服务化技术的研究与实现

为解决网络环境下分布式异构数据资源集成共享面临的资源成长性、用户不确定性问题,实现企业内部、跨企业的数据集成共享.文中依据面向服务的思想,采用SDO技术构建通用数据访问模型,并结合Web服务技术实现数据资源的服务化封装,提出了数据资源服务化的概念模理,建立灵活、敏捷的数据资源集成共享机制,最后提出了数据资源服务化的总体集成架构,列出了一次执行流程,验证了其可行性和松耦合性,能够很好地满足分布式异构环境的企业数据资源集成需求.     

多源异构数据库的集成的研究

本文简要介绍了在大型企业中普遍存在的多源异构数据库状况,及几种行之有效的数据集成方法,同时以一种用对照表完成结构差异较大的数据库数据转化方法为例,详细阐述了多源异构数据库数据转化和共享的思路。     

多源异构数据库的集成的研究

本文简要介绍了在大型企业中普遍存在的多源异构数据库状况．及几种行之有效的数据集成方法,同时以一种用对照表完成结构差异较大的数据库数据转化方法为例．详细阐述了多源异构数据库数据转化和共享的思路。     

基于Duckling应用集成框架的数据集成与共享工具DLM

虚拟科研应用环境中多源异构数据的集成和共享问题是个热点问题。本文基于虚拟科研环境协同工作套件duckling应用集成框架,实现了一个通用的数据集成与共享工具DLM。该工具使用Portlet技术,是BS架构的Web应用,提供通用的数据采集、数据处理、数据可视化展示和数据下载功能,解决了虚拟科研环境中数据的统一采集、处理和共享问题。该工具已经在大气、气象和生物等相关领域中的课题研究中得到了应用,取得了初步的成效。     

基于GML的多源异构空间数据集成研究

深入分析了数据格式转换、直接数据访问和数据互操作3种数据集成模式,描述了一个基于GML数据互操作模式的、多源异构空间数据集成模型,并分析了模型的运行机制和关键技术.该模型通过使用相应的GML转换接口把分布式异构空间数据源转化为统一的GML格式文档,通过集成引擎和相应的集成规则对异构空间数据进行有效的集成,实现数据共享的目的.     

面向复杂产品的异构数据集成模型研究*

为解决动态联盟环境下的复杂产品异构数据集成,针对传统集成技术存在的问题,在对Web服务等相关技术进行分析的基础上,提出了基于Web服务的复杂产品异构数据集成平台层次模型。研究了相关的关键技术,重点论述了企业产品设计集成机制和产品共享数据转换模型。最后结合某项目实例,进行了系统实现,为实现应用软件集成与设计资源共享提供了有效的解决方案。     

基于本体的异构数据集成的研究

随着计算机技术的发展,很多企业内部实现了信息的计算机管理,积累了大量的数据.这些数据存在异构现象,相互之间难以集成和共享.传统的数据集成方法已经不能适应企业获取信息的需求,迫切需要一种新的数据集成系统.在XML技术基础上,提出一种基于本体的异构数据集成系统,用来解决数据源之间的语义异构问题.给出一种基于本体的异构数据集成的系统结构,对关键技术问题进行了研究,指出了系统今后研究的方向.