分布式异构数据库同步集成的研究与应用

企事业单位拥有众多不同系统,形成信息孤岛,为了更好地利用数据资源,实现数据共享,提出一种基于XML/JAVA的分布式异构数据库同步集成方案,该方案屏蔽了各个异构数据源的操作系统、数据库平台、数据结构等方面的异构性,为系统提供了灵活多变的集成方案.     

面向装备试验数据的融合存储技术研究与应用

针对海量装备试验数据结构复杂、分散存储及检索访问等问题,开展装备试验数据融合存储技术研究。提出了数据源插件技术、分布式采集处理技术、海量数据文件索引技术,实现多源异构试验数据的采集整理、校核验证、入库和多维信息查询,以及图像、视频、文档类数据文件的检入、检出等功能,并保证系统稳定、高效运行,确保数据应用业务可扩展、可发展。该装备试验数据融合存储技术已应用到某装备系统中,为系统试验数据的稳定存储和应用提供了基础支撑,也为多源异构试验数据的融合存储和管理提供了一种解决方案。     

基于异构服务的水资源遥感监测平台设计与实现

遥感监测是获取水资源信息的重要手段,但是水资源遥感监测数据的多源化及算法和服务异构化的特点,使得数据及应用共享不足等问题日渐突出。为解决数据和算法的多源集成管理问题,研究建立基于异构服务的水资源遥感监测平台,以充分利用各类水资源数据及服务。主要通过 KVM 实现底层资源虚拟化,为数据体量及异构等问题提供解决思路;通过分布式文件存储系统及数据立方体实现水资源数据的高效存储与高性能处理; 利用异构服务一体化封装等技术实现服务的共享。水资源遥感监测平台结合各级部门共享的水资源遥感监测及统计数据,以自下向上的基础设施层、数据层、应用层及用户层 4 层结构,实现我国水资源遥感监测数据及异构服务的共享交换等功能,对我国水资源的实时监控和管理有积极作用。     

纺机车间生产大数据平台设计与实现

针对纺织机械制造企业生产加工过程中,车间产生的大数据管理问题,对企业内部数据流和信息流进行整合,结合车间数据特点,建立多源异构数据管理模型。为解决车间大数据存在的集成、传递和共享问题,提出大数据融合架构,构建多源异构大数据集成存储模型,实现大数据的集成与共享。设计并开发了车间大数据管理平台,对生产中的权限进行可重构操作,实现生产权限的管理,对生产流程进行监控,实现可视化监控,在企业实际应用中取得良好成效。     

大数据与网络安全联合实验室在重庆邮电大学建立

正9月26日,大数据与网络安全联合实验室在重庆邮电大学建立。该实验室将实现三大功能:一是开展前沿基础研究与综合性应用研发。开发建设采集平台、大数据应用开发与服务平台,开展海量异构数据模型与存储、大数据智能分析、大数据处理、大数据安全与隐私保护等关键技术研究。二是促进产学研协同创新。联合计算机服务企业、通信运营商、互联网运营商、软件企业、政府部门等共同开展大数     

基于B/S/S架构的主-辅存储模式异构数据库集成系统设计

异构数据库的系统集成是解决分布式异构数据库数据信息共享问题的关键.提出了异构数据库集成系统的设计要求和设计思路,并论述了基于B/S/S架构的主.辅存储模式异构数据库集成系统结构.最后对集成系统的主要特点进行了总结.     

分布式异构数据库集成系统研究与实现

由于历史原因和数据库技术的不断发展,很多部门已经积累并且还会大量积累各种异构数据,其异构性主要表现在数据库类型和数据结构的不同。针对这一问题进行研究,以三峡库区水环境及水文分布式异构数据库为例,在分析水环境和水文数据需求的基础上,构建了水文及水环境数据交换架构和数据共享平台;采用异构多源数据库引擎中间件解决了不同种类数据库之间的数据交换问题;针对大量历史数据的交换问题提供了分批导入数据交换方式;使用数据目录注册的方式使得集成平台的管理和使用便捷通用。本研究的异构多源数据库引擎不仅可以方便地连接目前主流的各种数据库,还基于Web Services技术解决了连接Web数据接口的问题。研究成果可满足不同应用环境的异构数据集成需求。     

国家地籍数据网上汇交系统中的消息传递模型与实现

由于地籍数据的特殊性与安全性,在异构分布式的状态下,不允许在现势地籍数据库中建立数据库对象,因此文章设计了基于Web服务＂拉＂模型建立的客户端/服务器的异构地籍数据网上汇交机制,实现了下级地籍数据向上级服务器的同步,既保证下级地籍数据库的安全与稳定,又保证了系统可以在多种数据库平台环境下部署。     

基于CORBA的跨平台跨数据库通用查询设计

论述某电力部门异构分布式计算机系统集成接口软件数据库查询的解决方案。该方案是一个分布式异构系统跨平台、跨数据库、可扩展和可处理多用户请求的数据库查询的通用解决方案。文章给出了测试结果，为各大型企业的异构分布式计算机系统的数据集成提供一个很好的参考。     

异构信息资源库的构建及其关键技术实现

异构数据资源库的构建及其关键技术已成为系统集成和信息重用技术的重要内容．为了实现异构数据资源库底层信息的集成及共享,针对不同应用系统的异构数据,采用逆序树结构,改进了树型结构的存储方式,以逆序树加层号的方式实现任意层次树状结构的关系数据库存储,提高了数据库存储的树型结构的读取还原速度,解决了快速重建技术;在关系型数据库中,结合树结构设计了基于二进制大对象(BLOB)的相对抽象、通用的数据存储格式;结合基于BLOB存储及树状结构管理的方法,提出了对异构数据的资源组织、资源访问和安全管理等一系列关键技术的实现方案;在此基础上,构建了面向快速设计的网络资源库平台．该平台有效地实现了信息资源的存储、共享、服务和管理功能,提高了信息资源的综合应用水平．     

APP平台下的数据转换与分布式历史数据库的实现

本针对某石化企业技术改造项目中的数据转换与历史数据库部分,介绍了APP平台下的数据转换程序的开发与SQLServer下分布式历史数据库的设计及存储,查询功能的实现以及数据压缩技术在实际开发中的应用。     

数字化小城镇空间元数据服务体系的构建

应用目前成熟、先进的分布式数据存储技术和网络技术整合集成多源异构的信息资源,实现数据共享是“数字化小城镇”建设的一项基础与核心内容。采用目前主流的Web Service技术,提出在分布式异构存储条件下的元数据服务的技术方案,分析了基于Web Service的数据流程,构建了逻辑存储表,定制元数据工具方案。     

异构分布式数据查询系统设计分析

对分布式存储的异构数据源来说,通过LDAP与各数据库的集成能够更好地提高系统的效率。从系统设计、系统模型、LDAP与异构数据库的集成3个方面,对异构分布式数据查询系统的设计进行了分析。     

一种基于网格服务的数据库元数据管理框架

该文主要针对数据网格的分布式异构数据库环境,提出一种基于网格服务来实现数据库元数据采集、存储、查询功能的参考框架。文章讨论了对于异构数据库的元数据,如何实现动/静态信息的管理。通过扩展GlobusToolkit中的MDS(MonitoringandDiscoverService)目录服务模块,使其支持后台关系型数据库,来存储静态元数据,而利用信息采集程序(InformationProvider)来生成动态元数据。整个系统框架建立在网格服务(GridService)基础之上,以网格服务方式提供元数据的访问功能。     

一种基于Ontology的数据集成方法

随着企业的应用系统、数据库系统、企业内部互联网及其互联网上分布式数据信息的爆炸式增长,如何集成数据库、信息系统及其它数据资源,是企业亟待解决的问题。该文主要讨论集成过程中的异构问题,尤其是语义异构问题。分析了利用本体解决语义异构的可能性。最后,该文描述了一种建立数据集成环境下本体的方法。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

面向多源异构数据的云推送平台的研究与应用

在传统推送中,多源异构数据的推送面临时效性不强、安全性不高、数据难以重用等问题。针对多源异构数据的特征,综合移动互联网的安全性和隐私性等特点,提出了一种多维决策云推送模型来计算分布式环境中多源异构数据的特征值和特征向量,以快速分离数据源中的同构数据和异构数据;并基于此模型设计了云推送平台,其利用云推送技术来实现同构数据和异构数据的自动分离和高效推送。根据云推送平台在实验环境中的运行情况及相关指标分析,说明该平台适用于多源异构数据的推送,是一种高效可行的推送方式。     

基于遗传算法的电力输变电工程数据存储框架与数据迁移仿真

由于电力输变电工程数据多源、异构、迭代更新,需巨大存储空间,且数据挖掘分析难度大,据此本文基于遗传算法设计了分布式数据存储框架与数据迁移.此框架以源数据模型为载体,详细划分电力输变电工程地理信息、三维设计模型、文档资料数据,基于不同数据存储模型,构建了分布式存储框架以进行不同类型数据处理.通过遗传算法可实现海量数据迁移,以不同配置的数据存储中心进行了仿真测试.结果表明,分布式数据存储框架不仅可保障存储效率,还可确保数据完整性与安全性;基于遗传算法的数据迁移可切实解决大量数据存储问题,优化工程数据存储框架综合性能.     

一种用于数据库搜索引擎的数据采集模型

本文在分析了现有数据采集方法基础上,提出一种用于分布式异构数据库搜索的数据采集模型。该模型采用ETL数据集成技术,并将广泛应用于企业资源管理的LDAP目录服务引入数据采集模型中,利用LDAP存储和管理描述数据源信息和采集规则的元数据,增强了数据集成的可扩展性和自动化程度。     

多源异构电网运行时标量测数据接入方案设计

海量准实时数据服务平台是电网运行时标量测数据集中存储的场所;为了满足电网调度自动化、计量自动化等电网运行数据的接入需求,提出一种多源异构电网运行时标量测数据接入方案;该方案综合采用关系数据库和实时数据库存储数据,结合实时数据库存储数据的测点特性定义了电网时标量测数据存储命名规范,通过配置服务实现数据接入任务的启停控制和运行状态监控,使用接入调度器调度接入插件执行接入任务并引入主备冗余技术保证调度器的高可用;方案引入组件化程序设计思想,通过可插拔、易扩展的插件设计满足多源异构数据的接入需求;方案在南方电网公司海量准实时数据服务平台建设项目中得到实际应用,很好地满足了南方电网运行时标量测数据的接入需求。