异构数据库集成中间件的研究与实现

为了解决企业网络环境中异构数据库的数据集成和共享问题,重点研究了如何利用XML技术屏蔽数据库间的异构数据难题.提出了基于XML和中间件的集成异构数据库数据源的框架模型,该模型主要实现两部分的功能:数据库信息映射字典的生成和中间件系统查询的运行.中间件系统以XML作为数据交换的中介,提出了关系数据库数据与XML文档相互转换的方法,实现了用户对异构数据库数据的透明化共享.该模型适合企业信息化建设的需要.     

网格环境下的一种数据集成模型

本文结合相关的网格技术和异构数据库集成技术,设计了新的基于OCSA-DAI体系结构的数据集成模型,该模型在中间件层扩展和完善了OGSA-DAI的功能,体现了良好的网格数据库访问与集成性能,并通过代理中间件在访问代理层实现与实际数据源相关的转换操作采提供对通用数据访问接口的支持,实现了真正意义上的语句透明.本设计采用分层+组件方法,具有易扩展和移植性等特点.     

基于XML技术的异构关系数据库集成模型

为了有效解决网络环境中异构数据库数据集成问题,分析了异构数据库集成的现状,提出了一种基于XML技术的异构关系数据库数据集成模型.该模型由异构数据库层、集成中间件层,应用层3部分组成;阐述了该模型各个部分的功能,讨论了集成中间件层的实现;详细地介绍了数据库和XML之间相互映射规则,并给出了它们之间的具体转换过程.在集成中间件的基础上,设计了某信息管理服务系统软件,表明了该中间件的可行性.     

基于XML中间件的企业异构数据整合系统的实现

以某大型钢铁公司经销网络系统为对象,针对其中异构数据的分布情况和存在的问题,在分析了基于XML的中间件技术在数据共享与交互上所具优点的基础上,设计并实现了基于XML中间件的异构数据整合系统(XML Middleware based Heterogeneous Data Harmonization System,简称XMHDHS)。文章详细阐述了系统实现的关键技术。     

基于模型驱动的数据映射技术设计与实现

根据模型驱动的软件开发方法和核心思想,设计实现对数据映射关系进行独立、统一描述的映射词典元模型.结合映射词典提出了一个基于模型驱动的集成异构数据模型的解决方案.给出了基于模型驱动的数据映射技术,完成异构数据集成中的应用框架.在此基础上,详细介绍了应用框架中异构数据集成的实现.     

大数据下的CPS自适应路由服务

作为一个网络信息系统,信息物理融合系统（CPS）包含计算、人类活动以及通过消息通信技术实现的自动决策。CPS由许多异构的子系统组成,不同于其他控制系统,随着多种多样新型网络应用的涌现,传统的路由配置模式越来越难以适应CPS多样化的数据通信需求。因此,需要依据不同类型CPS子系统应用差异化的通信需求,在数据分组的传输路径上配置合适的路由功能,自适应地合成满足分组传输特性的路由服务,改善通信性能。根据大数据带来的数据间关联关系新范式,试图从大量的CPS应用通信流状态数据中,分析获取评判CPS通信服务质量与路由服务各属性之间的依赖关系,从而定制高效的路由服务。基于此,提出了大数据驱动的CPS自适应路由服务定制机制,主要由网内大量流状态数据为驱动,建立了CPS通信属性模型,挖掘CPS的通信性能对路由需求的依赖关系,获得候选路由功能集合。分析结果表明,提出的由大数据驱动的定制化路由服务可以有效地处理不断扩展的CPS网络通信需求。     

基于LINQ的多源异构数据查询中间件

针对信息安全开发与研究工作对多源异构数据查询的需求,分析网络安全数据源的数据结构特点,设计并实现一套多源异构数据查询中间件系统.系统应用并扩展LINQ技术,通过查询语句解析、名称映射、特定表达式目录树生成和结果集处理等步骤,实现透明查询,并且支持包括常用数据库、XML和JSON等格式在内的多种数据源,同时易于扩展和二次...     

基于信息物理系统的面向方面中间件特征模型

信息物理系统（Cyber-physical Systems,CPS）是集计算、通信和控制能力于一体的多维复杂的分布式系统,这就要求系统必须通过专门的定制。实时中间件可以有效地解决分布式系统的异构性和互操作性等问题。信息物理系统中间件存在着分布性、容错性、性能分析、实时性、日志记录等非功能的横切关注点,基于面向方面的中间件构建技术,能够把这些横切关注从中间件中分离出来,形成独立于中间件的核心功能的方面。文中提出一个面向方面的中间件,能够处理分布式信息物理系统的动态问题,在文中,将重点放在特征模型定义,并且概述了其映射到一个动态的面向方面的中间件平台。     

信息-物理融合系统动态行为模型构建方法

信息-物理融合系统(Cyber-Physical System,CPS)特有的计算、通信、控制的联合动态性,计算与物理的多尺度融合性,系统环境及状态的时空交互性以及系统动态行为的非确定性,不但使面向CPS的模型驱动设计与验证方法在CPS系统设计中更为重要,而且也向其提出了新的技术挑战.论文在结合典型实例分析CPS系统特征及其模型构建具体挑战的基础上,研究并总结了CPS动态行为建模的主要方法:一体化建模方法从CPS系统层面描述计算过程与物理过程的交互与融合;时空交互建模方法关注CPS系统行为与时间及空间关系的语义表示;功能和实现兼容建模方法侧重刻画CPS系统的逻辑设计和物理实现的映射与支撑;而集成建模方法则重点解决多异构模型的交互方式与语义的一致表达.论文基于多异构实体的CPS系统建模框架,提出了一种CPS系统结构与动态行为的协同建模方法,并用CPS-ADL对其进行了实现和验证.     

基于本体的异构数据集成框架

针对电力系统数据集成中存在的语义异构问题,提出一种基于本体的数据集成框架。依据电力参数估计系统的数据需求模型,分析数据集成存在的语义冲突类型,在传统数据集成框架的数据集成中间件模块中加入本体语义描述模块。采用本体描述信息资源域中的概念,通过实现语义冲突主动发现并构建语义映射关系。实验结果表明,该框架能有效解决数据集成过程中的语义异构问题。     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.