集成Web 数据的系统框架与实现方法

基于我们正在研究和开发的项目Panorama，本文提出了一个基于XML和CORBA的Web数据集成系统框架，该框架可以集成来自Web上多个异构的数据源，包括关系数据库、面向对象数据库,HTML和XML文档及结构化文本文件。在系统实现中，把Web看作是一个巨大的虚拟数据库，以CORBA作为分布式对象模型，以XML作为公共誓据模型，并且以XML-QL作为全局查询语言来完成Web上的数据查询和集成。文中还详细分析和描述了系统框架中的一些主要模块的实现方法，具有很好的可操作性。     

主题分布在Deep Web数据库选择中的应用

随着越来越多的信息隐藏在Deep Web中,针对用户查询找出最相关的Web数据库成为亟待解决的问题。提出了一种基于Web数据库主题分布的方法用于Deep Web数据集成中的Web数据库选择。获取主题覆盖度形式的Web数据库内容描述,而后利用选定的Web数据库获取查询主题,最终由查询主题和主题分布矩阵来选择Web数据库。在真实Web数据库上的实验结果表明,该方法既取得了较高的查询召回率,也可有效降低数据库内容描述建立的代价。     

Deep Web数据集成中查询处理的研究与进展

随着Web上在线数据库的大量涌现,Deep Web数据集成成为当前信息领域的一个研究热点,而查询处理是其中的一个重要的组成部分。由于Web数据库具有规模大、自治性、异构性以及动态性等特点,使得Deep Web数据集成中的查询处理比传统的分布环境下的查询处理更具挑战性。围绕Deep Web数据集成中查询处理的三个关键研究点:模式匹配、Web数据库的选择以及查询转换,综述了近年来国际上相关的、具代表性的研究成果,分析了这些方法的优缺点,总结并展望了未来的发展方向。     

WebBuilder动态数据插件的实现

WebBuilder是动态网页编辑工具，用来方便地设计交互性很强的Web查询页面。WebBuilder动态数据插件是实现Web查询的主要手段，它通过数据访问控制器实现对Web数据库的访问，通过组件模型(属性 动作)实现交互机制。     

基于JSP技术的数据库查询分页显示

目前，数据库在Web服务中得到了广泛应用。针对Web系统中经常遇到的大量数据的分页查询问题，分析了运用JSP技术开发Web数据库应用，作为进行查询分页显示的主要技术手段。文中对目前广泛应用的多种分页显示的方法进行了对比介绍，然后以一实例讨论了Web数据库数据记录分页显示的程序设计方法，并结合实际工程给出了相关文件的部分程序源代码。结果表明，该方法可以达到显示逻辑和业务逻辑的分离、代码重用、与具体数据库无关和执行效率提高的目的。     

DWDIS:面向分析的Deep Web数据集成系统

传统Deep Web数据集成研究侧重满足用户的即时查询需求,对数据分析应用缺乏充分支持,提出一个面向分析的Deep Web数据集成系统DWDIS,能够在较少人工参与下对大量Web数据库进行高质量数据获取、抽取和整合,为分析型应用提供优质全面的结构化数据.DWDIS支持领域模型的自动演化;通过自动识别和理解查询接口,采用查询词采新率模型以较小代价最大限度地获取Deep Web页面;充分利用集成系统已有数据中隐含的数据特征,对Deep Web页面进行有效页面抽取和语义标注;结合Web数据源特征,使用机器学习方法对来自大量Web数据库的数据实现高准确率的重复记录检测和数据融合.     

Deep Web数据集成中基于最小超集的查询转换

近年来,随着Web上在线数据库的大量涌现,Deep Web数据集成(即Web数据库集成)成为当前信息领域的一个研究热点.查询转换是其中的核心部分,它主要负责将集成接口上的查询转换到相关Web数据库的接口上.由于Web数据库具有异构性和自治性的特点, 各查询接口上的属性名、数据格式以及查询能力都不尽相同,因此相当一部分查询不能进行精确转换,那么选择何种策略进行近似查询转换是一个很具有挑战性的工作.对这一问题进行了深入探讨,提出了基于最小超集的近似查询转换方法.实验结果表明,该方法在Deep Web数据集成中可以有效地提高返回结果的准确性.     

引信虚拟设计平台中网络数据库的研究

提出了一种全新的引信虚拟设计平台中网络数据库的模型构建服务方案，从功能目标、数据库结构、数据库安全、Web环境下和虚拟设计平台的查询、实例分析5个方面对方案的细节进行了研究和论证。作者认为虚拟设计平台是引信设计的发展趋势，而数据库的支持是必不可少的条件，所以开发引信的数据库系统具有重要的意义。     

一种基于图模型的Web数据库采样方法

Web数据库中,海量的信息隐藏在具有特定查询能力的查询接口后面,使人无法了解一个Web数据库内容的特征,比如主题的分布、更新的频率等,这就为DeepWeb数据集成带来了巨大的挑战.为了解决这个问题,提出了一种基于图模型的Web数据库采样方法,可以通过查询接口从Web数据库中以增量的方式获取近似随机的样本,即每次查询获取一定数量的样本记录,并且利用已经保存在本地的样本记录生成下一次的查询.该方法的一个重要特点是不受查询接口中属性表现形式的局限,因此是一种一般的Web数据库采样方法.在本地的模拟实验和真实Web数据库上的大量实验表明,该方法可以在较小代价下获得高质量的样本.     

基于层次树模型的Deep Web数据提取方法

网络在成为信息查询和发布平台的同时,海量的信息隐藏在查询受限的Web数据库中,使得人们无法有效地获取这些高质量的数据记录.传统的Deep Web搜索研究主要集中在通过关键字接口获取Web数据库内容.但是,由于Deep Web具有多属性和top-k的特点,基于关键字的方法具有固有的缺点,这就为Deep Web查询和检索带来了挑战.为了解决这个问题,提出了一种基于层次树的Deep Web数据获取方法,该方法可以无重复和完整地提取Web数据库中的数据记录.该方法首先把Web数据库模型化为一棵层次树,Deep Web数据获取问题就转化为树的遍历问题.其次,对树中的属性排序,缩小遍历空间;同时,利用基于属性值相关度的启发规则指导遍历过程提高遍历效率.最后,在本地模拟数据库和真实Web数据库上的大量实验证明,这种方法可以达到很好的覆盖度和较高的提取效率.     

基于语义视图的SPARQL-SQL查询转换方法

针对油气井工程领域关系数据库,提出一种基于语义视图的SPARQL-SQL查询转换方法.该方法采用特定本体描述数据源关系模式,通过RDF三元组形式,将关系表定义为领域本体之上的语义查询视图,从而建立数据源与本体之间的映射关系,并根据语义映射信息,将提交的SPARQL语句进行解析与查询重写,转换为面向关系数据源的SQL语句.通过实现油气井虚拟数据中心,验证了该方法的可行性与有效性,并获得了良好的应用效果.     

Seamless Integration of Databases in VR for Constructing Virtual Environments

An approach for authoring virtual environments within the virtual environments themselves is presented, integrating a database containing arbitrary components that are used to construct the 3D scene. The issues important to a seamless integration of the database, such as multimedia data storage and database linkage are discussed, with the focus on the human-computer interaction component. A concept for a 3D database interface is described for query, presentation and usage of query results in the virtual environment. Finally, an implementation of the concept using VRML and Java is presented.     

网格环境下基于服务的分布式查询处理机制研究

OGSA-DQP是一种用于网格环境、基于服务的分布式查询处理系统,实现了运行在不同平台的分布式数据密集型应用的高级数据访问与集成服务方法,为用户提供一致的虚拟关系数据视图和分布式数据查询支持。文章描述了其体系结构、分析了其查询和优化机制,并在不同条件下测试了查询性能,为寻找系统查询性能瓶颈、提高系统查询响应时间提供依据。     

Superviews: Virtual Integration of Multiple Databases

An important advantage of a database system is that it provides each application with a custom view of the data. The issue addressed in this paper is how to provide such custom views to applications that access multiple databases. The paper describes a formal method that generates such superviews, in an interactive process of schema editing operations. A mapping of the superview into the individual databases is derived from the editing process, and is stored together with the superview as a virtual database. When this database is interrogated, the mapping is used to decompose each query into a set of queries against the individual databases, and recompose the answers to form an answer to the original query. As this process is transparent to the user, virtual databases may be regarded as a more general type of databases. A prototype database system, that allows users to construct virtual databases and interrogate them, has been developed.     

嫦娥数据管理系统设计与实现

设计实现一个针对嫦娥一号的数据管理系统。利用ArcSDE空间数据库引擎、ArcEngine组件式地理信息系统及.NET平台技术,建立嫦娥数据基础数据库,实现各种原始数据、成果图件的入库、查询和分发,在此基础上开发用于数据三维展示的虚拟月球平台和用于项目文件管理的管理系统。应用结果表明,该系统可大幅提高嫦娥数据管理的安全性及效率。     

基于移动Agent和XML的异构数据库集成模型研究

为了解决异构数据库的数据集成和共享问题,提出了一个基于移动Agent和XML的异构数据库集成模型:采用虚拟法和XML技术,建立了全局数据集成框架;同时,采用移动Agent技术,解决了局部数据库数据智能集成的问题,优化了查询处理模块,有效地提高了数据库的查询效率.     

Querying fragmented relations in a distributed database

Summary The paper discusses the query optimization problem in a distributed database system supporting a complex fragmentation schema, in which different fragments can share the same set of data. The fragmentation and the distribution of data are assumed to be transparent to the user, who queries the database in terms of the global relations. The optimization of queries stated on a single fragmented relation is considered, and a method for its solution is presented. The method is based on an algorithm which calculates a set of virtual fragments that can alternatively be used to answer the query.     

A flexible data schema and system architecture for the virtualization of manufacturing machines (VMM)

Future factories will feature strong integration of physical machines and cyber-enabled software, working seamlessly to improve manufacturing production efficiency. In these digitally enabled and network connected factories, each physical machine on the shop floor can have its ‘virtual twin’ available in cyberspace. This ‘virtual twin’ is populated with data streaming in from the physical machines to represent a near real-time as-is state of the machine in cyberspace. This results in the virtualization of a machine resource to external factory manufacturing systems. This paper describes how streaming data can be stored in a scalable and flexible document schema based database such as MongoDB, a data store that makes up the virtual twin system. We present an architecture, which allows third-party integration of software apps to interface with the virtual manufacturing machines. We evaluate our database schema against query statements and provide examples of how third-party apps can interface with manufacturing machines using the VMM middleware. Finally, we discuss an operating system architecture for VMMs across the manufacturing cyberspace, which necessitates command and control of various virtualized manufacturing machines, opening new possibilities in cyber-physical systems in manufacturing.     

网格环境下多数据源的协同查询

伴随网格技术的日益发展，作为对数据应用需求的快速回应，在数据网格之后又出现了网格数据库的概念，其中查询又是数据库应用中一个使用频繁的核心功能，由于每个节点上的数据库可能只包含所需信息的一部分，而且查询操作还涉及到数据库异构性、通信开销等问题，这些都给网格环境下的数据库查询性能带来了新的困难。为了提高网格环境下数据库查询的性能，提出了一种运用协同（CSCW）机制来协调网格用户的查询操作的方法，这不仅体现了系统的协同性，而且降低了数据传输开销，还提高了查询效率。     

Deriving Object Oriented Federated Databases and Processing Federated Queries

In this paper, we present a federated query processing approach to evaluate queries on an Object-Oriented (OO) federated database. This approach has been designed and implemented in the OO-Myriad project, which is an OO extension to the Myriad FDBS researchmyriad:94. Since data integration is performed as part of federated query processing, we have proposed outerjoin, outer-difference and generalized attribute derivation operations together with the traditional relational operations, to be used for integration purposes. To define an OO federated database as a virtual view on multiple OO export databases, we adopt a database mapping strategy that systematically derives each of the class extents, deep class extents and relationships of the federated database using an operator tree consisting of the integration operations. By augmenting federated database queries with this algebraic mapping information, query execution plans can be generated. Based on the original Myriad query processing framework, we have realized the proposed OO federated query processing approach in the OO-Myriad prototype.