基于元数据的数据整合平台

针对数据资源整合的共性问题,提出了一种基于元数据、结合Web服务与本体技术的数据资源共享与整合平台的实现框架(MDDI).重点讨论了基于JavaCC设计与实现的元数据自动抽取与转换工具,该工具把与各平台相关的元数据自动提取并转换为与平台无关的元数据,实现了基于元模型的元数据集成,为最终实现数据的共享和整合奠定了基础.     

基于元数据的通用数据质量评估工具

为解决传统数据质量评估工具的灵活性与通用性较差问题,通过对元数据应用与数据质量评估实现技术的研究,重点分析了元数据在数据质量评估过程中的作用、数据质量评估元数据抽象及元数据的组成。确定工具体系结构,并构建元数据模型,实现工具。通过实际应用证明工具具有良好的灵活性与通用性。     

异种数据集成工具的数据对象及映射关系研究

以现有的数据抽取转换导入工具为基础,以自行开发的基于网络的异种数据集成工具为背景,介绍了该工具的框架.结合该工具特点,论述了工具中数据对象的元数据描述,并深入探讨了工具中复杂的源/目数据映射关系的表示和实现,最后根据具体实例来讨论映射关系表示和实现的特点.     

一种大规模数据快速并行导入工具的研究与实现

随着大规模数据的快速增长及高可靠性需求,将本地数据迁移到分布式数据库势在必行。针对这种情况,提出一种基于MapReduce的"快速并行导入"技术,充分利用集群的并行计算能力,直接向HBase底层存储文件HFile写入数据,既可避免上层数据导入时间的浪费,又节省资源开销。有效解决了从单机数据库向HBase分布式数据库导入数据功能低下、效率不高等问题。实验结果表明,在"快速并行导入"技术的基础上设计并实现的快速并行导入工具,支持多列族文本数据的快速导入。与传统使用API导入数据相比,速度提升一倍以上。     

开放数据的元数据映射技术途径

在分析目前主要开放数据元数据标准规范文本的基础上, 整合几种常用元数据标准规范描述的开放数据,构建开放数据核心元数据字段映射表, 为跨平台开放数据共享提供一种解决途径. 通过提取元数据映射所需的指标字段, 并分别用JSON和XML格式表达映射数据. 采用开放数据元数据映射, 将不同元数据标准描述的开放数据纳入到同一个框架中. 文中展示的映射机制可以有效地实现不同平台上的开放数据资源的互联互通, 提升开放数据共享程度.     

Web元数据信息提取技术的研究

Web页元数据提取是一种重要的信息获取技术.本文在简要介绍元数据的概念后给出了一种web页元数据的自动提取方法.给出了提取技术的框图和实现细节,包括提取方法和规则.试验表明了提取方法的有效性.     

基于元数据的解释型MIS的设计与实现

传统的MIS在设计实现时与具体的数据库结合紧密,应用程序往往是一种特定产品,灵活性和扩展性较差。为提高MIS的灵活性和扩展性,提出了一种基于元数据的解释型MIS的设计方法,通过定义一组符合一定规则的元数据,设计基于这种规则元数据的程序,使MIS主程序的运行不绑定特定的数据库表和字段,而是根据元数据动态实现,实现了MIS程序由元数据驱动,从而大大提高了MIS的灵活性和扩展性。     

基于元数据的异构专家信息管理研究

元数据在网络信息资源的管理、存储和检索中发挥着重大的作用。本文对元数据和基于元数据进行管理的理论基础进行了探讨,说明了元数据的内容、结构、生成过程和依据元数据的管理模式,采用XML描述元数据标准,提出了一种以元数据为核心,以元数据驱动任务操作的异构数据管理策略。将其思想加以扩展并抽象为一个框架模型应用到专家信息管理中,在元数据的层次上来定义和管理异构专家信息。     

应用元数据开发数据映射辅助工具

数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司（CPIC）建设企业数据仓库（EDW）的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。     

应用元数据开发数据映射辅助工具

数据映射在数据仓库项目中扮演十分重要的角色,它是ETL开发的前提条件,也是ETL开发过程中详细设计的一部分。本文在中国太平洋保险公司(CPIC)建设企业数据仓库(EDW)的项目背景下对企业数据仓库中的元数据应用作了研究,记述一个简单的元数据驱动的数据映射工具的开发过程,以说明元数据对数据集成工具开发的重要性。     

卫星应用系统产品归档子系统的研究与实现

本文介绍了一个卫星应用系统产品归档子系统,包含文件收集器、文件拷贝、任务收集器、元数据提取、产品数据归档以及元数据编目入库六个子模块。本系统采用以数据库为Server端,各个子模块为Client端的C/S结构。各子模块相互独立、松散耦合,通过灵活使用配置文件,实现系统分布式管理,提高了系统的可维护性和可扩展性。本系统已经成功应用于海洋一号卫星遥感数据归档过程中,同时对于同类卫星数据也有很好的适用性。     

基于异构数据抽取清洗模型的元数据的研究

异构数据的抽取和清洗是企业内外异构信息统一的必由之路。基于此,该文以自行开发的ETL工具为背景,分析了异构数据抽取清洗模型的结构以及实现方式,并集中论述了其中元数据的结构。     

元数据管理系统的设计与实现

大规模并行数值模拟程序通常会被运行十几次甚至上百次,每次运行都会输出几十、上百、甚至上千时间步的数据,每个时间步会产生几十、上百、甚至上千个数据文件.传统的数据管理方法是使用记事本记录数值模拟结果相关的元数据信息,这种方法的缺点是大量的信息需要手工录入,同时也不方便数据查询和共享.元数据管理系统的设计目标是通过自动提取元数据来减少需要录入的元数据信息,通过集成管理与结果数据相关的各种数据来方便数据查询与共享.该系统包含5个组成部分:层次化自描述通用数据存储模型、科学计算元数据、元数据自动提取、对象数据库系统、Web界面元数据管理系统.通过用户试用,验证了元数据管理系统实现了预期的目标.     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

ReDE:一个基于正则表达式的生物数据抽取方法

从异构生物数据源抽取数据,建立查询分析平台是目前研究的热点,而抽取过程会涉及大量相互依赖的元数据．充分利用这种依赖关系可降低维护工作量．基于正则表达式（RE）提出了ReDE抽取方法：通过围绕RE组建立分析树,设计了基于RE的关系数据库模式生成算法和通用抽取与组装算法,其特点是：RE是惟一的元数据,易于管理和维护．该方法奠定了生物数据库辅助设计工具和高自动化抽取工具的基础,已用于构建国内第1个整合的生物信息在线数据仓库．     

基于XML数据库服务系统的框架

针对分布式异构数据库的跨数据库联合检索和自动发布问题,构建基于XML和Web Services技术的数据库服务系统。该系统框架由元数据应用管理、数据库自动发布和跨数据库联合检索模块构成。参考科学数据库核心元数据标准,开发元数据管理工具,并设计基于元数据的数据库在线自动发布及导航目录服务系统。该系统以工程化学数据库为案例并得到应用,实现其多个数据库的资源共享与数据集成服务。     

元数据管理在作战系统数据集成设计中的应用

数据集成是舰艇作战系统体系结构设计的重点之一。为了解决作战系统接口设计存在的问题,提出采用XML数据建模和元数据管理技术的集成设计方法。通过填充型号项目表、二级系统表、上网节点表、接口规格表、信息单元表、数据字段表和数据类型表等7张表构成的接口模板得到数据模型,并开发实现工具软件辅助完成数据建模和元数据管理,从而有效提高作战系统数据集成设计的效率。     

JADLib-科学计算数据高层I/O软件库

JADLib是为满足大规模复杂结构数据的存储与共享需求而研制的科学数据I/O软件库。其目标是设计并实现管理科学计算网格数据的数据存储模型,支持多种复杂结构数据的表示与操作,应用程序接口直观、易掌握,文件格式统一、可直接可视化,提供并行I/O、数居子集访问、压缩存储等高性能存储机制,支持多类科学计算程序跨平台使用,目前已应用到惯性约束聚变、高功率微波、计算流体力学、材料科学等多个研究领域中。实际应用表明,JADLib对于解决数值模拟软件数据存储及后处理分析所面临的I/O效率与组织管理问题具有很好的应用效果。     

支持科学数据专业类型的统一检索框架

中科院科学数据库在“十一五”信息化建设中将建成一个由51家参建单位组成的庞大数据应用环境。为方便科研人员从这些海量科学数据中得到感兴趣的内容,有必要设计一个统一检索工具。然而传统的统一检索技术不支持科学数据专业数据类型,这带来了数据表达与展示两方面的问题。对此,提出一种支持科学数据专业类型的统一检索框架,该框架使用数据建模中间件实现专业类型数据的统一格式表达与发布,运用模板技术为数据提供灵活的展示方式,并以一种可扩展的插件方式管理这些科学数据专业类型。文章最后还介绍了基于此框架的统一检索系统Voovle的应用现状。