数据交换在数字化校园中的作用与实现

本文首先概要介绍了数据交换的基础概念和现状,分析了现有的数据交换技术,研究了主要的数据交换机制,对数据映射、工作流技术进行了探讨,重点介绍了数据交换的技术。在理论研究的基础上,设计了一个基于标准XML数据格式和XSLT数据映射格式,结合工作流引擎的数据交换系统模型。该系统模型解决了校园网多个异构系统的数据集成和业务集成的问题,充分考虑了系统的安全性和扩展性,为校同网的信息化建设提供了很好的参考模型。     

基于RDF/XML的异构数据交换模型的设计与研究

为了解决各个相互孤立的应用系统之间由于缺乏信息共享和互通互联的通道和平台,协同应用困难,共享程序低的问题,提出了基于RDF/XML的异构数据交换模型。该模型充分考虑了各个应用系统的特点,通过基于RDF/XML的异构数据交换模型,达到不同系统间的数据传输,实现跨部门、跨系统、跨异构数据库的数据交换。     

数据交换在数字化校园中的作用与实现

本文首先概要介绍了数据交换的基础概念和现状,分析了现有的数据交换技术,研究了主要的数据交换机制,对数据映射、工作流技术进行了探讨,重点介绍了数据交换的技术。在理论研究的基础上,设计了一个基于标准XML数据格式和XSLT数据映射格式,结合工作流引擎的数据交换系统模型。该系统模型解决了校园网多个异构系统的数据集成和业务集成的问题,充分考虑了系统的安全性和扩展性,为校园网的信息化建设提供了很好的参考模型。     

基于OIM数据对象模型的数据交换系统研究

扩展了OIM对象代数,提出一种基于Java的OIM数据交换系统模型,充分利用OIM对象模型与面向对象语言的配合优势,使系统性能得到保证。系统采用面向服务的设计思想,数据交换流程遵从数据流管道模型,具有良好的可扩展特性。在某数字校园系统的具体应用证明了该数据交换系统的良好性能。     

基于XML的B2B可扩展数据交换标准框架的设计与实现

面向石化领域的B2B电子商务活动中涉及多家大型和特大型企业之间的分布式异构数据交换。提出针对石化领域的电子商务中在线物资采购业务的数据交换标准框架的设计准则,并给出了实现系统的体系结构。该数据交换标准与国际相关标准兼容;所交换的数据以XML为载体;包括用于规范数据交换过程的工作流模型、用于规范业务活动过程中的用户角色和数据交换文档类型的业务过程模型、用于规范该领域电子商务数据交换的业务术语的业务词汇表,以及用于规范交换文档的模式——XML Schema和用于规范信息交互方式消息协议。此外,框架中的消息机制基于SOAP,提供对Web服务的可扩展性。     

基于RDF/XML的异构数据交换模型的设计与研究

为了解决各个相互孤立的应用系统之间由于缺乏信息共享和互通互联的通道和平台,协同应用困难,共享程序低的问题,提出了基于RDF/XML的异构数据交换模型.该模型充分考虑了各个应用系统的特点,通过基于RDF/XML的异构数据交换模型,达到不同系统间的数据传输,实现跨部门、跨系统、跨异构数据库的数据交换.     

基于XML和J2EE的物流数据交换技术的研究

针对中小物流企业数据交换面临的主要问题,提出了一个基于J2EE和采用XML为消息格式的数据交换模型。该模型是以J2EE数据交换服务器为中心的星型结构,客户之间通过服务器进行数据交换。文章给出了数据交换系统服务器端和客户端的模块,并对模块功能进行了说明。     

基于元数据的电子政务数据交换的研究

如何方便快捷的实现数据交换是目前电子政务建设中非常重要的一环,尽管目前已经存在一些技术可以实现数据交换目的,但是总是存在着一些问题。文章从数据交换元数据的讨论着手,提出了基于元数据的数据交换系统模型,探讨了数据交换系统中元数据的定义及作用。     

一种电子政务数据交换模型的设计

首先介绍了XML技术在电子政务数据交换中的应用以及Web Service技术在应用集成中的作用。然后分析了现有电子政务数据交换产品的工作原理,在得出现有电子政务数据交换产品的局限性基础上,提出了基于XML与Web Service相结合的电子政务数据交换模型。该模型采用基于角色的访问控制实现Web Service的安全访问,并实现了全自动的数据校验和数据交换。     

集中式异构数据交换模型的研究和设计

本文首先研究电子政务中基于集中式的异构数据交换模型的体系结构,然后提出了一种基于XML、WebService的跨平台、松散耦合的异构数据库间安全数据交换系统模型,将交换的层次提高到直接的政务业务交换。最后给出了一个使用该数据交换模型的应用实例。     

基于XML的数据转换系统SuperETL*

针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(Cleaning)、转换(Transformation)、装载(Loading)及ETL任务。     

粒子群算法在分布式ETL任务调度中的应用

随着分布式数据环境越来越复杂,ETL工具要面临数据源多、分布地域广和海量数据等因素带来的挑战。原有的集中式ETL工作流优化理论不能满足现在复杂数据环境的要求。介绍了如何将基于置换的离散型粒子群算法应用到分布式ETL任务优化调度问题上,主要工作围绕ETL工作调度模型、算法编码设计、目标函数选择等内容来展开,给出了分布式ETL工作调度策略的实现过程和伪代码。理论分析和实验证明了实际应用的有效可行性。     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...     

面向ETL的数据起源追踪系统

提出一种面向提取-转换-加载(ETL)过程的数据起源追踪系统,讨论实现的关键技术,包括转换分类、元数据设计、转换序列构建、追踪流程设计以及不同转换的追踪方法。系统将追踪所需的元数据设计在包文件结构中,在逆向追踪时抽取元数据进行相关处理,构建各个层次的转换起源信息图,从而实现数据起源的追踪。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。     

Data generator for evaluating ETL process quality

Obtaining the right set of data for evaluating the fulfillment of different quality factors in the extract-transform-load (ETL) process design is rather challenging. First, the real data might be out of reach due to different privacy constraints, while manually providing a synthetic set of data is known as a labor-intensive task that needs to take various combinations of process parameters into account. More importantly, having a single dataset usually does not represent the evolution of data throughout the complete process lifespan, hence missing the plethora of possible test cases. To facilitate such demanding task, in this paper we propose an automatic data generator (i.e., Bijoux). Starting from a given ETL process model, Bijoux extracts the semantics of data transformations, analyzes the constraints they imply over input data, and automatically generates testing datasets. Bijoux is highly modular and configurable to enable end-users to generate datasets for a variety of interesting test scenarios (e.g., evaluating specific parts of an input ETL process design, with different input dataset sizes, different distributions of data, and different operation selectivities). We have developed a running prototype that implements the functionality of our data generation framework and here we report our experimental findings showing the effectiveness and scalability of our approach.     

移动经营分析系统中ETL的分析和设计

文章通过描述ETL原理,对比流行的各种ETL工具,针对移动数据的特点,提出了一种ETL平台的设计思想;指出了ETL平台要重点考虑的功能,并在ETL建设原则的指导下,结合移动业务实际分析和设计移动ETL平台,解决了移动ETL过程的瓶颈问题,在运行效率,日常开发和维护的方便性,应用扩展的灵活性方面得到大大的提高。     

基于ETL-KETTLE的贵州卷烟营销大数据分析及可视化

为了实现对贵州卷烟销售大数据的分析及可视化,基于开源数据分析工具KETTLE构建了ETL过程模型,对现有的卷烟销售基础大数据进行抽取、转换、加载,形成分析型数据,快速高效地实现了数据集成.经过ETL处理的集成数据,为卷烟销售大数据可视化系统及进一步的数据挖掘、决策支持提供了数据基础.同时,采用GIS平台构建和可视化技术,设计并实现了卷烟销售大数据可视化分析系统,为企业的数据分析和决策支持提供了数据展示及分析平台.     

数据仓库技术在电信企业的应用

本文介绍了数据仓库和ETL技术的有关概念和内容,结合电信业务的特点,构建电信数据仓库的体系结构。在给出的电信数据仓库体系结构的基础上,深入的探讨了基于电信业务的数据仓库ETL和数据展现方法。     

数据仓库ETL任务调度模型研究

数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.