数据仓库的填充与访问

数据仓库是连接底层数据源与上层应用的枢纽。该文介绍了数据仓库的填充(与数据源的连接)和数据仓库的访问(与应用界面的连接)技术,包括与数据库数据源和非数据库数据源的连接以及采用组件工具访问数据仓库的方式和实现方法。     

平行数据:从大数据到数据智能*

为了解决实际问题,大数据分析处理系统需要获取数据,然而实际场景中收集到的实际数据通常不完备.另外,大多数问题的解决方案通常是由问题引导或者仅仅进行数据分析,运行参数调整和设定带有较大的盲目性,难以达到应用的智能性.为此,文中提出平行数据的概念和框架,根据实际数据经计算实验产生真正的虚拟大数据,结合默顿定律,以期待的解决方案与问题进行广义对偶,引导大数据聚焦到实际问题.实际数据与虚拟数据动态互动,平行演化,形成一个虚实相生、数据动态变化的过程,最终使数据具备智能,进而解决未知的问题.平行数据不但是一种数据表示形式,更是一种数据演化机制与方式,其特色是虚实互动,所有数据的动力学轨迹构成了数据动力学系统.平行数据为数据处理、表示、挖掘和应用提供了一个新的范式.     

数据处理中的数据交换问题

为有效地解决实际问题,可能要使不同语言进行混合编程,这样就涉及到数据的传递和不同类型的数据文件之间的转换,这里讨论几种常用数据交换问题。     

数据仓库中的数据提取

数据仓库的思想和工具在企业中得到了越来越广泛的体现和应用,在当前典型的数据仓库应用中,数据仓库的填充或者说数据的提取,转换和加载是设计人员遇到的最大挑战之一,预计在数据仓库的设计过程中,80％的努力都将用于此过程。该文从工程角度介绍了数据提取、转换和加载的过程和实现方式,并介绍了4种可灵活应用的数据提取方法。     

数据仓库和数据挖掘

Making a business decision using data from severaldifferent enterprise databases can be complicated. Data warehousesconsolidate data into a central repository and give you the OLAP toolsnecessary to retrieve data pertinent to the solution.DefinitionA data warehouse is used to consolidate this data into a central storeand to arrange it to make analysis easier, which means the data is lessnormalized than your traditional application database. Data is typicallytransferred in batch to the centra…     

基于数据抽取器实现数据挖掘

通过定义ＳＯＬ数据挖掘抽取器,设计了数据挖掘算法和数据库管理系统的接口的框架体系。并通过一个常用的数据挖掘算法简单贝叶斯算法说明了这种标准的ＳＯＬ数据挖掘抽取器的适用性。     

数据仓库中数据质量控制研究

随着数据仓库的深入应用,数据质量问题成为关系到数据仓库建设成败和数据能否有效应用的重要关键问题。该文首先讨论数据仓库环境下存在的数据质量问题以及保证数据质量的重要性,然后提出数据质量的度量和评价指标,最后给出了数据仓库实施和运行过程中数据质量控制的数据质量成熟度模型和保证仓库数据质量的方法。     

数据转换过程的串行化方法

随着数据仓库和数据集成的发展,数据清洗的工作越来越多,用户在进行数据清洗时需要对数据的内容进行多次处理。在设计清洗的建模过程中,用户可能对同一个数据进行多次的清洗和转换处理,由于步骤多,用户往往不知道清洗和转换步骤出现错误。该文对前述问题进行论述,并针对这种清洗和转换处理中的赋值冲突和范围冲突提出解决方法。     

面向客户数据仓库的数据集成方法

数据集成问题是建立数据仓库过程中的重要问题之一，而客户资料又是其中最难以集成的数据，对于该问题目前还没有一个很好的解决方法。我们总结在实际实践中取得的经验，提出了一套切实可行的解决方案，同时兼顾了集成效率和准确率两方面因素，实际应用效果比较理想。     

数据仓库中基于模糊数据的数据立方体设计

数据仓库中的维数据或度量数据都是确定的,其多维分析也是基于确定数据展开的。在现实中,由于环境的复杂与不确定性,常常需要对模糊数据进行多维分析。文章利用隶属度函数实现确定数据的模糊化,形成基于模糊数据的数据立方体,用以展开多维分析。     

数据集成中数据项与数据元匹配算法

近年来,随着数据元标准的建立,数据元在各行各业的数据集成过程中担任着重要角色,用于规范数据库、报表、文档中的数据项,实现各种数据源之间的映射。分析数据元的结构,提出一种数据项与数据元匹配算法,该算法基于编辑距离算法,融合最长公共子序列、权重、词语重心后移等思想,实现数据项与数据元字典中数据元的相似度计算,利用排列组合原理对匹配速度进行优化。以中石化标准数据元为实验数据进行实验,验证了该匹配算法的有效性。     

用于不均衡数据集的挖掘方法

传统的分类算法大多是基于数据集中各类的样本数是基本均衡的假设的，而实际应用场合中面临的往往是不均衡数据。针对不均衡数据集，利用传统的分类方法往往不能获得良好的性能，因而研究用于处理不均衡数据集的分类方法就显得相当重要，本文对相关的研究做了综述。     

海难事故的数据挖掘

分析了建立海难数据仓库的意义，提出了海难数据仓库的雪花模型，对Aprioir算法进行了改进，用改进后的算法实现了海难数据的关联规则和频繁模式挖掘，用改进的有向图方法实现了关联规则的可视化表示。结果表明，利用数据挖掘技术对海难历史数据作深层次分析，克服了传统统计分析方法的局限性，可挖掘出大量的知识，为以后的航海安全提供借鉴。     

大数据分析与高速数据更新

大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发,讨论两项近期的研究工作:1)MaSM,在数据仓库系统中支持在线数据更新;2)LogKV,在日志处理系统中支持高速流入的日志数据和高效的基于时间窗口的连接操作.通过分析比较发现,存储数据更新只是最基本的要求,更重要的是应该把大数据的从更新到分析作为数据的整个生命周期,进行综合考虑和优化,根据大数据分析的特点,优化高速数据更新的数据组织和数据分布方式,从而保证甚至提高数据分析运算的效率.     

数据仓库中异构数据的转换

在大多数信息管理中都存在模式和数据转换，且都是单独被研究。相信有统一机制，将中间件看成是转换引擎，并且讨论在什么时候进行转换如何进行转换。     

浅析数据挖掘中的半结构化数据

半结构化数据是网络中一种重要的数据形式,也是进行数据挖掘的重要基础.因此要对 Internet上巨量的数据进行数据挖掘,半结构化数据及模型是前提.本文介绍了半结构化数据的相关概念及其数据模型.     

基于空间数据仓库的数据采掘

文章介绍了数据采掘技术的定义、数据采掘的过程和主要技术手段以及空间数据仓库的定义、基本结构框架、处理流程和技术支持,分析了基于空间数据仓库的数据采掘特点.     

A Data Model for Data Integration

Data integration systems provide a uniform query interface (UQI) to multiple, autonomous data sources [Alon Y. Halevy. Answering queries using views: A survey. The VLDB Journal, 10(4):270–294, 2001]. This paper presents the universal data model (UDM) that captures the semantically salient aspects of relational, entity-relationship, and XML data models. As a consequence, UDM — including its accompanying query language — provides a simple and elegant UQI for integrating data represented in some of the most widely adopted data models.     

Data Architecture: Principles for Data

Data architecture principles guide the decision-making process about data and its related technologies through all levels in an organization, because they state an organization's values as well as guide product selection and implementation. For data, architecture principles are key in aligning the portfolio of enterprise data with business needs, form the basis for decisions regarding data, and define the processes for managing data through its life cycle within an enterprise. For data technologies, they are key in selecting products and define how these products are deployed and operate.     

Querying Compressed Data in Data Warehouses

The large size of most data warehouses (typically hundreds of gigabytes to terabytes) results in non-trivial storage costs and makes compression techniques attractive. For the most part, page-level compression (as opposed to attribute or record level schemes) has been shown to achieve the greatest reductions in storage size for databases. A key issue with such schemes is how to quickly access the data to answer queries, since individual tuple boundaries are lost. In this paper we introduce an approach that aims to maintain the benefits of page-level compression (i.e., large reductions in storage size), while at the same time improving query performance through an efficient signature file indexing scheme. The approach uses an attribute-level signature generation method that exploits the value distribution of each attribute in a data warehouse. We provide an extensive theoretical analysis of this approach in which we compare our approach with a recently proposed indexing technique, encoded bitmapped indexing, along a number of important metrics including query processing, insertion, and storage costs. Results show that our approach is preferred in many situations that are likely to occur in practice. We have also implemented a prototype system which validates our analytical findings.