QAR数据仓库在Hive中的构建

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。     

航空公司数据仓库模型设计与实现

本文以航空公司为背景,结合目前主要的数据仓库的设计理论和框架,提出了针对于航空公司的数据仓库的设计与实现过程.并对数据仓库的逻辑模型、实现方法和相关技术等问题进行了探讨.     

基于小波尺度系数的民航QAR数据约简及其性能分析

民航班机的快速存取记录仪(QAR)记录了大量的飞行和性能参数,QAR数据的约简是对这些数据进行数据挖掘的一个重要环节.针对民航QAR数据的特点及为数据约简后应用数据挖掘算法的需要,在小波变换相关理论分析的基础上,提出了利用小波尺度系数进行QAR时间序列数据约简的方法及其性能分析方法,确定了相应的性能评价指标.实验结果表明了该方法对QAR数据约简的正确性及时域、频域数据特征兼顾,数据的主要特征失真小等优点.     

数据建模在数据仓库建设中的应用

数据仓库是国土资源决策支持系统建设中的核心内容,是决策支持系统处理的基础。建立数据仓库的目的,是把国土资源的内部数据和外部数据进行有效的集成,为各级决策领导、各级管理人员和业务分析人员使用。作者重点从数据仓库模型设计要点、国土资源一体化数据仓库整体模型架构、数据仓库模型设计规范三方面进行了详细设计。     

飞机油耗分析工具设计

研究飞机油耗分析所需的各项参数后,讨论分析工具的功能需求以及系统框架结构设计。利用Matlab GUI和SQL Server建立飞机油耗分析工具及QAR数据仓库,实现QAR数据管理和数据处理、飞行阶段划分、油耗和距离计算、油耗统计回归分析、用户权限管理等功能;给出一个飞机油耗分析工具的使用步骤实例介绍。应用实践结果表明,该工具有良好的实用性和交互性。     

制导仿真数据仓库研究

制导仿真试验和飞行试验都会产生许多数据,数据逐渐累积形成海量数据,针对分析需求对数据进行有效管理,制导仿真数据的管理成为当前国内仿真界面临的难题.鉴于数据仓库管理海量数据、面向分析、支持决策的特性,将数据仓库技术引人到制导仿真数据管理领域,设计出了制导仿真数据仓库的体系架构.针对制导仿真所涉及数据的特点,对制导仿真数据仓库构建过程中先对数据预处理进行研究,提出了制导仿真数据仓库的数据预处理模型,进行仿真证明,模型能有效指导制导仿真数据仓库构的数据预处理工作,可为有关人员快速有效地获取所需数据.     

聚类HMM模型在QAR数据分析中的应用研究

快速存取记录器QAR(Quick Access Recorder)数据是飞机飞行过程中从传感器获取的流数据。面对大量的QAR数据,提出一种基于聚类的HMM模型。针对QAR数据特点,分析发生故障或异常时QAR数据中不同属性的变化特点,提取主要影响属性进行分析。通过对其聚类进行数据离散化,得出数据的状态趋势,即将其分为多个状态趋势。对故障或异常发生的过程进行HMM建模,以状态序列的形式描述故障或异常发生的过程,并以飞机空中颠簸故障为例,建立空中颠簸相关QAR数据的HMM模型,并检验了该模型的有效性。     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

航空公司客运收益管理系统数据仓库的设计

作为数据库技术的一个崭新的发展方向，数据仓库技术以其强大的数据存储、处理、分析等功能为企业提供了决策支持工具，使企业在决策中可以更快地获得更准确的信息。本文阐述了将数据仓库技术运用于航空公司客运收益管理系统的设计过程。     

数据仓库中的数据抽取分析及应用

简要介绍了数据仓库的决策支持系统,对数据仓库的数据抽取方法进行了分析,比较详细地对数据仓库的数据抽取方法──DTS设计器进行了实例探索.     

CRM系统中数据仓库的设计和实现

介绍了CRM的作用，阐明了数据仓库在分析型CRM系统中的重要地位，设计并实现了分析型CRM中的数据仓库，其中具体描述了数据仓库ETL和数据清洗等关键技术，为企业引入分析型CRM系统时构建数据仓库提供了参考依据。     

A relational–XML data warehouse for data aggregation with SQL and XQuery

Integrating information from multiple data sources is becoming increasingly important for enterprises that partner with other companies for e‐commerce. However, companies have their internal business applications deployed on diverse platforms and no standard solution for integrating information from these sources exists. To support business intelligence query activities, it is useful to build a data warehouse on top of middleware that aggregates the data obtained from various heterogeneous database systems. Online analytical processing (OLAP) can then be used to provide fast access to materialized views from the data warehouse. Since extensible markup language (XML) documents are a common data representation standard on the Internet and relational tables are commonly used for production data, OLAP must handle both relational and XML data. SQL and XQuery can be used to process the materialized relational and XML data cubes created from the aggregated data. This paper shows how to handle the two kinds of data cubes from a relational–XML data warehouse using extract, transformation and loading. Copyright © 2008 John Wiley & Sons, Ltd.     

面向CRM系统的数据仓库的设计与实现

介绍了CRM系统的相关知识,阐述了数据仓库技术在CRM系统中应用的必然性,给出了一个基于数据仓库技术的分析型CRM系统的体系结构图,并且针对某网上书店,以客户购买主题为例,提出了该分析型CRM系统中客户信息数据仓库模型的设计方案,具体阐述了概念模型设计、逻辑模型设计和物理模型设计,并以MS SQL Server 2000平台为基础,给出了具体的实现,在企业引入分析型CRM系统时为构建数据仓库提供了参考依据.     

浅谈航空业数据仓库技术及其应用

该文旨在通过对数据仓库技术的简要分析,引出数据仓库技术在航空业的应用。详细分析航空业对数据仓库的需求,设计出适合航空公司发展的数据仓库技术应用方案,探讨了数据仓库和数据挖掘技术在航空业的应用前景。     

浅谈航空业数据仓库技术及其应用

该文旨在通过对数据仓库技术的简要分析,引出数据仓库技术在航空业的应用。详细分析航空业对数据仓库的需求,设计出适合航空公司发展的数据仓库技术应用方案,探讨了数据仓库和数据挖掘技术在航空业的应用前景。     

数据仓库技术在呼叫中心中的应用

针对现有的呼叫中心中存在历史数据量大、分析和处理数据能力不足、导致企业决策缺乏数据支持的问题，在对呼叫中心和数据仓库技术研究的基础上，结合呼叫中心的呼叫管理系统的特点，设计了呼叫中心数据仓库的体系结构，详细论述了对该数据仓库的体系结构、逻辑模型、物理模型以及联机分析处理（OLAP）系统的设计和具体实现方案。     

构建数据仓库实例

介绍了数据仓库技术的概念和内容,以数据仓库D系统的构建为实例,对建立数据仓库系统的理论和实践上的研究.分析了W企业的实际情况,设计出了适合企业需求的系统整体结构.对确定系统开发模式,以及设计数据模型的方法和过程加以描述.以数据仓库系统建设中的数据的提取、加载和联机分析处理（OLAP）为重点,对数据仓库的设计开发过程进行了详细的阐述.     

XBRL formula specification in the multidimensional data model

XBRL is a specification used to exchange financial/economic information. It is actively used by many international institutions and agencies. In the USA, Canada, Europe, China, etc. all financial entities and companies quoted on the stock market have to report compulsorily to the supervisory and regulatory authority using the XBRL specification. XBRL consists of a set of taxonomies defining different accounting regulations for a specific statement and the statement itself. Reports are generated from various sources and are validated at origin. XBRL displays business information which is multidimensional and whose logical destination for storage is a data warehouse. The proposal presented here focuses on the automation of the mapping between XBRL and the multidimensional data model (MDM) and includes a formalization of the validation rules in the MDM. The approach is designed in accordance with the Model Driven Architecture (MDA) paradigm which consists of a new way to validate XBRL reports through an RDBMS, and offers a proof-of-concept. Additionally, the study aims to provide more clarity about XBRL, a highly complex language made by and for expert users, and to improve interoperability between applications. The proposal also analyses certain semantic questions associated with the XBRL formula specification and its performance.