HTAP数据库关键技术综述

混合事务与分析处理(hybridtransactionalanalyticalprocessing,HTAP)技术是一种基于一站式架构同时处理事务请求与查询分析请求的技术. HTAP技术不仅消除了从关系型事务数据库到数据仓库的数据抽取、转换和加载过程,还支持实时地分析最新事务数据.然而,为了同时处理OLTP与OLAP, HTAP系统也需要在系统性能与数据分析新鲜度之间做出取舍,这主要是因为高并发、短时延的OLTP与带宽密集型、高时延的OLAP访问模式不同且互相干扰.目前,主流的HTAP数据库主要以行列共存的方式来支持混合事务与分析处理,但是由于该类数据库面向不同的业务场景,所以它们的存储架构与处理技术各有不同.首先,全面调研HTAP数据库,总结它们主要的应用场景与优缺点,并根据存储架构对它们进行分类、总结与对比.现有综述工作侧重于基于行/列单格式存储的HTAP数据库以及基于Spark的松耦合HTAP系统,而这里侧重于行列共存的实时HTAP数据库.特别地,凝炼了主流HTAP数据库关键技术,包括数据组织技术、数据同步技术、查询优化技术、资源调度技术这4个部分.同时总结分析了HTAP数据库构...     

云原生数据库综述

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.深入分析云原生数据库系统的架构和技术.首先将云原生OLTP和云原生OLAP的数据库架构按照资源分离模式的差异分别进行归类分析,并对比各类架构的优势与局限.其次,基于计算存储分离的架构,按照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生OLTP关键技术(数据组织、副本一致性、主备同步、故障恢复以及混合负载处理)和云原生OLAP关键技术(存储管理、查询处理、无服务器感知计算、数据保护以及机器学习优化).最后,总结现有云原生数据库的技术挑战并展望未来研究方向.     

OLAP技术及其在SQL SERVER 2000中的实现

OLTP系统积累的大量数据如何为决策分析提供支持将成为下一阶段数据库应用的重点,OLAP技术通过数据立方体提供多维度的数据视图,并通过旋转切片等操作扩展查询语言的功能来满足这种需求.文中简要介绍了联机分析处理(On line Analysis Process)中的基本概念、OLAP与传统联机事务处理OLTP的差别、OLAP的相关实现技术,并给出了OLAP在SQL SERVER 2000中的具体实现.最后对OLAP的发展前景作出展望.     

QLogic缓存SAN适配器实现OracleRAC闪存加速

众所周知,任务关键型数据库应用,如Oracle实时应用集群（PealApplicationClusters,RAC）,在进行联机交易事务（OLTP）和联机分析事务（OLAP）工作负载时,需要服务器和相关的共享SAN存储基础架构提供最高的性能级别。多核CPU和虚拟化技术的引入,虽然可以提供OracleRAC服务器工作负载所需的计算资源,     

GPU数据库OLAP优化技术研究

GPU数据库近年来在学术界和工业界吸引了大量的关注. 尽管一些原型系统和商业系统(包括开源系统)开发了作为下一代的数据库系统, 但基于GPU的OLAP引擎性能是否真的超过CPU系统仍然存有疑问, 如果能够超越, 那什么样的负载/数据/查询处理模型更加适合, 则需要更深入的研究. 基于GPU的OLAP引擎有两个主要的技术路线: GPU内存处理模式和GPU加速模式. 前者将所有的数据集存储在GPU显存来充分利用GPU的计算性能和高带宽内存性能, 不足之处在于GPU容量有限的显存制约了数据集大小以及稀疏访问模式的数据存储降低GPU显存的存储效率. 后者只在GPU显存中存储部分数据集并通过GPU加速计算密集型负载来支持大数据集, 主要的挑战在于如何为GPU显存选择优化的数据分布和负载分布模型来最小化PCIe传输代价和最大化GPU计算效率. 致力于将两种技术路线集成到OLAP加速引擎中, 研究一个定制化的混合CPU-GPU平台上的OLAP框架OLAP Accelerator, 设计CPU内存计算、GPU内存计算和GPU加速3种OLAP计算模型, 实现GPU平台向量化查询处理技术, 优化显存利用率和查询性能, 探索GPU数据库的不同的技术路线和性能特征. 实验结果显示GPU内存向量化查询处理模型在性能和内存利用率两方面获得最佳性能, 与OmniSciDB和Hyper数据库相比性能达到3.1和4.2倍加速. 基于分区的GPU加速模式仅加速了连接负载来平衡CPU和GPU端的负载, 能够比GPU内存模式支持更大的数据集.     

固态硬盘混合存储数据库的数据分布优化算法

基于闪存的固态硬盘( SSD)可以有效提升联机事务处理( OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。基于实际数据库系统的实验结果表明,该算法可适应各种SSD空间配置,使基于混合存储的OLTP数据性能得到有效提升。     

一种实时数据库数据存储结构的研究

为了适应国产化指挥显示控制系统中对大批量过程数据的实时快速存储管理的需求,结合实时系统技术和数据库技术,在自主研究设计的力数实时数据库系统的基础上,研究设计了适合当前背景的内存数据的存储结构、磁盘历史数据的存储结构及数据模型,它能够更好地满足当前指挥显示系统的实际需求。     

基于时间戳实化视图动态维护技术的研究

由于源数据的不稳定性,其结构和数据的变化必须及时传播到实体化视图中,以保持实体化视图与源数据变化的一致性,否则会降低实体化视图中数据的新鲜度,并影响OLAP查询结果的真实性和有效性.为此,本文提出了基于时间戳的动态视图维护技术.该技术采用版本链控制技术,通过时间戳的控制进一步使视图更新和查询的同步进行,有效地解决了由于OLTP更新事务和OLAP事务同时访问数据所发生冲突的问题,在满足视图联机实时维护的同时,更好的提高了数据仓库的新鲜度和OLAP的查询效率.     

基于Oracle的OLTP与OLAP数据库设计及实现

介绍了OLAP和OLTP处理系统的概念,根据这两种数据库应用在实时性、并发性及数据量大小等方面的不同,数据库在设计方面侧重的技术各有不同,阐述了数据库设计技术,即内存设计、变量绑定、SQL并行执行、表分区存储、磁盘IO能力等设计技术在这两种数据库中。     

基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的基于聚类的列存储模型、全索引模型与典型的行存储方式进行类比性能测试.实验结果显示,采用传统行存储模型模拟的列存储模型针对OLAP类查询具有很高的数据访问速度及查询性能,整体性能介于行存储数据库与列存储数据库之间.对于实际应用系统来说,该方案减少了整体系统部署代价,而且无需为提高OLAP查询的性能增加额外系统(列存储)投入,从而为OLAP应用提供了良好的性能支持.     

新型非易失存储环境下事务型数据管理技术研究

为适应底层存储架构的变化,上层数据库系统已经经历了多轮的演化与变革。在大数据环境下,以非易失、大容量、低延迟、按字节寻址等为特征的新型非易失存储器件（NVM）的出现势必对数据库系统带来重大影响,相关的存储与事务处理技术是其中值得关注的重要环节。首先,概述了事务型数据库系统随存储环境发展的历史与趋势;其次,对影响上层数据管理系统设计的非易失性存储技术,以及面向大数据应用领域与硬件环境优化的事务技术进行综述与分析;最后,对非易失存储环境下事务型数据库面临的挑战与研究趋势进行了展望。     

基于C4.5和Boosting算法的数据库负载自动识别

对数据库进行调整与优化时,负载的类型是要考虑的一个关键因素.不同的负载类型(联机事务处理OLTP和联机分析处理OLAP),意味着不同的资源分配策略.另外在系统运行中,负载的类型是经常变化的.把基于C4.5决策树算法和Boosting集成学习算法的分类模型用于数据库负载类型的自动识别中,实验结果表明,该分类模型是可行的,达到了令人满意的准确度以及关于负载识别的4个特殊要求.     

Spatial data warehouses and spatial OLAP come towards the cloud: design and performance

Cloud computing systems handle large volumes of data by using almost unlimited computational resources, while spatial data warehouses (SDWs) are multidimensional databases that store huge volumes of both spatial data and conventional data. Cloud computing environments have been considered adequate to host voluminous databases, process analytical workloads and deliver database as a service, while spatial online analytical processing (spatial OLAP) queries issued over SDWs are intrinsically analytical. However, hosting a SDW in the cloud and processing spatial OLAP queries over such database impose novel obstacles. In this article, we introduce novel concepts as cloud SDW and spatial OLAP as a service, and afterwards detail the design of novel schemas for cloud SDW and spatial OLAP query processing over cloud SDW. Furthermore, we evaluate the performance to process spatial OLAP queries in cloud SDWs using our own query processor aided by a cloud spatial index. Moreover, we describe the cloud spatial bitmap index to improve the performance to process spatial OLAP queries in cloud SDWs, and assess it through an experimental evaluation. Results derived from our experiments revealed that such index was capable to reduce the query response time from 58.20 up to 98.89 %.     

基于NVM和HTM的低时延事务处理

硬件事务内存(hardware transactional memory,HTM)能够极大地提升多核内存事务处理的吞吐.然而,为了避免慢速持久化设备对事务吞吐的影响,现有系统以批量的方式提交事务,这使得事务提交有极高的延迟.低时延非易失性内存(non-volatile memory,NVM)的出现,给降低基于HTM的内...     

向量计算Array OLAP查询处理技术

多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置。多核处理器遵循以LLC（Last Level Cache,最后一级cache）大小为中心的优化技术,而众核处理器,如Phi、GPU协处理器,则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计。随着处理核心数量的增长,计算框架更倾向于面向大规模处理核心的、代码执行效率高并且扩展性强的设计思想。提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP,简化OLAP的存储模型和查询处理模型。在Array OLAP计算框架中,维表规范化为基于向量的维过滤器,事实表规范化为带有多维索引的度量属性。通过多维索引计算,一个多维查询被简化为事实表上的向量索引扫描并根据度量表达式进行聚集计算。规范化的向量查找和向量索引扫描具有较好的代码执行效率,并且阶段化的处理模型更好地适应不同的计算平台,将计算阶段分配给最适合的计算平台。同时,Array OLAP是一种面向数据仓库模式特点的设计,向量处理模型设计简单,对于数据仓库维表较小且增长缓慢的特点具有较好的效率。描述了在不同平台上的Array OLAP计算框架并且通过基准测试评估Array OLAP的性能,通过与当前的内存分析型数据库的性能对比,Array OLAP性能超过主流的内存分析型数据库并且可以平滑地迁移到新的硬件平台。     

OLAP技术及其在SQL SERVER 2000中的实现

OLAP系统积累的大量数据如何为决策分析提供支持将成为下一阶段数据库应用的重点，OLAP技术通过数据立方体提供多维度的数据视图，并通过旋转切片等操作扩展查询语言的功能来满足这种需求。文中简要介绍了联机分析处理(On line Analysis Process)中的基本概念、OLAP与传统联机事务处理OLTP的差别、OLAP的相关实现技术，并给出了OLAP在SQL SERVER 2000中的具体实现。最后对OLAP的发展前景作出展望。     

图数据库发展综述

随着数据关联关系的发现、管理和应用的深入, 图数据库快速发展. 归纳总结了图数据库概念、图模型、组成架构图和数据库的特点; 详细阐述了图数据库的关键技术; 分析比较了当前主流图数据库产品, 归纳了当前图数据库主要应用场景; 最后提出图数据库未来发展的趋势.