一种应用于闪存数据库的高效B+树索引机制

为解决现有闪存数据库索引机制无法同时具备高索引更新性能和高检索性能的问题,提出一种应用于闪存数据库的高效B+树索引机制。该机制采用日志方式更新索引,利用日志缓存区保证日志快速写入闪存。针对日志方式检索效率低的缺陷,设计节点日志映射表,通过哈希映射直接索引节点更新记录,避免全局搜索节点日志。将更新日志整合为B+树逻辑节点,使索引检索转化为B+树深度搜索,在此基础上设计节点缓存区,提高节点检索效率。实验结果表明,该机制相比日志型索引机制BFTL,更新效率提高了51%、检索效率提高了2.3倍,相比基于Nand闪存转换层的B+树索引机制,在保证与其相当的高检索效率的同时,更新效率提高了2.4倍。     

数据库中聚集索引的B树结构及实例分析

索引是数据库的对象之一,在关系数据库中,索引建立在一张基本表的一列或多列上,索引的逻辑结构是一张二维表,索引表由两类信息组成,一是索引关键字,即在基本表上经常查询的一列或多列属性,二是地址信息,即索引关键字在基本表中所在行的物理地址;索引的物理结构以B树形式组织。按照对基本表的组织方式,索引分为聚集索引和非聚集索引;按照索引关键字取值的唯一性,分为唯一索引和不唯一索引。文章着重探讨聚集索引及其B树结构,用实例分析二维表的B树索引的创建,在B树结构上的查询和更新操作,形象说明索引是如何提高查询效率的,以及进行更新操作时对索引的影响。     

LD_B~+树:闪存系统上一种DBMS索引结构

以往的研究大多针对文件系统,而DBMS存在更多细粒度的更新.本文综合考虑闪存自身的特点、设备种类繁多及不同闪存设备读写特性差别大等,提出了一种基于闪存的DBMS索引结构:LD_B+树.LD_B+树根据工作负载的读写特性动态地调节索引模式使之能够适应于不同种类的闪存设备.LD_B+树采用日志结构组织结点,通过结点转换表和日志缓冲区维护索引结构.模拟实验结果表明,不同闪存设备及工作负载下,LD_B+索引结构比B+树和日志型B+树(BFTL)具有6%-63%的性能提高.     

ZB+-tree：一种ZNS SSD感知的新型索引结构

ZNS SSD是近年来提出的一种新型固态硬盘(solid state drive,SSD)，它以分区(Zone)的方式管理和存取SSD内的数据.相比于传统SSD,ZNS SSD可以有效提升SSD的读写吞吐，降低写放大，减少SSD的预留空间.但是，ZNS SSD要求Zone内必须采用顺序写模式，并且Zone上的空间分配、垃圾回收等任务都需要用户自行控制.ZNS SSD的这些特性对于传统数据库系统的存储管理、索引、缓存等技术均提出了新的挑战.针对如何使传统的B⁺-tree索引结构适配ZNS SSD的问题，提出了一种ZNS SSD感知的新型索引结构——ZB⁺-tree (ZNS-aware B⁺-tree).ZB⁺-tree是目前已知的首个ZNS SSD感知的索引，它以B⁺-tree为基础，利用ZNS SSD内部支持少量随机写的常规Zone(conventional zone,Cov-Zone)和只支持顺序写的顺序Zone(sequential zone,Seq-Zone)，通过常规...     

B+树索引机制的研究及优化

B+树索引是大型数据库系统中较为常用的一种索引技术。当数据庞杂时,B+树索引在查找效率和空间利用率方面还存在不足。针对该问题提出一种改进的B+树结构,首先通过调整叶子结点与非叶子结点的数量关系,以降低树的深度;然后优化原插入算法,在分裂结点前进行平衡处理(BP),以提高树的空间利用率。经试验,改进后的B+树与传统B+树相比,在查找效率和空间利用率上分别提高了10%和6%,证明对B+树的改进具有可行性。     

一种优化的闪存地址映射方法

近年来,NAND闪存广泛应用于各类嵌入式系统.由于“异地更新”的限制,闪存中需要地址映射方法将来自文件系统的逻辑地址转换为闪存中的物理地址.随着闪存存储空间的日益增长,如何使地址映射表占用较小的内存而又不损失较多性能,成为一个重要的问题.基于需求的页级地址映射方法能够有效地解决这个问题,然而该方法会产生地址转换页操作的额外开销,影响系统性能.从基于需求的地址映射方法出发,从两方面进行优化：首先,为了减少转换页的频繁更新,提出了页级地址映射缓存技术以统一在闪存和内存中的地址映射信息的粒度;其次,设计了基于地址转换页的数据聚集技术.通过该技术,每个数据块在垃圾回收时产生的地址转换页的更新开销被降至最低.实验用一系列基准数据集并与之前代表性的工作进行比较,结果表明,优化的地址映射方法能够大量减少额外地址转换页的开销,并提高闪存存储系统的性能.     

RB+树——一种列存储数据的树型索引结构

索引技术是提高海量数据查询效率的关键技术之一.传统索引如B+树等在更新事务环境中具有较好的性能,然而在面向列存储的分析型数据仓库查询环境下,时间空间代价较大.根据列存储数据仓库查询环境的特点,提出一种新型树型索引--RB+树(reduced B+-tree).该索引对传统B+树结构进行了改进,并结合自底向上创建索引树的方法,使得索引的空间利用率、创建和查找效率得到显著的提高.进一步将RB+树应用于列存储数据仓库中,建立了行号索引、列值索引,特别地为解决星型模型中多表连接问题提出连接索引,有效地提高了列存储数据仓库中元组重构与多表连接的效率.在数据仓库基准数据集SSB上的实验验证了方法的有效性.     

面向大数据流的分布式索引构建

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流,根据其时间属性,将数据流划分为连续的时间窗口,提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建,索引构建过程结合基于排序的批量构建技术,进一步对时间窗口分片,将数据流接收、分片数据排序以及B+树构建并行化,提高了构建性能.上层B+树索引基于各时间窗口构建,结合时间窗口时间戳的递增性和无限性,提出了避免节点分裂的构建方法,减少了B+树分裂移动开销,提高了空间利用率和更新效率.WB-Index架构中,将流数据和索引分离,同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明,该分布式索引架构能够支持高效的实时数据流写入以及流数据查询,能够很好地应用于具有时间属性的数据流场景.     

RFN-B+树索引文件及其有效性

在对比传统的B树和B+树的定义和操作算法的基础上,定义了一种新的B+树:RFN-B+树,以获得更高的空间利用率和可用性.首先比较和分析了RFN-B+树与传统B+树的空间效率,然后讨论了RFN-B+树索引文件的有效性以及支持这种有效性的全链接指针结构和两个备用模块:基于虚拟根结点的随机检索算法和重构结点的算法.     

FQM-tree:基于B~+树的时态索引

提出了一种基于B~+树的、针对有效时间区间的索引模式:FQM-tree(fast query map tree).FQM-tree将有效时间区间映射为一维空间上的点,对映射点建立索引;同时增加一个基于内存的辅助索引结构,最大程度地减少对无效节点的访问.该索引结构具有如下优点:首先,将时问区间映射为点,可以直接利用已有应用成熟的、被广泛支持索引结构(如B~+树),这就意味着可以在数据库中快速实现对时态索引的支持,而无需更改DBMS的内核;其次,基于内存的辅助索引结构可以直接定位叶节点,提高了时态查询效率;另外,由于当前B~+树仍是数据库中应用最成熟、最广泛的索引结构,因此借助B+树的基本结构研究时态索引,使得时态索引能够快速地得到具体应用,所以FQM-tree的研究具有广泛的应用价值.理论分析及大量的实验结果均表明,FQM-tree的查询性能优于传统的时态索引方法.     

基于结构摘要的时态索引技术

目前B+树仍是在商业数据库中应用最广泛的基本索引结构,为在现有数据库平台上对时态数据进行有效操作,有必要研究基于B+树的时态索引技术.研究了一种以B+树为基本存储结构、基于结构摘要的时态索引方法Cmap-tree.首先,引入基于内存的结构摘要,通过存储结点必要的结构摘要信息,有效地降低了时态操作过程中对无效结点的访问;其次,提出了时态矩阵的概念,并以时态矩阵为参考详细分析了各时态关系对应的结果集;然后,在结构摘要的基础上,详细讨论了Cmap-tree的时态插入、查询和更新算法.最后,通过仿真实验,对Cmap-tree的空间利用率、查询效率和更新效率等基本性能与现有时态索引方法进行了比较和分析.实验结果表明,Cmap-tree具有明显优势.     

基于布隆过滤器和B+树构建倒排索引的电子病历密文搜索

电子病历包含病人的隐私信息,如何在保密情况下进行电子病历内容搜索是医院电子病历数据有效利用的难点。针对电子病历密文搜索,提出一种基于布隆过滤器(BF)和B+树的快速搜索方法。该技术对电子病历建立BF,按照倒排索引方式组织起来并建立B+树,能够支持在不泄露用户搜索关键词的前提下,对电子病历密文直接进行查询,安全级别达到IND-CKA级别。实验结果表明:由于使用BF与B+树结构,空间过滤特性高,无须解密即可达99%的过滤效率,查询效率高,且支持布尔查询,有效促进加密电子病历数据的应用。     

NTFS目录下索引B+树结构动态解析

为开发直接操作新技术文件系统(NTFS)的程序,并解决NTFS方面开发的技术难题,对磁盘上的具体目录索引B+树结构进行了分析.由于NTFS大目录在磁盘上的存储结构与主文件表和索引缓冲区大小相关,提出了三级大目录的概念,并在此基础上总结了相关文件操作下目录结构的动态变化规律.程序运行结果表明,该分析有效可行,有利于深入了解NTFS文件系统的结构.     

Mashup运行时的性能优化方法

近几年来,互联网上出现了一类称为Mashup的新型应用,它使最终用户能够个性化地聚合和操作分布在互联网上的数据源.然而,关于Mashup在动态环境下运行时的性能研究还比较缺乏.为此,利用缓存技术提出了Mashup运行时的性能优化方法——POMO.POMO具有以下3个主要创新点:首先,POMO通过算子序列的缓存点的成本和收益模型实现了动态缓存点选取;其次,POMO通过缓存点的B+树索引实现了缓存点重用;第三,POMO通过两阶段切换数据传输协议实现了缓存点更新.实验分析结果表明:POMO减少了Mashup在动态环境下的运行成本,提高了Mashup运行时的性能     

基于B+树存储的AABB包围盒碰撞检测算法

对于碰撞检测算法,使用传统的AABB包围盒来构建包围盒层次树时,其包围盒层次树的层数、叶子结点的个数和各结点的存储字节数是影响碰撞检测效率的主要因素.为了减少结点存储容量对碰撞检测效率的影响,提高碰撞检测的效率,文中采取B+树的存储结构来存储包围盒等信息.在包围盒相交测试之前,使得各结点存储索引有序,不需要再对各结点进行额外的排序,减少了内存开销,并且避免了不必要的包围盒测试.此外B+树的非叶子结点不存储具体的数据信息,从而减少了整棵树的存储空间.实验表明,在检测环境和检测对象相同的条件下,使用B+树存储的AABB包围盒碰撞检测算法的检测时间明显比传统的AABB算法短.     

UStore：面向新型硬件的统一存储系统

数据规模的爆发式增长使得分布式存储广泛应用，长期以来分布式存储直接使用本地文件系统访问本地存储资源，随着高性能NVMe SSD、持久内存（persistent memory,PMEM）、异构加速设备的出现，本地文件系统难以发挥新型器件的特性和性能优势.现有很多研究针对SSD或者PMEM的硬件特性在软件层面进行优化和改进.然而，这些工作兼容性和扩展性差，不能灵活适配硬件环境变化，缺乏面向新型硬件的统一解决方案.提出了一种兼容多种存储介质的统一存储系统UStore，可根据业务场景灵活选择存储介质，并针对PMEM、KVS加速卡、NVMe SSD等典型硬件进行组合设计优化，充分利用其硬件特性，满足多层次的业务需求；通过一种与物理存储介质形态解耦的元数据设计，使其适应不同硬件的性能和原子更新能力差异，实现灵活的元数据存储策略；通过高效的数据管理机制和更新策略，实现无日志的数据原子写保证，消除了现有系统的写放大以及性能抖动等问题.实验结果表明，相比于BlueStore,UStore的4KB随机读性能提升了3.2倍，4KB随机写提高了8.2倍，3种典型硬件组合下UStore表现出与之相匹配的数据访问...