基于替换概率的闪存数据库缓冲区替换算法

闪存具有和传统磁盘不同的特性,包括写前擦除、异地更新、读写延迟非对称等.传统的面向磁盘的缓冲区替换算法无法在闪存数据库系统中获得较好的性能.文中提出了一种新的面向闪存数据库的缓冲区替换算法——APB-LRU,其特点:(1)该算法将缓冲区分为冷区和热区,用来捕获数据访问频度,前者用于存放只访问过一次的数据页,后者用于存放至少访问过两次的数据页;(2)采用了其它研究所没有的概率替换机制,即以较大的概率替换冷区中的干净页,以较小的概率替换冷区中的脏页,从而避免了冷脏页长期驻留缓冲区的情况,提高了命中率,获得了较好的整体性能;(3)设计了冷、热区比例动态变化机制,可以根据工作负载的变化动态调整冷、热区所占缓冲区的比例,从而使得替换算法在不同的负载模式下都可以取得较好的性能.基于不同测试数据集的大量实验结果表明,APB-LRU算法具有比其它已有的算法更好的性能.     

基于ARC的闪存数据库缓冲区算法

闪存是一种纯电子设备,具备体积小、数据读取速度快、能耗低、抗震性强等优点,被用来部分替代机械硬盘从而提升存储系统的性能.但是,现有的缓冲区置换算法都是针对机械硬盘的物理特性进行设计和优化,因此有必要针对闪存的物理特性重新设计缓冲区置换算法.提出一种新的面向闪存数据库的缓冲区替换算法CF-ARC.算法设计了一种新的页替换机制,即在替换干净页或者脏页的时候考虑其访问频度的大小,优先将访问频度少的干净页替换出缓冲区,使得热页继续留在缓冲区提高命中率,从而获得更好的性能,通过对实验结果的对比分析发现CF-ARC在多数情况下具有比其它置换算法更高的性能.     

闪存数据库缓冲区置换算法综述

随着闪存技术的发展和闪存容量的不断增大,闪存存储被广泛应用,给闪存数据库管理带来机遇和挑战。因为闪存和磁盘读写方式不同,读写性能也有差别,所以对于闪存缓冲区的管理成为一个亟待解决的问题。为了提高闪存的访问性能,缓冲区置换算法在保证命中率的同时要尽量减少写和擦除操作的次数。对主流的闪存数据库缓冲区置换算法进行分析,比较了几种算法的优点和不足,并给出了未来研究的方向。     

一种基于闪存的混合存储仿真系统

近年来闪存发展非常迅速,已成为一种大容量、高性能、低功耗、非易失的新型存储产品,其可以有效弥补内存和磁盘的性能差距完善存储系统。为此,设计一种基于闪存的混合存储仿真系统HybridArch,增加文件分布层,支持文件的分割、分布和文件接口访问,并实现5种混合存储体系结构,包括传统的内存-磁盘双层结构、纯闪存结构、闪存作为部分磁盘结构、塔式结构和水平缓存结构。基于HybridArch对上述混合存储体系结构进行仿真实验,分析比较其在性能和闪存写入量等方面的优劣,结果表明,水平缓存体系结构在性能、性价比、闪存设备寿命等方面综合表现较好。     

一种基于闪存的缓冲区管理算法

在大多数以磁盘为存储系统的操作系统中,缓冲区管理算法只考虑到了数据访问的命中率。然而,闪存的写操作代价远远大于读操作代价。为了提高闪存性能,本文提出的O CFLRU（Optimal CFLRU）算法对于CFLRU（Clean First LRU）算法做了优化。该算法用一种页 块混合的数据结构来分别管理缓冲区中的干净页面和脏的数据页面聚簇。当缓冲区空间不够时,优先置换干净页面,再置换出脏的数据页聚簇,从而减少了写回的次数和随机写带来的擦除次数,提高了闪存的性能。     

HV-Recovery:一种闪存数据库的高效恢复方法

和磁盘相比,闪存作为一种新型的存储设备,具有读写速度快、抗震、省电、体积小等优点.因此,当前的研究普遍认为闪存将取代磁盘成为新一代的数据库二级存储设备.但是,由于闪存具有和磁盘不同的一些固有的读取特性,将当前基于磁盘设计的数据库直接移植到闪存上时,并不能充分发挥闪存设备的优越性.在数据库的恢复过程中,由于闪存的异地更新和重写之前先擦除的特性将带来大量高代价的小的随机写,直接使用传统的恢复方法在闪存数据库中就更难以充分利用闪存的优越性.因此,文中提出了一种对闪存中天然存在的数据的历史版本来进行管理和利用的恢复方法HV-recovery,来改进undo恢复的性能.通过和开源数据库Oracle Berkeley DB的比较,实验结果表明HV-recovery是原有的恢复算法性能的2～8倍,充分说明了其优越性.     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

面向闪存的树型索引综述

随着闪存技术的不断成熟,基于闪存的固态硬盘（solid state drive,SSD）迅速发展。然而,SSD具有不同于磁盘的特性,使得传统基于磁盘设计的索引不适用于闪存环境,因此面向闪存索引机制的研究与优化迅速开展。通过对目前闪存索引的广泛调研,从索引更新策略的角度,分析了它们的优缺点,旨在为SSD算法设计和索引开发提供系统的、有价值的参考。最后讨论了该领域未来的发展趋势和新的研究方向。     

MySQL缓冲区自适应管理仿真研究

由于MySQL使用配置参数的方式调节线性预读的阈值以及冷热LRU算法的冷热比例,导致缓冲区存在性能瓶颈。针对以上问题,提出一种缓冲区自适应管理的方法,该方法通过遗憾最小化的强化在线学习技术设计了自适应阈值调整算法以及自适应冷热缓存替换算法。首先,对MySQL中的预读算法以及冷热缓存替换算法进行深入研究,明确了预读阈值以及冷热比例大小对两种算法的具体影响;其次,通过FIFO历史队列以及增加辅助字段的方式,设计了一套参数评估流程,实时评估当前参数是偏大或偏小;最后,设计了一种参数调整模型,该模型利用MySQL原生的预读算法以及缓存替换算法的性能监控指标,实现对参数的合理调整。在FIU数据集上进行了900组仿真实验,实验表明,相较于MySQL原生的基准预读算法以及冷热缓存算法,自适应后的两种算法能够在基本不牺牲算法运行速度的基础上,有效减少8%的磁盘I/O以及增加24%的缓存命中率;相对于最新的缓存替换算法,自适应后的冷热缓存替换算法在保证缓存命中率的前提下,将速度提升至1.6倍。     

闪存数据库管理系统的分析与设计

固态硬盘采用闪存作为存储介质,它的随机读取速度是磁盘的大约20倍,此外它还具有低功耗、抗震性强,体积小的特点,被认为是取代磁盘的新一代数据存储设备。但是传统的基于磁盘的数据库管理系统并不适用于固态硬盘,这使得固态硬盘并不能充分发挥它快速读取的优良性能。在近两年来,对闪存数据库管理系统的研究成为新兴的热门领域。本文对用于固态硬盘的闪存数据库管理系统作了简要的设计与分析。     

HF-Tree:一种闪存数据库的高更新性能索引结构

随着电子技术的发展,闪存作为一种新型的电子存储设备具有高速的访问速度和无机械延迟的特性.但是由于闪存高昂的写操作代价,传统的基于磁盘的索引结构如果直接应用在闪存上会导致极差的更新性能.提出一种新颖的索引结构HF-Tree,通过组提交、更新合并以及多级延迟的方式来提高更新性能.HF-Tree能够有效地克服闪存和现有基于磁盘索引之间的不匹配性的问题.通过和经典的BFTL及IPL索引的性能比较,实验结果充分显示了HF-Tree优越的更新和查询性能.此外HF-Tree能够有效地减少擦除次数,从而延长闪存的使用寿命.     

浅谈闪存市场和技术趋势

正虚拟化、云计算、大数据和移动互联在中国市场的不断普及,刺激着中国用户对OLTP、OLAP、IOPS、低延迟的需求不断提高。传统磁盘技术相对于CPU的性能跌幅,以及受限于控制器架构和磁盘寻道,无法满足中国用户持续提升的需求,刺激着闪存在中国市场的增长。据中桥在2013年12月针对闪存市场趋势的调研,目前来看,闪存在中国市场有较大的市场教育空间,44.3%的中小企     

闪存进攻主流固态硬盘及混合硬盘

闪存在存储领域的应用已经非常普及,从USB闪存到固态硬盘,再到性价比较高的混合硬盘,闪存的应用已经无处不在,并且闪存凭借快速的存取速度,已经成为存储领域提升速度的不二法宝,除了移动存储之外,闪存正进攻传统硬盘领域,为用户提供更高的磁盘性能。     

基于闪存的混合存储系统缓冲区管理算法

由于基于闪存的混合存储系统充分利用了闪存的高速随机读和磁盘的快速顺序写的特性,近年来已经成为了数据库管理系统的二级存储层的高效存储模式,但其I/O访问开销是一个继续提高存储性能的瓶颈.为了降低混合存储系统的I/O访问开销,提出了一种自适应缓冲区管理算法DLSB.该算法根据数据页的逻辑代价和物理代价进行自适应的数据域选择;并在选择的数据域中,比较闪存队列和磁盘队列容量的实际值与理想值来确定数据页的置换,达到了提高I/O访问效率的目的.实验结果表明,该算法有效且可行,显著降低了混合存储系统的I/O访问开销.     

基于相变存储器和闪存的数据库事务恢复模型

随着闪存容量不断增大、价格不断下降,闪存在实际存储系统上得到了越来越广泛的应用.但是,闪存的页级读写、异位更新、有限寿命等阻碍了闪存数据库系统的性能提升,尤其是事务恢复.闪存的异位更新使得影子页技术可以很好地支持闪存数据库事务恢复,同时也给闪存数据库带来新挑战,如事务管理、缓冲区管理.相变存储器凭借其比闪存更高的读写速度、更小的读写粒度、更长的寿命成为了下一代主流存储技术,所以相变存储器可以用于解决在闪存数据库中使用影子页技术所产生的事务管理和缓冲区管理问题.该文基于相变存储器和闪存混合式存储提出一种全新的数据库事务恢复模型——SPFP.该模型充分利用相变存储器的特性完成事务管理.为支持非强制缓冲区管理,基于SPFP提出了一种优化的数据库事务恢复模型——SPFLP,利用相变存储器记录更多事务信息.实验结果表明,相较于全闪存存储的数据库系统,SPFLP大大提高了基于混合存储的数据库事务处理性能.     

FClock:一种面向SSD的自适应缓冲区管理算法

现有的各种基于闪存的缓冲区管理算法针对闪存读写代价的不对称性进行改进,实际中既存在同一闪存读写代价的不对称性问题,也存在不同闪存不对称性之间的巨大差异性问题,而后者一直没有得到足够的重视.文章提出一种基于闪存硬盘(SSD)的自适应缓冲区管理算法FClock,FClock将数据页组织为两个环形数据结构(CC和DC),分别用于存储缓冲区中的只读数据页和已修改数据页.当需要选择置换页时,FClock使用基于代价的启发式来选择置换页,可在未修改的数据页和已修改的数据页之间进行公平的选择,适用于不同种类的SSD.针对数据库、虚存和文件系统中数据页访问存在高相关性的特点,提出基于"平均命中距离"的访问计数方法来调整数据页的访问频率.基于不同SSD和不同存取模式的实验结果说明,FClock的综合性能优于已有方法.     

PostgreSQL闪存缓冲区置换算法扩展与性能验证

针对闪存缓冲区置换算法的性能验证基本采用仿真模拟的现状,提出了一种基于PostgreSQL的有说服力的性能验证方法,重点讨论了在PostgreSQL上扩展闪存缓冲区置换算法的方法和实现技术,并以CFLRU(clean first least recently used)和CCFLRU(cold clean first least recently used)算法为例,给出了具体的扩展过程。然后以一块固态硬盘作为数据存储设备进行性能测试,测试结果证明了基于PostgreSQL的扩展方法在缓冲区置换算法性能验证上的有效性。     

闪存数据库顺序和随机操作性能深度测试和分析

闪存作为一种可供替代磁盘的新型存储介质,已经开始越来越广泛地被个人和企业使用。固态硬盘(SSD)的速度大大超出磁盘,但因为数据库系统并未完全发挥闪存的特性,闪存数据库的性能并没有得到相应的提升。详细测试和研究SSD的顺序和随机操作的差异,进一步证明现代SSD具有较快的随机访问速度。选取具有代表性的数据库基准,调整各查询的查询计划,观察不同查询计划下数据库系统的性能。由此发现,某些查询计划可以更好地发挥出SSD的随机访问特性,其中某个查询的最佳性能甚至比使用默认的查询计划快6倍以上。最后,总结传统数据库系统面对SSD这一介质的短板,并提出一些优化的建议。     

闪存数据库:现状、技术与展望

随着闪存存储技术的发展,闪存已经广泛应用于各种移动设备、PC机和服务器中.作为一种完全不同于磁盘的新型存储介质,闪存具有非易失、高速读写、抗震、低功耗、高存储密度等物理特性,这使得基于闪存的数据管理问题成为新的挑战.数据库系统是数据管理的重要技术,将现有的数据库系统直接移植到闪存上并不能充分发挥其硬件特性,设计实现基于闪存的数据库系统是当前的一个研究热点.文中介绍了闪存的特性和闪存转换层;总结了缓冲区、索引、查询和事务等数据库关键技术;讨论了基于闪存的混合存储数据管理.最后,基于该领域亟待解决的诸多问题,指出了未来的研究方向.     

基于闪存的数据库性能评测与优化分析

随着闪存容量的不断提升,技术的不断成熟,闪存数据库成为数据库的热点研究领域之一.了解闪存的IO特性,以及现有数据库产品在闪存上的性能瓶颈所在是闪存数据库设计改进的首要一步.目前广泛使用的是由闪存制造的固态硬盘,而固态硬盘与闪存芯片的特性又有很大不同.首先测试了固态硬盘的基本IO特性,接着使用TPC-B标准对部署在固态硬盘上的通用数据库产品进行了评估.分析了缓冲区大小、CPU处理能力、用户并发数等对基于闪存数据库性能的影响.最后,结合测试结果,从数据组织、数据库资源利用等多方面给出优化建议.