基于代价的闪存数据库缓冲区置换算法

提出一种基于闪存硬盘(solid state disk,简称SSD)的自适应缓冲区管理算法CBLRU,其将数据页的置换代价与其驻留内存的影响相结合,为每个数据页附加一个权值,当发生页缺失问题时,选择具有最小权值的数据页进行置换,从而可以在延长修改页驻留缓冲区的同时,避免某些修改页长期占用缓冲区中有效空间问题的发生.由于...     

HV-Recovery:一种闪存数据库的高效恢复方法

和磁盘相比,闪存作为一种新型的存储设备,具有读写速度快、抗震、省电、体积小等优点.因此,当前的研究普遍认为闪存将取代磁盘成为新一代的数据库二级存储设备.但是,由于闪存具有和磁盘不同的一些固有的读取特性,将当前基于磁盘设计的数据库直接移植到闪存上时,并不能充分发挥闪存设备的优越性.在数据库的恢复过程中,由于闪存的异地更新和重写之前先擦除的特性将带来大量高代价的小的随机写,直接使用传统的恢复方法在闪存数据库中就更难以充分利用闪存的优越性.因此,文中提出了一种对闪存中天然存在的数据的历史版本来进行管理和利用的恢复方法HV-recovery,来改进undo恢复的性能.通过和开源数据库Oracle Berkeley DB的比较,实验结果表明HV-recovery是原有的恢复算法性能的2～8倍,充分说明了其优越性.     

一种面向SaaS应用多级定制模型的缓存技术研究

对共享架构共享存储的SaaS应用来说,如何实现SaaS应用数据低代价高速查询一直是其中的焦点问题之一.在元数据驱动的SaaS应用多级定制模型中,定制元数据存在层次关系,查询代价较高,普通的数据查询优化机制不足以实现SaaS应用的性能优势.采用元数据传递闭包策略解决该问题,针对多级定制的SaaS应用的特点,提出面向租户的...     

一种多级无缓存高阶路由器的设计与实现

随着高性能网络规模的增加,高阶路由器结构设计成为高性能计算研究的重点和热点。使用高阶路由器,网络能实现更低的报文传输延迟、网络功耗和网络构建成本,同时高阶路由器的应用还可以提高网络可靠性。高性能路由器的阶数不断提高,仅靠扩展单级crossbar交换结构的阶数使路由器内部的连线资源急速增长,交叉开关的实现代价将不可接受,这就需要为高阶路由器设计新型的交换结构。近十年来,出现了以YARC为代表的经典结构化设计以及\"network within a network\"等新型设计方法,未来的研究重点是解决高阶路由器结构设计中遇到的缓存、仲裁和扩展性等各种问题。鉴于此,实现了一种多级无缓存高阶路由器,这种高阶路由器内部是一个多级Clos网络,每一级有相应的仲裁模块对请求进行调度,数据包缓存在输入/输出端口实现,除去这些缓冲区单元,该网络是无缓存的。最后通过BookSim模拟器进行了大量的性能测试,所设计的路由器能够正常工作,性能良好。     

面向分布式数据库的自适应多级缓存机制分析

随着科技的迅速发展,大数据时代已到来,数据的使用不仅仅方便了人们的日常工作,还推动了社会的迅速发展。就目前而言,分布式数据库已建立并且得到了广泛的应用。但在其使用的过程中由于数据分散储存在不同的场地和数据节点,使得数据在使用和访问的过程中会导致节点间的不平衡,降低分布式数据库的整体性能,因而现阶段探寻新的分布式数据库缓存机制越来越重要。笔者以此为背景,从分布式数据库的系统概述出发,阐述了面向分布式数据库的自适应多级缓存机制的关键策略和实现算法,希望对分布式数据库的发展有一定的帮助。     

闪存固态硬盘系统结构与技术

闪存固态硬盘凭借其高性能、低功耗、非易失等特点已经被广泛应用于个人电脑、数据中心和云存储服务等.近10年来,随着制程工艺和微电子技术的发展,闪存固态硬盘的特性发生了显著的变化.首先介绍了闪存存储单元的基本结构和存储原理.然后讨论了闪存固态硬盘的多项控制器关键技术,包括缓存设备、地址转换层、垃圾回收、数据分配、磨损均衡以及纠错码等.这些关键技术将支撑闪存固态硬盘的正常运作.此外,探讨了闪存固态硬盘的并行结构,并分析了闪存固态硬盘并行性利用的限制条件以及最新的并行性优化工作.接着,分析了3D闪存固态硬盘的发展和堆叠式结构,并针对3D固态硬盘的性能和寿命优化工作进行了归纳和分析,提出了现有3D固态硬盘性能和寿命优化工作的不足.最后,总结了当前闪存固态硬盘的现状,并提出可能的未来研究方向.     

一种基于共享转发态的多级缓存一致性协议

在CC-NUMA架构系统中,为了减少缓存一致性维护的开销,大规模CC-NUMA系统通常采用多级缓存一致性域设计,降低平均一致性维护操作数量,从而有效缓解系统性能扩展与一致性维护开销的矛盾.传统的MESI,MESIF,MOESI协议主要是针对单级一致性域优化设计,并且没有考虑到大型数据库应用中查询(数据读访问)业务量占据主导地位的特点,故该类一致性协议在多级缓存一致性域场景下存在着跨域操作频度高、执行效率低等缺点.针对上述问题,提出了一种基于共享转发态的多级缓存一致性协议MESI-SF.该协议创建了一个共享转发态Share-F,允许多个一致性域内同时存在远端数据副本的可读可转发状态,从而能够为同一域内同地址的读请求直接提供共享数据,有效减少了跨域操作,提升系统性能.SPLASH-2程序集模拟结果表明,对于两级Cache一致性域系统,相比MESI协议,MESI-SF能够减少23.0%跨结点访问次数,指令平均执行周期数(cycles per instruction, CPI)降低7.5%;相比MESIF协议,MESI-SF能够减少12.2%跨结点访问次数,指令平均执行周期数降低5.95%.     

一种针对闪存的高效缓冲区置换算法

随着闪存容量的不断增长和闪存应用的日益广泛,针对闪存的缓冲区管理已成为一个迫切需要解决的问题.针对闪存的写代价显著高于读代价的特性,提出一种针对闪存的页面置换算法LEAC.LEAC根据页面的读写负载和闪存的读写代价差异对换出页面引起的预期闪存访问开销进行评估,优先换出预期访问开销最低的页.实验表明,LEAC可以显著降低闪存访问开销.     

网络存储系统中低开销高性能的第二级缓存替换算法的研究

针对网络存储访问特性所带来的第二级缓存性能降低的问题,提出了一种高性能的第二级缓存替换算法。本算法采用顺序页面检测机制,能根据缓存页面顺序程度的不同做出替换选择,以减少缓存失效引起随机访问磁盘的次数,避免不必要的磁头寻道和旋转开销,从而改善整个存储系统的性能。实验结果表明,在多种缓存大小下,本文算法能显著降低有效响应时间,使网络存储系统达到更优的性能。     

移动数据库缓存模型研究

针对移动数据库系统性能有待提高的问题,提出了一种移动数据库缓存模型。采用基于消息摘要的同步算法,通过比较移动客户端与服务器消息摘要表中的消息摘要值,完成缓存同步,维护移动客户端缓存与服务器数据的一致性;该模型还考虑了数据的时效性与事务的优先级,设计了一种基于价值函数的缓存替换算法。实验结果表明,随着缓存数据个数的增加,所提算法的缓存命中率高于最近最少使用(LRU)和LA2U算法,同时随着访问频率的增加,事务的重启率低于LRU和LA2U,有效提高了移动数据库缓存的性能。     

基于写数据页聚簇的固态硬盘缓冲算法

针对Flash写前需擦除,读写I／O开销不均衡等固有缺陷,研究面向闪存缓冲区管理,对提高基于Flash的固态硬盘（SolidState Disk,SSD）访问性能具有重要理论意义和应用价值．通过分析SSD关键技术及现有缓冲区管理算法,实现了一种适用于SSD的基于写数据页聚簇缓冲算法．文章中详细介绍了该算法关键技术及原理,并通过FlashSim仿真平台实现SSD写缓冲．基于仿真结果与传统缓冲算法性能比对,分析得出该缓冲算法可降低SSD随机写次数和SSD数据存储分散性,并提升SSD响应速度．     

MODEC: A Multi-Granularity Mobile Object-Oriented Database Caching Mechanism, Prototype and Performance

An inherent limitation in mobile data access is due to the unreliable and low bandwidth wireless communication channel. Caching of useful database items from database server in local storage of mobile clients is effective in reducing data access latency and wireless bandwidth consumption. In the event of disconnection, cached data can also serve the purpose of partial query processing. In this paper, we present the implementation and evaluate a new caching mechanism for object-oriented database systems in a mobile environment called MODEC. MODEC possesses the capabilities of performing caching at multiple granularities and adapting to changes in data access pattern, providing improved performance through tolerating limited inconsistency to read-only transactions. This caching capabilities is supported via standard ODMG modeling constructs. The prototype of MODEC is implemented using ODE database. Empirical system performance results are obtained from experiments on the prototype with data from a real-life database. The results are validated against results obtained via detailed simulation studies on MODEC. Both sets of results are found to be consistent and are in favor of our MODEC mechanism in providing a feasible solution to the mobile data access problem under the constraints in a mobile environment.     

面向移动端基于社交关系的图片缓存替换算法

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据用户需求再加载原图的策略。在服务器端也采用缓存技术来加快缩略图产生时间,减少磁盘I/O。但是,当前的缓存机制更多关注的是缓存的访问频率、最近访问时间等因素,并没有过多关注数据生成用户之间的社交关系,也没有考虑移动用户对缩略图和原图的不同访问模式。把缓存划分为两个部分:缩略图缓存区和原图缓存区,提出了基于社交关系的图片缓存替换算法,在传统缓存替换算法的基础上增加用户的社交关系以及缩略图和原图的关联关系,通过计算图片的缓存价值进行缓存替换。实验表明,所提出的基于社交关系的图片缓存替换算法对于缩略图和原图的缓存命中率都有明显提高。     

基于替换概率的闪存数据库缓冲区替换算法

闪存具有和传统磁盘不同的特性,包括写前擦除、异地更新、读写延迟非对称等.传统的面向磁盘的缓冲区替换算法无法在闪存数据库系统中获得较好的性能.文中提出了一种新的面向闪存数据库的缓冲区替换算法——APB-LRU,其特点:(1)该算法将缓冲区分为冷区和热区,用来捕获数据访问频度,前者用于存放只访问过一次的数据页,后者用于存放至少访问过两次的数据页;(2)采用了其它研究所没有的概率替换机制,即以较大的概率替换冷区中的干净页,以较小的概率替换冷区中的脏页,从而避免了冷脏页长期驻留缓冲区的情况,提高了命中率,获得了较好的整体性能;(3)设计了冷、热区比例动态变化机制,可以根据工作负载的变化动态调整冷、热区所占缓冲区的比例,从而使得替换算法在不同的负载模式下都可以取得较好的性能.基于不同测试数据集的大量实验结果表明,APB-LRU算法具有比其它已有的算法更好的性能.     

MySQL缓冲区自适应管理仿真研究

由于MySQL使用配置参数的方式调节线性预读的阈值以及冷热LRU算法的冷热比例,导致缓冲区存在性能瓶颈。针对以上问题,提出一种缓冲区自适应管理的方法,该方法通过遗憾最小化的强化在线学习技术设计了自适应阈值调整算法以及自适应冷热缓存替换算法。首先,对MySQL中的预读算法以及冷热缓存替换算法进行深入研究,明确了预读阈值以及冷热比例大小对两种算法的具体影响;其次,通过FIFO历史队列以及增加辅助字段的方式,设计了一套参数评估流程,实时评估当前参数是偏大或偏小;最后,设计了一种参数调整模型,该模型利用MySQL原生的预读算法以及缓存替换算法的性能监控指标,实现对参数的合理调整。在FIU数据集上进行了900组仿真实验,实验表明,相较于MySQL原生的基准预读算法以及冷热缓存算法,自适应后的两种算法能够在基本不牺牲算法运行速度的基础上,有效减少8%的磁盘I/O以及增加24%的缓存命中率;相对于最新的缓存替换算法,自适应后的冷热缓存替换算法在保证缓存命中率的前提下,将速度提升至1.6倍。     

一种高性能高可靠的混合客户端缓存系统

现代数据中心普遍使用网络存储系统提供共享存储服务.存储服务端通常使用独立冗余磁盘阵列(RAID)技术保障数据可靠性,如可以容单/双盘错的RAID5/6.相比于传统磁盘,固态盘具有更低的访问时延和更高的价格,因此将固态盘作为存储客户端缓存成为一种流行的方案.写回法可以充分发挥固态盘的优势加速存储读写性能,然而一旦固态盘发生故障,写回法无法保证数据的一致性和持久性.写直达法简化了一致性模型,但是无法减小写时延.设计并实现一种新的混合客户端缓存(hybrid host cache, HHC),HHC通过使用廉价的日志磁盘镜像存放固态盘上的脏数据来提高可靠性,并且利用写屏障语义保证数据的可靠性和一致性.分析表明,HHC的平均无故障时间远远高于后端存储系统.最后实现了一个原型系统并使用Filebench进行性能评估,结果表明在不同负载下,HHC性能与传统的写回法接近,远远超过写直达法.     

用于二级缓存的一种改进的自适应缓存管理算法

在机群系统或数据库服务器等应用环境下,由于本地内存资源限制,某些大内存应用与磁盘交互过多,会严重损害其性能.在高速网络支持下,把其他节点内存或采用专门的内存服务器作为系统的二级缓存,可减少对磁盘访问并提高应用性能.在二级缓存应用模式下,基于LIRS算法并对其存在的缺点进行改进,提出了一种自适应缓存管理算法LIRS-A. LIRS-A可根据应用访问特征自适应调整,避免了LIRS不适应某些具有时间局部性模式的情况.在TPC-H应用中,LIRS-A比LIRS最多有7.2%的性能提升;在网络流分析数据库的典型Groupby查询中,LIRS-A比LIRS的命中率最多可提高31.2%.