闪存数据库管理系统的分析与设计

固态硬盘采用闪存作为存储介质,它的随机读取速度是磁盘的大约20倍,此外它还具有低功耗、抗震性强,体积小的特点,被认为是取代磁盘的新一代数据存储设备。但是传统的基于磁盘的数据库管理系统并不适用于固态硬盘,这使得固态硬盘并不能充分发挥它快速读取的优良性能。在近两年来,对闪存数据库管理系统的研究成为新兴的热门领域。本文对用于固态硬盘的闪存数据库管理系统作了简要的设计与分析。     

基于固态硬盘数据库在OLTP应用中的优化研究

基于磁盘数据库系统的瓶颈主要在于磁盘速度。固态硬盘的出现,使磁盘的速度得到了极大的提高。传统的数据库底层设计主要面向磁盘I／O性能极低的传统机械硬盘。文章通过比较和分析固态硬盘的优势,提出了基于固态硬盘数据库的底层性能优化的方法。通过实验比较了基于固态硬盘数据库性能优化前后的差异。     

Sub-Join:面向闪存数据库的查询优化算法

固态硬盘具有高速的随机读取速度、低功耗、体积小等特点,被认为将取代磁盘成为新一代的数据存储设备。但是闪存数据库的查询性能的提高却远小于固态硬盘相比于磁盘I/O性能的提高,其原因在于现有的数据库是基于磁盘设计的,不能充分发挥固态硬盘的高速性能。提出一种名为子连接(Sub-Join)的连接算法。首先将数据表的连接列和主键投影为新的子表,然后对子表进行接连操作,最后根据子表的连接结果再从原始数据表中回取查询结果。通过和开源数据库Oracle Berkeley DB的比较实验,结果表明子连接算法比原有算法的性能提高了40%～100%,充分说明了它的优越性。     

基于闪存的数据库性能评测与优化分析

随着闪存容量的不断提升,技术的不断成熟,闪存数据库成为数据库的热点研究领域之一.了解闪存的IO特性,以及现有数据库产品在闪存上的性能瓶颈所在是闪存数据库设计改进的首要一步.目前广泛使用的是由闪存制造的固态硬盘,而固态硬盘与闪存芯片的特性又有很大不同.首先测试了固态硬盘的基本IO特性,接着使用TPC-B标准对部署在固态硬盘上的通用数据库产品进行了评估.分析了缓冲区大小、CPU处理能力、用户并发数等对基于闪存数据库性能的影响.最后,结合测试结果,从数据组织、数据库资源利用等多方面给出优化建议.     

基于固态硬盘内部并行的数据库表扫描与聚集

随着基于闪存的固态硬盘在个人计算机和企业服务器上的广泛应用,固态硬盘受到学术界和工业界越来越多的关注.除了具有闪存存储器的优良特性之外,固态硬盘内部还具有丰富的并行特性.传统数据库系统的物理操作表扫描和上层聚集操作是针对磁盘的机械特性和对称读写特性而设计的,并不能发挥固态硬盘内部并行特性的优势.文中首先将固态硬盘作为一个黑盒进行探测以了解其内部的并行特性.在此基础上,对传统数据库表扫描操作进行相应的改进,提出一种并行表扫描模型ParaSSDScan以充分利用固态硬盘内部丰富的并行特性.其次,基于并行表扫描模型,文中还提出一种高效的并行聚集操作模型ParaSSDAggr,并利用该聚集操作模型实现几种常见聚集操作.最后,通过实验表明并行表扫描和并行聚集操作的性能较之传统数据库表扫描和聚集操作的性能分别提高了3倍和4倍,同时实验结果还表明并行聚集操作对内存的需求不大.并行表扫描和并行聚集操作大大提高了表扫描和聚集操作的性能,充分说明了固态硬盘内部并行特性的优越性.     

面向闪存的树型索引综述

随着闪存技术的不断成熟,基于闪存的固态硬盘（solid state drive,SSD）迅速发展。然而,SSD具有不同于磁盘的特性,使得传统基于磁盘设计的索引不适用于闪存环境,因此面向闪存索引机制的研究与优化迅速开展。通过对目前闪存索引的广泛调研,从索引更新策略的角度,分析了它们的优缺点,旨在为SSD算法设计和索引开发提供系统的、有价值的参考。最后讨论了该领域未来的发展趋势和新的研究方向。     

固态硬盘混合存储数据库的数据分布优化算法

基于闪存的固态硬盘( SSD)可以有效提升联机事务处理( OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。基于实际数据库系统的实验结果表明,该算法可适应各种SSD空间配置,使基于混合存储的OLTP数据性能得到有效提升。     

闪存进攻主流固态硬盘及混合硬盘

闪存在存储领域的应用已经非常普及,从USB闪存到固态硬盘,再到性价比较高的混合硬盘,闪存的应用已经无处不在,并且闪存凭借快速的存取速度,已经成为存储领域提升速度的不二法宝,除了移动存储之外,闪存正进攻传统硬盘领域,为用户提供更高的磁盘性能。     

闪存、主控、缓存 固态硬盘最重要的三颗芯

SSD固态硬盘的普及,终于解决了Pc在存储性能上的短板。那么,这种依托于闪存技术的存储设备源何这般强劲？其背后又有哪些值得我们关注的技术？本文我们就以闪存领域领导品牌——闪迪旗下产品为例,探讨一下影响SSD性能表现的关键所在。 固态硬盘的三颗“芯” 与传统机械硬盘相比,固态硬盘最大的特点就是没有磁头、电机、磁盘等复杂的物理结构,而是由纯芯片构成的“电子硬盘”,因此在防震、节能和速度上有着先天的优势。随便拆开一款固态硬盘,都能在PCB板上看到无数颗芯片,而决定固态硬盘性能表现的,则是这些芯片中最为重要的三颗“芯脏”：闪存芯片、主控芯片和缓存芯片。     

基于随机游走的大容量固态硬盘磨损均衡算法

基于闪存的大容量固态硬盘(SSD)能够在未来取代磁盘.它有很多优点,包括非易失性、低能耗、抗震性强等.然而,基于NAND闪存的存储块自身存在有限的擦除重写次数的问题一直影响着它的广泛应用.当闪存芯片达到擦除重写的限制次数后,存储块上的数据就会变得不可靠.目前研究者们已经提出了一些磨损均衡算法来解决这个问题.但当固态硬盘的存储容量不断增大后,这些算法需要越来越多的内存容量来保证运行.文中提出一种基于随机游走的磨损均衡算法来应用在大容量的固态硬盘上,该算法能够很大程度地减少内存消耗.实验表明所需内存容量仅为BET算法的15.6%,与此同时磨损均衡的性能并没有降低.     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

基于写数据页聚簇的固态硬盘缓冲算法

针对Flash写前需擦除,读写I／O开销不均衡等固有缺陷,研究面向闪存缓冲区管理,对提高基于Flash的固态硬盘（SolidState Disk,SSD）访问性能具有重要理论意义和应用价值．通过分析SSD关键技术及现有缓冲区管理算法,实现了一种适用于SSD的基于写数据页聚簇缓冲算法．文章中详细介绍了该算法关键技术及原理,并通过FlashSim仿真平台实现SSD写缓冲．基于仿真结果与传统缓冲算法性能比对,分析得出该缓冲算法可降低SSD随机写次数和SSD数据存储分散性,并提升SSD响应速度．     

数据缓冲区自适应优化算法的模拟研究

为决定数据库在复杂负载下运行时,数据缓冲区自适应优化所要求的大小与方向,提出了基于模拟仿真的自适应优化算法,通过建立模拟数据缓冲区(simulated buffer pool,SBP)来决定调整的方向。应用缓冲错失公式(buffer miss equation,BME)结合基于模拟仿真自适应优化算法监测数据库运行状态时所获得的一系列关键数据,来确定优化调整的具体方案。实验结果表明,该算法提升了数据库整体性能,并在长时间内保持性能高效稳定。     

基于哈希算法的脏数据回写磁盘实时调优策略

针对传统数据库缓冲池脏数据回写磁盘策略实时性与安全性差的问题,提出基于Hash算法与先入先出(FIFO)双向链表的数据库缓冲池脏数据回写磁盘实时调优策略。利用基于负载的调优策略创建多个内存FIFO队列链表,通过Hash算法将数据库缓冲区内的脏数据块按最后修改时间随机分配到不同队列负载中,实现FIFO队列链表的负载均衡,并利用全局时序约束将链表队列中的脏数据块分批回写磁盘,以解决传统脏数据回写磁盘策略系统资源消耗大与宕机后数据丢失风险高的问题。实验结果证明,该策略能提高脏数据回写的实时性及安全性,降低数据丢失率。     

高性能服务器底层网络通信模块的设计方法

在对I／O完成端口进行底层封装的基础上,提出一种具有高性能的、可扩展性的通用网络通信模块设计方案。该方案采用多种系统性能优化技术,如线程池、对象池和环形缓存区等。该模块在Win32平台上用C＋＋开发完成,经过严格的压力和性能测试后,实验结果表明该模块能够支持海量并发连接,具有较高的数据吞吐量,在实际项目应用中也取得了良好的表现。     

Study of the performance impact of a cache buffer in solid-state disks

An SSD generally has a small memory, called cache buffer, to increase its performance and the frequently accessed data are maintained in this cache buffer. These cached data must periodically write back to the NAND Flash memory to prevent the data loss due to sudden power-off, and it should immediately flush all dirty data items into a non-volatile storage media (i.e., NAND Flash memory), when receiving a flush command, while the flush command is supported in Serial ATA (SATA) and Serial Attached SCSI (SAS). Thus, a flush command is an important factor to give significant impact on SSD performance.In this paper, we have investigated the impact of a flush command on SSD performance and have conducted in-depth experiments with versatile workloads, using the modified FlashSim simulator. Our performance measurements using PC and server workloads provide several interesting conclusions. First, a cache buffer without a flush command could improve SSD performance as a cache buffer size increases, since more requested data could be handled in the cache buffer. Second, our experiments have revealed that a flush command might give a negative impact on SSD performance. The average response time per request with a flush command is getting worse compared to not supporting the flush command, as cache buffer size increases. Finally, we have proposed the backend flushing scheme to nullify the negative performance impact of the flush command. The backend flushing scheme first writes the requested data into a cache buffer and sends the acknowledgment of the request completion to a host system. Then, it writes back the data in the cache buffer to NAND Flash memory. Thus, the proposed scheme could improve SSD performance since it might reduce the number of the dirty data items in a cache buffer to write back to NAND Flash memory.All these results suggest that a flush command could give a negative impact on SSD performance and our proposed backend flushing scheme could improve the SSD performance while supporting a flush command.     

连接池技术在ASP.NET管理系统中的应用

在基于ASP．NET的管理系统中,应用程序常常要从数据库中获得大量的数据来生成Web页面。提高数据库访问速度,节省系统开销是开发这种管理系统的关键因素。本文主要研究了连接池技术如何在基于ASP．NET的管理系统中的应用;如何合理使用连接池技术,避免连接池溢出以及控制连接异常的方法。     

Buffer flush and address mapping scheme for flash memory solid-state disk

The flash memory solid-state disk (SSD) is emerging as a killer application for NAND flash memory due to its high performance and low power consumption. To attain high write performance, recent SSDs use an internal SDRAM write buffer and parallel architecture that uses interleaving techniques. In such architecture, coarse-grained address mapping called superblock mapping is inevitably used to exploit the parallel architecture. However, superblock mapping shows poor performance for random write requests. In this paper, we propose a novel victim block selection policy for the write buffer considering the parallel architecture of SSD. We also propose a multi-level address mapping scheme that supports small-sized write requests while utilizing the parallel architecture. Experimental results show that the proposed scheme improves the I/O performance of SSD by up to 64% compared to the existing technique.