基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

Redis在即时通讯系统中的应用

传统的即时通讯系统的弊端之一是数据库I/O次数频繁,因为在IM中大量短而多的消息持续在磁盘的数据库上进行读写。为了解决数据库造成的系统瓶颈,选取Mysql和内存Key-Value引擎的No SQL数据库Redis两级存储,从而给出基于XMPP的即时通讯系统高可用的优化方案。     

轻量级缓存策略的关系型数据库全文搜索加强与扩展

针对关系型数据库（RDB）现有的全文搜索方案存在的效率低下、资源占用高的问题，提出一种具有增强式辅助缓存的轻量级关系型数据库全文搜索模型。首先，该模型构建基于Redis的倒排索引，并利用缓存索引缩小搜索范围，从而用内存高效的数据处理能力解决关系型数据库I/O瓶颈，并提升系统整体性能；其次，为保证搜索结果的准确性和时效性，进一步提出索引同步策略，而且设计并实现了增量索引组件来隐藏索引处理细节，从而提高模型的易用性和通用性；最后，对于热点数据提供一种基于访问热度的索引更新机制，以降低倒排索引的内存占用。实验结果表明，所提模型在保证关系型数据库全文搜索响应速度和准确度的前提下，空间资源消耗比MySQL全文索引降低了48.8%～60.9%，比Elasticsearch降低了85.2%～96.2%，证明所提模型在实际应用中可行且有效。     

一种批处理块级数据去重方法

数据去重能消除备份中的冗余数据,节省存储资源和网络带宽,因而成为当前数据存储领域的研究热点。针对常用的块级数据去重技术指纹查询开销高、系统吞吐率低等问题,提出一种批处理块级数据去重方法,通过内存缓冲区对指纹进行排序,实现磁盘索引的顺序查询。同时文件以一种双指针有向无环图的结构存储在系统中,以消除文件读时引起的随机磁盘I/O开销。实验结果表明,该方法有效克服了指纹查询的磁盘I/O瓶颈,提高了数据去重时的系统读写性能。     

云平台中MySQL数据库高可用性的设计与实现

为解决OpenStack云平台中单个节点的MySQL数据库在面临高并发访问和海量数据增长的情况下存在可靠性低、存储扩展性差、单点瓶颈等问题,设计并实现一种以Ceph分布式文件系统为存储后端的高可用MySQL数据库集群系统。通过集群技术消除基于独立服务器的单点瓶颈问题,保障业务的可靠性和高可用性,设计一套优化模型提高故障切换效率,底层的Ceph分布式文件系统为数据存储提供扩展性和安全性。实验结果表明,该MySQL高可用集群可以实现存储的扩展和节点失效情况下的故障切换,该优化模型可以有效降低故障切换时间。     

一种基于闪存固态硬盘的辅助缓冲池设计

基于磁盘数据库系统的瓶颈主要在磁盘I／O,通常采用缓冲池的设计,将读到的数据页先放入到内存缓冲池后再进行操作。因此,缓存池的大小直接决定了数据库的性能。通过研究基于闪存固态硬盘的特性,提出了一种基于闪存固态硬盘的辅助缓冲池设计。最后,通过修改开源数据库MySQL InnoDB存储引擎,并通过TPC-C实验对比分析了启用辅助缓冲池后数据库的性能可有100％-320％的提高。     

高并发集群监控系统中内存数据库的设计与应用

在具有大量并发连接的高并发集群监控系统中,传统磁盘数据库由于内外存交换开销过大,无法支撑数据的实时存储与处理,因此大量实时系统都选择采用内存数据库作为数据支撑模块。从介绍内存数据库的关键技术点出发,通过引入虚拟影子内存和粗粒度意向锁来分别改进内存数据库的数据组织和并发控制,设计实现了一个用于支撑高并发集群监控系统的高效内存数据库模块,并且研究了其在实际系统中的应用情况。     

面向复杂对象的高性能内存映射数据库MMDB

为提高数据存取效率,更好地支撑后台业务系统的高性能高并发要求,实现一种基于内存映射的非关系型嵌入式数据库系统MMDB。结合类型定义模板、数据预处理器、内存映射文件、自定义内存分配器、地址空间管理等多项技术,支持以键值结构存储任意C/C++格式数据类,为复杂数据对象提供极快存取速度,尤为适用于部分特定的数据量庞大、数据对象复杂、访问读多写少的后台服务系统场景。实验结果表明,在复杂对象存取场景时,与目前主流内存数据库相比,MMDB拥有明显的效率优势。     

内存数据库的架构设计与应用

内存数据库是把外存全部或部分数据加载到内存中,在内存中维持数据的主拷贝。与传统的磁盘数据库相比,内存数据库中的所有事务,都是在内存中完成,它不与磁盘进行I/O交互。内存处理速度快,内存数据库适合于对信息及时性要求较高、信息并发量大的系统。基于此,笔者根据内存数据库的特性,设计出一个内存数据库架构并应用在项目中。     

基于键值存储的事务控制策略

介绍基于键值存储的优点以及发展趋势，提出键值存储模型中支持事务的方法。新型的键值存储数据库应该具备传统数据库的事务能力，新型数据库实现事务控制，需要与传统关系型数据库不同的策略，本文描述使用写前日志WAL（Write-ahead Log）和并发版本系统CVS（Concurrent Versions System）的事务控制，满足ACID特性。     

组合盘中结合访问次数与能量代价的文件缓存替换策略

如何有效地降低存储子系统能耗是近几年研究的热点议题。新型非易失、抗震、低功耗闪存及固态盘的出现给存储子系统节能带来了新的机会。但其每单位价格昂贵,目前难以替代硬盘的角色。结合硬盘和固态盘的优势,本文采用组合盘(由硬盘和固态盘组成)节能。结合文件访问次数和能量代价,我们提出了改进的文件缓存替换策略FEBR(Frequency&Energy-based replacement)。实验采用两个真实办公用户数据,结果表明组合盘方案是可行的,节能百分比可达70%～80%;与经典替换算法、最新较好的ARC算法以及理想最优页面OPT算法进行了详细比较,FEBR优于其它策略。     

高效Key-Value持久化缓存系统的实现

传统的缓存系统为了追求更高的性能大多是基于内存存储的,数据的持久化功能并不完善,因而系统会受到内存容量的限制,并且在系统宕机时会导致数据全部丢失,无法恢复。为此,在分析传统缓存系统的基础上,针对数据的持久化运用LSM-Tree理论以及Merge-Dump存储引擎进行改进,并参考Google的单机持久化存储系统LevelDB,实现一个分布式的Key-Value持久化缓存系统SSDB,结合传统缓存系统的优点并利用一致性哈希、布隆过滤器等思想对SSDB进行一系列优化。对SSDB性能测试的结果表明,优化后的持久化缓存系统SSDB是纯内存存储的,能有效降低数据的存储成本,且在读写性能上只比Redis下降约600 QPS。     

基于闪存的混合存储系统缓冲区管理算法

由于基于闪存的混合存储系统充分利用了闪存的高速随机读和磁盘的快速顺序写的特性,近年来已经成为了数据库管理系统的二级存储层的高效存储模式,但其I/O访问开销是一个继续提高存储性能的瓶颈.为了降低混合存储系统的I/O访问开销,提出了一种自适应缓冲区管理算法DLSB.该算法根据数据页的逻辑代价和物理代价进行自适应的数据域选择;并在选择的数据域中,比较闪存队列和磁盘队列容量的实际值与理想值来确定数据页的置换,达到了提高I/O访问效率的目的.实验结果表明,该算法有效且可行,显著降低了混合存储系统的I/O访问开销.     

内存数据库系统SwiftMMDB存储管理的设计与实现

该文在深入研究内存数据库系统存储管理技术的基础上,给出了自主开发的内存数据库系统SwiftMMDB存储管理模块的设计与实现方案,针对不同种类的应用背景,设计了两种数据库系统的运行结构以加快本地数据访问;分析并比较了三种内存空间分配方式,使SwiftMMDB能够根据不同应用场合的需求特点选用不同的底层内存分配方式;将哈希索引与T树索引相结合对查询进行优化,提高内存数据库的查询效率。     

面向内存数据网格的分布式事务保障机制

在线事务处理（online transaction processing,OLTP）应用面临并发量和数据量持续增长的问题,并且高并发读写操作使得后台数据库成为瓶颈。内存数据网格（in-memory data grid,IMDG）是基于内存的新型分布式数据访问平台,是解决系统数据库写操作瓶颈的有效技术途径之一。然而内存数据网格中数据访问操作涉及的数据分布是不可预知的,需要提供分布式事务保障。针对内存数据网格的系统特点,提出了一种分布式事务保障机制,设计实现了事务处理模型、请求处理和数据定位方法以及事务保障协议,并规范化地定义了客户端与服务器端以及服务器端之间的操作接口。在事务处理基准测试TPC-W上的实验结果表明,新机制可以提高在线事务应用的处理速度,并具备良好的扩展性。     

Main memory database systems: an overview

Main memory database systems (MMDBs) store their data in main physical memory and provide very high-speed access. Conventional database systems are optimized for the particular characteristics of disk storage mechanisms. Memory resident systems, on the other hand, use different optimizations to structure and organize data, as well as to make it reliable. The authors survey the major memory residence optimizations and briefly discuss some of the MMDBs that have been designed or implemented     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

海量样本数据集中小文件的存取优化研究

针对Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略。该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制。实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取。     

NUMA感知的持久内存存储引擎优化设计

持久性内存(persistmemory,PM)具有非易失、字节寻址、低时延和大容量等特性,打破了传统内外存之间的界限,对现有软件体系结构带来颠覆性影响.但是,当前PM硬件还存在着磨损不均衡、读写不对称等问题,特别是当跨NUMA(nonuniformmemoryaccess)节点访问PM时,存在着严重的I/O性能衰减问题.提出了一种NUMA感知的PM存储引擎优化设计,并应用到中兴新一代数据库系统GoldenX中,显著降低了数据库系统跨NUMA节点访问持久内存的开销.主要创新点包括:提出了一种DRAM+PM混合内存架构下跨NUMA节点的数据空间分布策略和分布式存取模型,实现了PM数据空间的高效使用;针对跨NUMA访问PM的高开销问题,提出了I/O代理例程访问方法,将跨NUMA访问PM开销转化为一次远程DRAM内存拷贝和本地访问PM的开销,设计了Cache Line Area (CLA)缓存页机制,缓解了I/O写放大问题,提升了本地访问PM的效率;扩展了传统表空间概念,让每个表空间既拥有独立的表数据存储,也拥有专门的WAL (write-ahead logging)日志存储,针对该分布式WA...     

一种基于Key-Value数据库的快速地名地址输入提示方法

现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引,大多采用Trie（字典）树索引,Trie树建立时内存消耗巨大,面临海量数据,问题突出。针对以上问题,提出一种基于Key-Value数据库的快速地名地址输入提示方法,该方法基于Trie树结构进行改进,降低了地址索引的复杂度;基于Key-Value数据库构建Trie树,避免了内存消耗巨大的问题。实验结果表明,基于Key-Value数据库构建的Trie树索引较基于内存构建的Trie树索引在事务响应性能方面和内存消耗方面具有明显的优势和效率。