NoSQL数据管理技术

社交网络和微博等新型应用对数据管理技术提出了新的挑战,如海量数据高效存储、高并发访问、高可扩展性和高可用性等。而传统的关系数据库技术无法满足这些新型应用的需求,因此,NoSQL数据管理技术的研究、开发和应用越来越受到重视。本文从NoSQL数据模型、数据存储、查询处理以及SQL与NoSQL混合数据库解决方案等方面,综述了NoSQL数据管理技术发展现状和趋势,并介绍了几种典型的NoSQL产品。     

构建高可用和弹性伸缩的KV存储系统

作为NoSQL的重要组成部分，KV存储系统受到了广大开发者越来越多的关注。但目前常见的KV存储系统本身并不具备自动容灾和在线扩容功能，这给系统运营造成了不少麻烦。为此，本文提出了一种构建高可用和自动弹性伸缩的KV存储系统的方法。     

NoSQL在构建业务信令监测系统中的应用

国内电信运营商当前大多数的信令监测系统都是采用SQL数据库作为存储解决方案,但日志产生的速度往往超出存储的处理速度。在这种情况下,提出使用NoSQL数据库作为另一种存储的解决方案,探讨其在监测系统中的应用。通过比较Oracle和MongoDB的读写性能表现从而分析NoSQL用于处理海量数据的适用性和有效性。以实际使用效果为案例,说明该方案的成效,为众多类似业务的开发提供一种新的技术路线。     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

基于Cassandra的可扩展分布式反向索引的构建

随着云计算时代的到来,大型Web应用的不断发展,海量数据不断增加,集中式的数据检索已不再满足需求.如何在分布式的环境中高效地处理数据检索成为亟待解决的问题.传统的关系型数据存储也无法完全适应云环境,NoSQL(Not only SQL)作为一种云存储形式应运而生,其中Cassandra的应用较为广泛.以分布式的多节点架...     

基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。     

基于SSD SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recor-ding,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%～2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。     

一切为了分布式——2009年Web后端技术回顾

NoSQL运动与分布式技术发展 NoSQL是指用非关系数据库的方式来存储数据,通常也指用key value方式存储。在2008年的时候,key value还是一个新鲜事物,当时比较早的key value存储产品之一Memcachedb发布时,JavaEye的Robin提到“第一眼看到Memcachedb,我就知道她是我寻觅良久的梦中情人”。     

NoSQL的模式

过去一两年，一些用于存储大规模数据的数据存储机制逐渐成形，它们与RDBMS模型相去甚远，被统称为NoSQL。提炼出各种NoSQL方案背后共通的技术原理，有助于更深刻地理解它们对应用程序设计的内在影响。     

混合存储综述

目前存储系统的发展趋向于大容量、低成本和高性能,而任何单一的存储器件如非易失性随机存储器、固态盘、磁盘等由于其物理特性的限制,并不能满足以上需求。混合存储充分利用不同存储器件的特性组成高效的存储系统,既能支持存储系统容量的大幅扩展,又能在保持系统低成本的前提下,显著提高存储系统的性能,成为目前存储系统发展的方向。介绍了混合存储系统的概念和分类,深入分析了基于SSD与HDD混合存储的关键技术,以及目前所面临的挑战,并对未来的混合存储系统进行了展望。