基于HBase的交通数据时空分块索引

智能交通领域快速发展带来的海量交通数据已难以通过传统关系型数据库及时处理。针对交通数据的分布特点与查询需求,提出了一种基于分布式数据库HBase的时空分块索引框架(STB-HBase),利用HBase行键设计结合二级索引的方式,解决数据在时空维度分布不均引起的热点问题,并设计出STB-HBase下的移动对象轨迹查询和时空范围查询算法。实验结果表明,STB-HBase对交通数据有良好的存储性能和查询效率。     

基于NoSQL的企业人力资源信息云平台存储方案设计

全球信息化时代的来临,带动了社交网络与电子商务的快速发展,使企业逐渐进入全球化市场,而人力资源管理已经成为制约企业发展的瓶颈问题。本文分析了企业在招聘人才时所遇到的困难,建议企业建立自己的人才资源数据库,重点分析了云平台的存储海量数据问题,以非关系型数据库HBase配合开源的分布式框架Hadoop来存储管理企业搜集的海量的各种类型的人才信息数据,适应每天剧增的数据资源。     

云平台下CRM系统数据存储的设计与实现

目前,在这个海量数据时代,传统的关系型数据库在存储和查询等方面暴露了许多问题。我们在对非关系型数据库进行了详细的研究后,在云平台下CRM系统中提出关系型数据库和非关系型数据库结合使用的方案。其中在具体实现时关系型数据库选择使用MySQL,非关系型数据库选择使用MongoDB。该方案大大提高了系统的读写性能。     

基于Hadoop的非关系型数据库安全技术研究

当前对大数据的研究如火如荼,由于非关系型数据库提供了高可扩展的大规模数据扩展方案,所以在大数据领域得到广泛应用,与Hadoop集成的HBase数据库是其中的典型代表。非关系型数据库没有schema,所以无法对数据库进行完整性验证,这就存在数据不一致的隐患,对此本文分析非关系型数据库HBase的安全技术。     

海量数据存储管理方法的研究

随着现代技术的发展,对数据资源的需求逐渐增多,对数据库规模、容量、性能等方面的要求也不断提高,如何提高数据库性能和效率,优化海量数据的存储,已成为一个研究课题。以优化海量数据存储为出发点,对海量数据存储原则、存储设计和实现进行了探索,提出海量数据查询的具体优化方法,对海量数据库的管理方法进行了研究。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于Hadoop的NoSQL数据库安全探讨

针对当前云计算平台下的数据库安全问题,文章以NoSQL非关系型数据库中最为典型的HBase数据安全为背景,提出在采用传统的基于Hadoop安全机制方法外,还必须强化HBase的安全,从而才能更好地实现对非关系型数据库的安全保障。     

基于HBase的数值预报产品存储检索应用

数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。     

基于张衡一号卫星HBase数据库的入库方法研究

海量卫星监测数据不断增大,为提高HBase数据库的入库效率,本文以张衡一号卫星空间电场探测仪ULF频段数据为例,进行基于HBase数据库的入库方法研究,将HBase提供的多种入库方法进行对比实验,提出了将HBase API方法和Ma-pReduce Bulk Load方法结合的方案,来满足不同数据量的入库需求,为张衡一...     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。