基于自定义的LIRe和HBase的海量医学图像检索

为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案.首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中.最后,利用MapReduce模型以及图像特征索引工具LIRe方便地对医学图像特征建立索引进行特征匹配实现检索.实验结果证明,自定义的LIRe提高了检索准确性,相比将医学图像以及特征向量均存储在HDFS中,也提高了检索效率.     

海量数据存储模型的研究

随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性.     

T639数值产品本地化方法简介

本文介绍了将卫星广播的T639数据包解码为MICAPS格式的方法,以及MICAPS3.0的综合图及菜单设置方法。本文所介绍的方法能够帮助民航气象部门快速引进T639数值产品,提高航空气象技术水平。     

基于HBase的后勤保障监控数据实时检索方案设计

后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10～30倍,方案可行且高效。     

基于HBase的电子商务系统设计

电子商务作为现代商业运营的一种重要模式,其商业战略地位也越来越重要。为了更好的满足电子商务系统存储、处理大规模的数据。该文以HBase为数据存储模块,进行一种B/S模式的面向LED行业的电子商务系统开发设计。     

基于HBase跨行事务功能的研究

随着HBase分布式数据库的广泛应用,大量基于HBase的应用越来越多,但是由于HBase本身不支持跨行事务性的功能,所以在传统应用向分布式HBase迁移中,会出现功能不兼容问题。文章研究了HBase的实现原理,在其基础上修改原代码,实现了跨行事务性的功能,并对其进行了试验,对比修改效果。     

基于HBase跨行事务功能的研究

随着HBase分布式数据库的广泛应用,大量基于HBase的应用越来越多,但是由于HBase本身不支持跨行事务性的功能,所以在传统应用向分布式HBase迁移中,会出现功能不兼容问题。文章研究了HBase的实现原理,在其基础上修改原代码,实现了跨行事务性的功能,并对其进行了试验,对比修改效果。     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

基于HBase的实时消息推荐系统

在现有的推荐系统中,基于用户兴趣模型都能够表达出用户的兴趣,但在用户兴趣发生变化时却不能够及时更新模型。提出基于用户反馈内容来实时更新用户兴趣的消息推荐系统,通过实时更新模型和特征向量进而得到用户当前最匹配的推荐结果。并使用HBase(Hadoop Database)作为存储,能更好地适应数据规模的增长。     

Hadoop平台在电信企业的应用实践

随着电信企业的业务发展,其运营网络、业务系统及支撑系统等生产了大量的日志数据,这些数据蕴含了大量有用信息,传统日志处理方式限制了企业对海量日志文件的处理、分析及应用.针对电信企业特定应用平台产生的大量日志文件,实践了Hadoop平台的MapReduce编程模型,该平台以HDFS作为底层文件系统,以Hbase作为可扩展的数据存储系统,更大幅度地提高了对日志数据分析的效率,具有较好的实用价值.     

基于HBase的交通数据时空分块索引

智能交通领域快速发展带来的海量交通数据已难以通过传统关系型数据库及时处理。针对交通数据的分布特点与查询需求,提出了一种基于分布式数据库HBase的时空分块索引框架(STB-HBase),利用HBase行键设计结合二级索引的方式,解决数据在时空维度分布不均引起的热点问题,并设计出STB-HBase下的移动对象轨迹查询和时空范围查询算法。实验结果表明,STB-HBase对交通数据有良好的存储性能和查询效率。     

基于HBase数据分类的压缩策略选择方法

为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。     

基于HBase的AIS数据分布式存储

自动识别系统(AIS)给船舶提供了电子身份标示。目前AIS数据主要通过关系数据库存储,由于AIS数据不断增加,该存储方式面临着扩展困难,存取效率低的问题。提出一种基于分布式并行处理框架Hadoop利用列数据库HBase存储AIS数据的方法。实验结果表明,Hbase实现了对AIS数据的高效存取。     

基于张衡一号卫星HBase数据库的入库方法研究

海量卫星监测数据不断增大,为提高HBase数据库的入库效率,本文以张衡一号卫星空间电场探测仪ULF频段数据为例,进行基于HBase数据库的入库方法研究,将HBase提供的多种入库方法进行对比实验,提出了将HBase API方法和Ma-pReduce Bulk Load方法结合的方案,来满足不同数据量的入库需求,为张衡一...     

基于HBase的非关系型数据库损坏数据隔离技术

随着科学技术的发展,数据化信息呈爆炸式增长,数据信息的处理和储存问题随之产生,因此,数据库系统安全变得至关重要。为增强合法数据的可用性,有效地解决损坏数据隔离问题,文中以HBase为基础,提出了针对非关系型数据库损坏数据隔离技术模型,由于HBase吞吐量高、延迟低、自身的持久化等优点,依靠两阶段提交协议完成了多行多表之间的同步,同时使用HBase的单独一列实现锁服务,并对分布式系统中的问题进行研究,HBase调用read uncommitted、read committed和repeatable read三种隔离级别以满足不同类型损坏数据隔离技术的要求,并试验证明了该隔离技术具有更高的数据利用率,在事务运行的空间和时间性能负载上有着重要的现实意义和应用价值。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

基于CSS模板的职位信息并行抽取系统设计

针对现有职位信息抽取方法由于缺乏自适应性和并行性,存在冗余度高和抽取效率低的问题,提出了基于CSS模板的方式并行职位信息抽取方法。该方法根据职位信息页面特点使用CSS路径抽取方法,并制定抽取模板解决抽取的准确性和自适应性,使用了MapReduce编程模型实现职位信息的并行化抽取。使用MD5算法计算已抽取得到的职位信息的MD5值,结合MapReduce并行计算编程模型的特性实现职位信息去重,最终将去重后的职位信息存储在分布式数据库HBase。实验测试结果表明,并行计算与传统的非并行编程模型相比在处理的时间效率和采集的职位信息量上都有明显的提高。