基于HBase的数值预报产品存储检索应用

数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。     

铁路通信数据HBase分布式查询系统设计

目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。     

基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

基于HBase的后勤保障监控数据实时检索方案设计

后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10～30倍,方案可行且高效。     

ATTI:负载关注的查询自适应轨迹索引

当前基于空间切分的轨迹索引不能实现时空同步,在负载和查询范围动态变化时性能显著下降.本文提出负载自适应的时空八叉树,实现轨迹索引的时空同步;进而扩充单棵时空八叉树数据结构形成虚拟森林,优化现有基于查询范围均值的单树索引,以适应时空查询范围的动态变化.实验表明,该索引可将时空范围查询延迟降低50%以上.     

基于分布式的遥感数据管理系统研究与实现

文中基于分布式系统构建了一种集存储、管理和计算为一体的多源异构遥感数据管理系统,系统使用Apache HBase存储标准化后的遥感瓦片对象;使用MongoDB存储瓦片元数据,并根据Z曲线编码进行范围分区,实现负载均衡;使用Apache Spark+GDAL进行栅格计算;利用改进的Z曲线编码进行空间查询。经过原型系统性能测试实验表明,文中查询方法在百万级数据量的窗口查询下是PostgreSQL的空间索引查询性能的4.25倍,计算时使用惰性加载图像数据的策略,计算效率相比GeoTrellis提高了18%。     

一种海量数据查询的实现方案

文章对海量数据的查询方法展开探讨,并提出具体基于存储在HBase中的查询解决方案。     

面向时空数据场景的数据库索引选择框架

索引是一种用于提高数据库查询效率的数据结构,良好执行计划的生成和选择很大程度上取决于数据表上是否存在合适的索引。然而,面对复杂的时空数据场景,现有的索引选择方法存在很多不足,如无法高效处理大量范围查询、容易造成索引冗余、无法有效应对动态的工作负载等问题。针对上述问题,提出一种新型基于深度确定策略梯度(Deep Deterministic Policy Gradient,DDPG)模型和索引效益评估网络的索引选择框架:ST-IS(Index Selection method tailored for Spatio-Temporal data scenarios)。ST-IS集成了对SQL语句和索引集的新型编码方法,有效避免索引冗余或索引缺失。ST-IS使用索引效益评估网络来优化强化学习的奖励机制,同时支持动态的工作负载。大量实验结果表明,在真实时空数据集和TPC-DS标准数据集上,ST-IS的性能优于现有的索引选择方法。     

面向时空数据流的移动对象空间索引构建

本文针对时空数据流提出了一种基于时间窗口数据排序和批量装载的移动对象空间索引构建方法HSTRCL.该方法用固定长度的时间窗口将连续的时空数据流进行切分,每当一个时间窗口完成数据缓存,采用优化的索引批量装载技术,从传统的构建流程中尽可能分离出耗时的数据划分和排序操作,将数据流的接收及其他构建操作并行执行,避免不必要的加锁同步开销,加快索引的构建效率;同时,采用基于Hash和STR的主、辅索引构建技术,满足高性能且多样化的查询需求.另外,为进一步提高对象查询性能,引入聚合技术划分对象,提出了一种基于时间窗口对象聚合和批量装载的移动对象空间索引构建方法OAHSTRCL,对象查询时间约为HSTRCL的65％,但对空间查询性能会有一定程度的影响.通过理论分析和多种实验验证了所提方法的有效性.