基于HBase的数值预报产品存储检索应用

数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。     

基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

基于Smart Client模式的战时信息通信装备区域保障系统设计

由于信息通信装备的特殊性，战时有着严格的区域保障要求。为提高战时信息通信装备区域保障系统的综合能力，设计基于Smart Client模式的战时信息通信装备区域保障系统。基于Smart Client模式设计系统架构，在装备综合能力评估模块中构建战时信息通信装备综合能力评估模型。在故障预测诊断模块中，基于模拟退火粒子群算法与相关向量机建立信息通信装备的故障预测诊断模型。设计多个数据库表以存储各种系统数据，完成数据库模块的设计。系统测试结果表明，设计系统的查询反应时间低于2 000 ms，综合能力评估误差、装备区域故障预测诊断的RMSE均较低，可有效提高战时信息通信装备区域保障系统的综合能力。     

基于HBase的交通数据时空分块索引

智能交通领域快速发展带来的海量交通数据已难以通过传统关系型数据库及时处理。针对交通数据的分布特点与查询需求,提出了一种基于分布式数据库HBase的时空分块索引框架(STB-HBase),利用HBase行键设计结合二级索引的方式,解决数据在时空维度分布不均引起的热点问题,并设计出STB-HBase下的移动对象轨迹查询和时空范围查询算法。实验结果表明,STB-HBase对交通数据有良好的存储性能和查询效率。     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。     

基于HBase的后勤保障监控数据实时检索方案设计

后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10～30倍,方案可行且高效。     

基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。     

基于云计算的电子档案辅助信息查询系统设计

采用传统系统无法对辅助信息进行精准查询,导致系统无法满足人们需求,为了解决该问题,提出基于云计算的电子档案辅助信息查询系统设计。根据系统总体架构,以云计算环境为中心,设计信息存储器结构,使信息转化为内存形式,可直接被CPU访问。针对某些信息存储历史记录,设计分析处理模块接口电路,保证输入电流和输出电流具有规律性,可恢复休眠文件。根据信息分析处理结果,设计信息查询模块,保证系统设计的安全性。根据查询模块软件功能,结合档案录入流程,设计数据中心存储机制,采用面向分布式存储数据与HBase数据库,开发分布式系统查询项目,由此完成系统设计。通过实验对比结果可知,该系统最高查询精准性为98%,实现了电子档案辅助信息的高效查询。     

基于一致性哈希算法的电力企业分布式数据存储研究

由于电力企业存储数据量比较大,传统方法在电力企业分布式数据存储应用中无法保证电力企业数据的完整性和有效性,存在数据丢失量较大的问题,并且数据存储延迟时间比较长,存储速度比较慢,为此提出基于一致性哈希算法的电力企业分布式数据存储研究。将电力企业数据相应的时间标签当做是分布式数据存储的一个核心属性,根据数据时间标签对数据进行等价线序划分;利用一致性哈希算法计算数据哈希值和节点计算能力,将其作为依据将电力企业数据分组到相应节点上;利用存储模块构建电力企业分布式数据存储组织结构,并设计分布式数据存储逻辑结构,利用电力企业元信息表、参数元信息表以及索引表对电力企业数据进行分布式存储,以此实现了基于一致性哈希算法的电力企业分布式数据存储。经实验证明,设计方法存储数据延迟时间小于传统方法,而且数据丢失量小于传统方法,能够有效确保电力企业数据的完整性。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

基于区块链的通信网络安全加密系统设计

针对通信网络中存在的未经授权访问、数据被篡改及泄露等安全问题,文中研究并设计了一种基于区块链的通信网络安全加密系统,该系统利用区块链技术的分布式存储、去中心化及不可篡改的特点,并结合密码学算法,有效实现了对通信数据的加密、验证与访问控制。最后,通过实验客观评估了系统的性能与效果。实验表明,该系统具有较好的加密效果与安全性。     

基于Hadoop的专利翻译系统

为了解决大量专利数据的存储和翻译问题,设计了一种基于Hadoop的专利翻译系统。针对数据存储该系统采用了HDFS和HBase相结合的混合式存储结构,对于翻译过程则采用Hadoop并行翻译模型-MapReduce。通过实验证明,相比于传统的翻译方法该系统具有更好的数据存储和翻译性能。     

基于HIVE的通信系统KPI数据存储方案的信令系统构建研究

在通信系统飞速发展的时代背景下,基于HIVE的通信系统KPI数据存储方案也逐渐引起人们的关注,信息通信系统大数据技术通过分布式的集群能够高效存储海量数据并高效计算,是信令系统的有效解决方案.本文认为通信系统可以统一部署大数据集群,通过多租户模式应用系统解决通信的网络管理与优化运维,为相关的理论与实践工作者提供有益参考.     

电力企业互联网舆情数据规格化存储系统设计

为避免舆情焦点损伤电力企业形象，设计了电力企业互联网舆情数据规格化存储系统，实时采集、处理并存储公共舆情数据。利用基于TF-IDF改进算法的聚焦网络爬虫爬取原始数据层的舆情数据，构建正则表达式描述语义模型；应用基于负载权重的负载均衡算法的存储负载均衡机制，根据负载差值计算存储节点执行任务的概率，更新存储节点的负载，实现各存储节点负载均衡。实验结果表明：读取时间均值为72.9ms,写入时间均值为425.3ms,数据读写效率高，各存储节点负载均衡，对大规模数据的处理及存储性能更佳。     

基于Hadoop的医院智慧医疗信息管理系统设计

为提高医院信息化管理的效率,提出一种基于大数据Hadoop的医院智慧医疗信息管理系统。首先将系统架构分为采集层、存储层、分析层和应用服务层。采集层利用物联网技术和无线技术实现患者信息的采集;存储层采用Hadoop集群对数据进行存储;分析层提出基于Hadoop的数据挖掘和基于Hadoop的HBase查询方案;应用服务层提出基于语义的疾病诊断、预测、分类等多种模型。最后搭建Hadoop环境,对上述开发方案进行验证。结果表明,在性能方面,在大量并发线程下具有较快的写入时间;在挖掘方面,采用卷积神经网络对患者电子病历的挖掘,可实现患者科室的就诊指导。     

基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。     

基于云计算的通信集约化网管系统

为缩短故障分析时间和保证数据存储的可靠性,文章提出一种基于云计算的通信集约化网管方案。新方案介绍网管系统的现状,分析基于云计算的通信集约化网管系统虚拟化技术和分布式存储技术。通过系统应用证明新方案不仅缩短了故障分析时间,提高数据存储的可靠性,还降低了网管维护成本。     

一种海量数据查询的实现方案

文章对海量数据的查询方法展开探讨,并提出具体基于存储在HBase中的查询解决方案。     

基于HADOOP的分布式详单系统设计和实现

采用传统的关系数据库进行详单存储和查询,存在大数据量高并发查询情况下性能下降明显、无法支持线性扩展和设备扩容成本高周期长等问题.通过提出一种基于HADOOP的分布式详单系统的设计和实现方案,实现了基于HADOOP的详单存储和基于Redis内存数据库的高效详单查询.     

基于Hadoop的广西移动云详单系统设计和实现

为客户提供便利准确的详单查询服务,对于维系客户忠诚度具有重要意义.为解决传统的详单查询系统高并发查询性能低、查询响应速度慢、扩容周期长等问题,基于Hadoop分布式架构的思路,设计和实现了广西移动云详单查询系统.该系统由话单预处理子系统、详单存储子系统及详单查询服务子系统三个子系统组成.引入分布式数据库替换传统小型机数据库架构,基于X86设备实现详单处理的分布式架构,提高详单查询效率;采用分布式数据储存技术,提高系统高可用行和稳定性.