基于大数据技术的实时数据中心重构研究

提出了一种基于大数据技术的电网企业实时数据中心重构的方法。通过对实时数据中心数据接入接口的改造,实现实时数据接入大数据组件HBase;通过对HBase表结构设计及相关参数的调优,实现电网企业实时数据的标准化存储;通过基于大数据组件设计符合实时数据中心规范的标准访问接口UAPI,实现实时数据中心上层业务应用的迁移和平滑过渡。该方法的可行性已在多个省(市)电力公司得到验证。     

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。     

一种面向相似查询的轨迹索引方法

轨迹数据具有重要的应用价值,轨迹索引技术得到广泛的研究与关注。传统索引方法存在节点重叠、缺乏动态划分空间能力和丢失大量原始信息等问题,为此提出一种面向相似查询的轨迹索引方法GeoSAX。该方法将原始轨迹分成若干等长子段并采用基于Geohash的空间编码;对编码后的整条轨迹设计了基于HBase存储的索引架构;实现相似轨迹查询。GeoSAX不仅节点间没有重叠,还能依据数据量的大小对空间动态划分,同时保留指定精度的轨迹信息。在真实的航运和出租车数据集上进行的对比实验表明,与传统方法相比GeoSAX具有更好的轨迹查询性能。     

基于Solr的司法大数据检索模型研究与实现

围绕司法领域信息要素的高维性特征以及司法信息要素间的紧耦合性特征,针对司法数据检索技术中由高维信息要素间的紧耦合性导致的检索效率问题,研究和实现了一个基于Solr的司法大数据检索模型。该模型采用Solr超级集群作为数据索引库,采用HBase集群作为数据存储库,通过引入数据与索引分离、redis缓存、动态参数调整、动态cache释放等设计思路,实现了一个高效、可靠、可扩展的司法大数据检索模型。     

一种基于Hilbert曲线的HBase遥感影像检索方法

本文在分析海量遥感影像存储特点和HBase的基础上,将Hilbert曲线应用到遥感影像金字塔中,提出一种利用HBase快速检索海量遥感影像的方法。实验结果表明,该方法不仅在集群上解决了单机无法解决的海量遥感影像存储问题,而且实现了海量遥感影像快速的检索。同时,该方法还可以应用到对海量遥感影像的进一步处理中,以加快海量遥感影像的并行处理速度。     

基于数据冗余的HBase合并机制研究

HBase列式数据库的所有操作均以追加数据方式写入,导致其合并机制占用资源过多,影响系统读性能。为解决该问题,提出一种基于数据冗余的合并机制,将列族下文件删除数据占比达到设定阈值的文件进行合并,以减少无用数据在系统中的占用空间。实验结果表明,与HBase原有仅考虑文件大小、个数和时间间隔的合并机制相比,改进的合并机制可提高HBase系统查询效率以及Major合并性能。     

建筑能源管理大数据平台设计

能源管理平台中数据存储、计算能力直接影响整个系统管理、分析的准确性,影响到整个运行系统维护和更新工作的成效,本文提出一种大数据平台设计方法,根据建筑能耗数据产量大、传输速率快、数据来源多等特征动态建模,构建Hadoop大数据管理平台,从系统体系结构、数据存储、查询处理等方面对基于大数据的公共建筑(群)能源管理大数据管理与处理平台架构进行分析。     

基于Hadoop的信令详单实时查询平台构建方法

随着电信行业4G通信网络技术的普及,移动端互联网应用正蓬勃发展,随之带来的数据流量呈爆炸式增长,传统的处理方法难以支撑海量信令数据的实时查询需求,为此,提出了一种基于Hadoop的大数据实时查询平台,以支撑超大规模的信令详单的处理.通过数据采集、数据建模、rowkey设计、数据入库、二级索引、数据压缩与存储等实现方法,提供了实时数据查询服务.最后,在现网实验环境进行了验证,能够取得非常好的收益.     

消除规范关系连接冗余的二次排序算法研究

使用MapReduce框架对规范的一对多关系实体进行连接操作时,一方实体的各个属性会在连接的结果中产生大量冗余. 通过对二次排序算法进行优化,重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程,使得Map阶段的输出为包含一方实体属性值和多方实体排序值的组合键及包含多方实体属性值的集合. Reduce阶段将组合键进行分解,提取一方实体的主码作为HBase表的行健,并将组合键中一方实体的各个属性值及多方实体属性值集合分别写入HBase表中对应的列,从而既实现了连接的语义,又消除了冗余. 实验证明,优化后的算法可以消除一方实体属性值在连接结果中的冗余,提高了对连接结果的查询效率.     

煤矿设备状态大数据平台架构及关键技术研究

针对目前煤矿设备运行状态数据规模不断增大，结构化、非结构化数据并存，存储和查询效率低的现状，设计了一种基于Hadoop的煤矿设备运行状态大数据平台。采用Hadoop分布式文件系统（HDFS）实现设备文件数据的可靠存储，并采用HBase数据库实现结构化数据的持久存储，同时通过MapReduce对大量小文件处理过程中产生的资源消耗问题做了优化。实验表明，该平台实现了对煤矿设备状态大数据的高效存储与处理，为设备维护提供了很好的支持，并为智慧矿山的建设奠定数据基础。