基于Z曲线的瓦片地图服务空间索引

瓦片空间索引是提高瓦片查询效率的关键技术,其性能直接影响地理信息网络服务的整体性能。分析当前广泛应用于瓦片地图服务的格网索引和瓦片四叉树索引的基本原理,利用Z曲线的聚类和降维特性,设计一种基于Z曲线的瓦片空间索引Z-Index,并给出了具体实现。实验结果表明,Z-Index在海量瓦片数据的情况下具有优于格网索引和四叉树索引的瓦片查询效率。     

基于Redis实现HBase二级索引的方法

随着大数据时代的到来,海量数据对传统数据库技术提出了存储和检索性能的挑战。HBase是开源No SQL数据库,适合于各种非结构化和半结构化的松散数据的存储和管理,目前已经被很多大型企业用于处理海量数据。它基于rowkey的有序存储,对rowkey支持毫秒级的快速检索。然而,随着HBase应用的不断深入,单一的通过rowkey检索数据的方式不再满足需求,在实际应用中,经常需要根据指定字段,或者几个字段进行组合检索。针对该问题,本文提出了一种基于Redis创建HBase二级索引的方法,使得在实际应用中,支持多条件查询,提升查询的效率和性能。     

一种Hadoop小文件存储和读取的方法

HDFS(HadoopDistributedFileSystem)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用.然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想.提出一种基于小文件合并的方法HIFM(HierarchyIndexFileMerging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引.采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载.此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率.实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合.     

基于内存的HBase二级索引设计

在大数据时代,具有海量数据存储能力的HBase已被广泛应用。HBase只对行键进行了索引优化,对非行键的列未建立索引,这严重影响了复杂条件查询的效率。针对此问题,提出了基于内存的HBase二级索引方案。该方案对需要查询的列建立了映射到行键的索引,并将索引存储在Spark搭建的内存环境中,在查询时先通过索引获取行键,然后利用行键在HBase中快速查找对应的记录。由于列的基数大小和是否涉及范围查询决定了建立索引的类型,故针对三种不同情况构建了不同类型的索引,并利用Spark内存计算、并行化的特点来提高索引的查询效率。实验结果表明,该二级索引具有较好的查询性能,查询时间小于基于Solr的二级索引,可以解决HBase中因非行键的列缺乏索引导致查询效率较低的问题,提高基于HBase存储的大数据分析的查询效率。     

基于协处理器的HBase二级索引方法

在大数据时代，海量的非结构化数据增速远大于结构化数据，HBase被广泛用于海量非结构化数据存储中。由于HBase内置的索引是基于行键（rowkey）设计的，具有很高的查询效率。但是，在根据字段进行条件查询时需要进行全表扫描，性能较低，无法应用于实时场景。针对此问题，提出一种基于协处理器（coprocessor）的HBase二级索引方法。该方法将经常需要查询的字段通过协处理器在HBase中建立映射到行键的索引，在查询时并行扫描索引数据获取行键，并利用行键快速查询记录。同时，在创建表时，通过对Region进行预分区。在插入数据时，在行键中添加Hash值。这不仅能提高数据插入速度，也避免了热点数据现象，同时保证索引数据和主数据位于同一个Region上，查询时就能减少一次RPC请求。在模拟数据集上的实验表明：提出的二级索引方法具有较好的查询性能。不仅高于HBase自带的过滤查询，也高于基于ElasticSearch的二级索引。同时，其空间开销小于基于ElasticSearch的二级索引。     

基于HBase的多维索引查询机制的优化

键值存储旨在从非常大的数据量中提取值,同时具有高可用性、容错性和可伸缩性,因此提供了非常需要的基础设施来支持基于位置的服务（LBS）。然而,多维数据上的复杂查询不能有效地处理,因为键值存储不提供访问多个属性的方法。针对键值存储HBase不能有效处理多维数据的问题,提出了一个统一的索引框架——New-grid,使键值存储HBase支持多维查询。在改进的P-grid覆盖网络中,组织了一组节点,提供了高效的数据分布、容错和多维数据的查询处理。为了进行索引,使用基于Hilbert空间填充曲线来保存数据的局部性,从而有效地管理键值存储中的多维数据。同时使用HBase底层存储管理数据,并提出了一种范围查询和K最近邻查询的算法,以消除维护单独索引表的开销。在Amazon EC2上使用4、8和16个普通节点的集群进行了广泛的实验。实验结果表明,New-grid的性能相比MD-Hbase以及MapReduce更优。     

基于HBase的路网移动对象时空索引方法

在处理路网移动对象时,由于HBase只能采用key查询,不适用于移动对象的多维查询,导致HBase存在存储索引与查询效率不高的问题。针对此问题,在HBase存储结构的基础上设计并实现了一种高效的路网移动对象HBase索引框架（RM-HBase）。首先,对原生HBase索引框架的上层HMaster和下层HRegionServer进行改进,解决分布式集群数据的热点分布问题,提高空间数据的查询效率;其次,提出路网移动索引——RN-tree,解决空间划分中的"死空间"问题,同时提高空间中路段的查询效率;然后,基于上述对HBase的索引改进,分别设计了时空范围查询、时空K最近邻（KNN）查询和移动对象轨迹查询的查询算法;最后,实验选用了同样是基于HBase分布式数据库而提出的时空HBase索引（STEHIX）框架作为对比对象,分别从索引框架的性能和算法的查询效率两个方面对RM-HBase的性能进行分析。实验结果表明,所提的RM-HBase在数据的均衡分布性能和时空查询算法的查询性能方面都优于STEHIX框架,有助于提升海量路网移动对象数据的时空索引效率。     

用记事本修复高品质音乐索引读取错误

从电驴或BT上下载回来的APe或Flac高品质歌曲都附带有相应的Cue索引文件，但在用Foobar2000或者其他播放器播放时，读取扩展名为．APE或．FLAC的文件则无法分段播放，而读取Cue索引文件虽然可以播放，但一些文件会弹出“无法打开用于播放的项目（对象未找到）”的提示（如图1）。     

高维数据空间索引方法的研究

讨论了高维数据空间索引的基本结构、建树算法,重,最对几种有代表性的索引方法,如R—Tree,X-Tree,M—tree,VP-tree在重叠、插入原则、分裂原则、再插入等方面进行了比较研究。该文中主要介绍了一些索引结构的特点和一些具有代表性的索引结构。     

在LabVIEW中读取多列数据文件的通用方法

针对LabVIEW中提供的文件读取函数功能的不足．介绍了一种读取多列数据文件的通用方法。     

基于大型图片的文件读取方法的研究和探讨

介绍两种读取大型图片文件的方法:普通方式和内存映射方式,深入分析了两种读取方式的流程,并进行了数据试验,指出何时采用哪种方式更能提高数据处理速度。     

一种基于基本信息单元的索引

信息检索是数据空间必须提供的一个重要功能,本文介绍一个数据空间信息检索子系统的索引方案.利用数据空间中数据之间的关系,抽取相关的数据,组成一个个基本信息单元,为多源异构异质数据建立一个基于基本信息单元的扩展的倒排索引.实验结果表明:利用基于基本信息单元的索引,系统能返回语义信息相对比较完整的查询结果.     

基于iMeMex数据模型的数据空间索引方法研究

目前,个人和组织的信息呈现急剧增长趋势,且非结构化数据所占比重在不断增加,这些属于某个主体的海量、分布、异构和共存的数据构成了一个异构数据空间,如何为用户提供高效、便捷和多样化的搜索查询服务是数据空间面临的巨大挑战,为数据空间中异构数据构建高效的索引方法是解决这一问题的基础。对iMeMex数据模型的特点和数据空间中查询方法进行了分析,在此基础上通过扩展倒排列表方法,提出了一种基于iMeMex数据模型的索引方法,来提高对数据空间中异构数据的搜索查询效率。新的索引方法通过扩展倒排列表的关键字列和链表节点信息索引资源视图,来支持和提高关键字查询、谓词查询和路径查询的处理效率。实验结果表明,该索引方法能够有效、可行地解决数据空间中异构数据索引和查询效率问题。     

瓦片四叉树和填充曲线实现海量地形数据管理

针对大规模地形数据庞大数据管理效率低的问题,提出一种瓦片四叉树和Z型、Hilbert填充曲线相结合的海量地形数据管理方法。基于粗粒度的瓦片四叉树能够实现地形实时快速绘制并很好保证数据的连续性;依据Z型和Hilbert填充曲线和数据块编码设计的无指针数据索引实现数据块的快速准确定位。此外,数据预测策略能够实现可见数据的实时调度。经实验验证该方法能够实现海量地形数据真实实时绘制。     

高维数据空间索引方法的研究

讨论了高维数据空间索引的基本结构、建树算法,重点对几种有代表性的索引方法,如R-Tree,X-Tree,M-tree,VP-tree在重叠、插入原则、分裂原则、再插入等方面进行了比较研究。该文中主要介绍了一些索引结构的特点和一些具有代表性的索引结构。     

面向海量交通数据的HBase时空索引

针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。     

关于手机浏览器的有限预读取模型的研究

手机浏览器的预读取功能在提升上网速度的同时也造成了额外的网络流量.该文针对这一情况提出了有限预读取模型并加以研究.