基于DPR树的分布式并行空间索引机制的研究

针对分布式并行环境下海量空间数据管理与并行化处理的效率问题,以提高分布式并行空间数据的查询效率为目的,根据现有的空间索引结构与并行化技术,提出一种新的分布式并行空间索引结构--DPR树.DPR树是空间索引技术与并行化技术优化结合的成果.DPR树在数据的总体划分与部分查询中所采用的均是基于高效处理技术.它在原有的并行Master-client R树的基础上进行改进,采用了HCSDP数据划分技术,并将其应用到分布式环境下,且每个节点机中各子树采用了改进的R树--R*Q树.通过性能分析表明,该索引结构具有高效的查询性能.     

海量存储系统中的元数据分级索引算法*

海量存储系统中,高效的元数据索引是减少查找元数据所需时间与空间开销的重要手段。针对现有元数据管理方法存在查找元数据所需时间与空间开销大和性能波动大等问题,设计了元数据分级索引算法。依据元数据的生命周期,将元数据分为活跃和非活跃两级;使用Bloom Fliter对均衡的活跃元数据分区生成摘要串,并使用B-树建立活跃元数据分区的索引;使用类似的方法对非活跃元数据分区,并为每个分区选择各自的哈希函数。从查找元数据所需时间与空间开销、适应能力两方面对元数据分级索引算法进行了分析,并与现有元数据管理算法进行了比较。最后实现了元数据分级索引算法的原型系统,使用真实数据集进行了测试与分析,结果表明,元数据分级索引算法能减少查找元数据所需的时间与空间开销,并具有很强的适应能力。     

应对海量数据检索:分布式局部索引的架构

通过理论分析对全局和分布式索引架构进行了比较,分析了分布式全局索引架构所能够应对的数据规模的上界和分布式局部索引架构在特定数据规模下相应最优的机群规模等。可以证明,在海量数据背景条件下,由于需要求交集的查询结果数据量过大,会导致全局索引架构在查询结果求交集阶段处理时间过长,以致信息检索系统不能满足用户对系统响应时间的需求,因此局部索引架构会成为在面对海量数据时信息检索系统的必然选择。     

面向大数据流的分布式索引构建

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流,根据其时间属性,将数据流划分为连续的时间窗口,提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建,索引构建过程结合基于排序的批量构建技术,进一步对时间窗口分片,将数据流接收、分片数据排序以及B+树构建并行化,提高了构建性能.上层B+树索引基于各时间窗口构建,结合时间窗口时间戳的递增性和无限性,提出了避免节点分裂的构建方法,减少了B+树分裂移动开销,提高了空间利用率和更新效率.WB-Index架构中,将流数据和索引分离,同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明,该分布式索引架构能够支持高效的实时数据流写入以及流数据查询,能够很好地应用于具有时间属性的数据流场景.     

TB级多源遥感影像高效建库方法研究

随着各领域对多源遥感影像数据需求的不断增加,如何高效地管理多源海量遥感影像数据,更好地为各行各业服务是遥感数据库研究的热点。目前国内外很多学者在建设多源遥感影像数据库方面进行了相关研究,但对多源遥感影像数据组织、遥感影像数据预处理以及快速索引方面的研究尚存在不足。设计了一种多源遥感影像数据组织模型,实现了多源影像的集成化管理;实现了一种多源海量原始遥感影像(特别是航空影像)的半自动预处理机制,极大地缩短了原始影像数据的处理时间;设计了一种混合检索方法,达到了海量多源遥感影像数据快速高效检索的目的。结果表明:该方法建库效率显著提高,混合索引的查询速度比ArcSDE自动创建的空间索引检索速度有了快速提高,在数据量较小时查询速度至少可以提高4倍,而数据量较大时检索速度至少可以提高12.83倍。     

基于空间近邻查询的移动医疗呼叫算法

随着大数据时代的到来，传统的计算机因为单机资源有限、运行速度慢、分布式处理支持差，已满足不了现行的医疗体系中的大数据处理需求，基于时空数据的移动医疗呼叫系统方法可以很好地解决这些问题。在移动云计算环境下研究[k]最近邻查询算法是当前一个热点问题，支持可扩展和分布式的空间数据索引对于kNN查询的效率影响很大，目前已有的查询算法不适合并行化或者会导致内容冗余。将MapReduce分布式处理技术与空间kNN查询方法相结合，设计可以快速检索到满足用户查询需求的医生位置信息的移动医疗呼叫算法。提出并构建了一个新的分布式空间数据索引方法：倒排Voronoi图索引，它将倒排索引和Voronoi图索引进行结合；提出了一种基于MapReduce的利用Voronoi图来处理kNN查询的高效算法，其在分布式环境下可以有效提高查询效率；用真实的和仿真的数据集来进行大量实验评估，实验结果表明所提出的方法具有良好的高效性和可扩展性。     

一种多对象时间序列数据存储设计

本文讨论了在现有的数据存储和索引技术的基础上,结合固定周期产生状态数据设备的检测特点定义了一种存储结构和索引结构,以获得更高的空间利用率和查询效率。首先深入分析状态数据所具有的时间和设备二维性并定义了相应的二维存储结构,分别针对每一维建立了索引,然后分析了基于此结构的存储和查询方法。     

集群环境下分布式索引分析

近年来,随着数据规模的增长,分布式存储已广泛应用。对于分布式存储系统中,应用非主键访问数据存在的性能问题,分析了存储系统中可以实现索引的关键技术。在以分布式索引为基础,探究索引组织形式,提出关于索引的设计,分析分布式索引维护与数据相一致的问题。基于此,利用分布式数据库系统,设计分布式索引组织形式,从而完成索引的性能测试。     

空间数据库索引技术的研究

空间数据库的索引是提高空间数据库存储效率、空间检索性能的关键技术。传统的索引技术不能有效地索引空间数据。在综述现有空间数据库索引技术的基础上，提出了一种面向大型空间数据库的QR-树索引方法。     

空间索引技术-回顾与展望

空间数据库系统通过引入空间索引机制来提高空间数据操作的效率。迄今人们已经提出了许多空间索引方法,文章回顾了这些方法的基本思想,并根据它们所采用的基础数据结构和存储空间数据的方法将现有的空间索引方法进行分类。最后,简要的讨论了空间索引方法的发展方向。     

一种面向对象数据库继承层次索引配置方法①

如何平衡面向对象数据库（OODB）索引的检索性能、维护开销、实现复杂度已经成为一个影响OODB性能的关键问题。提出一种OODB继承层次索引配置方法。通过开销模型评估各种索引配置的检索开销、存储开销、更新开销,根据数据库真实使用情况选择最优索引配置。通过实验,验证这种方法的准确性,并且同其他常见索引策略作对比。结果表明该方法可以为OODB提供性能最优的索引方案。     

一种基于固定网络的移动对象运动轨迹索引模型

实际应用中移动对象通常运动在城市固定道路上,针对此特征研究人员已提出一些相关索引模型,但都存在一定的局限性,表现为索引模型只管理对象的历史位置信息或实时位置信息以及只对窗口查询或轨迹查询进行优化.IMTFN是一种基于固定网络的移动对象运动轨迹索引模型,管理移动对象的实时位置信息和历史轨迹信息,并且有效优化窗口查询及轨迹查询操作.IMTFN由一个管理固定网络的2D R^＊-Tree、一组管理移动对象运动轨迹的1D R^＊-Tree以及记录移动对象实时位置信息的Hash结构组成.最后通过实验IMTFN分别与STR-Tree与FNR-Tree进行性能比较,证明IMTFN模型提供速度更快的查询操作.     

Iteration-free clustering algorithm for nonstationary image database

Image database systems must effectively and efficiently handle and retrieve images from a large collection of images. A serious problem faced by these systems is the requirement to deal with the nonstationary database. In an image database system, image features are typically organized into an indexing structure, and updating the indexing structure involves many computations. In this paper, this difficult problem is converted into a constrained optimization problem, and the iteration-free clustering (IFC) algorithm based on the Lagrangian function, is presented for adapting the existing indexing structure for a nonstationary database. Experimental results concerning recall and precision indicate that the proposed method provides a binary tree that is almost optimal. Simulation results further demonstrate that the proposed algorithm can maintain 94% precision in seven-dimensional feature space, even when the number of new-coming images is one-half the number of images in the original database. Finally, our IFC algorithm outperforms other methods usually applied to image databases.     

多特征综合的图像模糊情感注释方法研究

针对解决图像有效情感标注的问题,提出了一种多特征综合的图像模糊情感注释方法。该方法在讨论图像中的可视化特征（颜色、纹理和形状）与图像情感之间关系的基础上,选取和修正合适的算法提取颜色、纹理和形状特征,并将其作为模糊输入量;提出一种情感空间表示法量化情感;利用模糊集的近似推理理论完成对图像的情感注释。对100幅自然图像进行模糊情感标注,将其结果和20名自愿者对图像的情感感觉进行对比,实验结果表明,该方法能够有效地标识图像情感语义,证实了所采用的情感空间表示法具有一定的科学性,对于装璜、电子教学、图像检索和情感计算有一定的应用价值。     

Nonlinear dimensionality reduction for efficient and effective audio similarity searching

In this paper, we address the issue of nonlinear dimensionality reduction to efficiently index spectral audio similarity measures. We propose the embedding of the spectral similarity space to a low-dimensional Euclidean space. This guarantees the triangular inequality and allows the adoption of several indexing schemes. We enlighten the advantages of the proposed indexable method against recently proposed spectral similarity measures that are also indexable. Moreover, our method compares favorably to linear dimensionality reduction methods, like multidimensional scaling (MDS). The proposed method significantly reduces the computation time during the construction process compared to any audio measure and, simultaneously, minimizes the searching cost for similar songs. To the best of our knowledge, the important issue of audio similarity measures’ scalability is addressed for the first time.     

基于自注意力深度哈希的海量指纹索引方法

现有的指纹索引方法大多是基于实数值特征向量,当应用于大规模指纹库时无法避免计算资源与存储空间消耗巨大的问题。为了在海量指纹库中进行高效快速检索并得到实时响应结果,提出了一种全新的基于有监督深度哈希的指纹索引方法。将传统指纹领域知识与自注意力深度哈希模型相结合。传统领域知识用于指纹图像预处理来获取指纹二值骨架图,自注意力深度哈希模型进行特征提取与哈希映射得到二进制编码。其中特征提取模块使用Transformer结构替换卷积神经网络来提取指纹细节特征,此外模型中加入了自动对齐模块并设计了一种STN-AE的结构来辅助训练该模块。最后在NIST4、NIST14、FVC2000、FVC2002、FVC2004等公开指纹数据集上进行了实验,实验结果证实该方法在提高海量指纹库中的检索速度以及降低存储消耗等方面是卓有成效的。     

一种基于Homogeneity的文本检测新方法

视频图像中的文本包含了丰富的语义层次上的内容描述信息，为基于语义的图像检索提供重要的索引信息资源．提出了一种基于Homogeneity和支持向量机（support vector machine）的视频图像中文本检测方法，首先将图像由空间域映射到Homogeneity域中，然后对映射到Homogeneity空间中的图像进行特征提取，利用SVM判别文本区域．实验表明此文本检测方法优于用基于边缘特征的文本检测方法．     

多媒体数据库索引技术的研究与实现

现有的数据库索引技术,普遍不能适应多维空间属性的搜索,特别是无法对大容量的多媒体数据进行基于内容的检索。文章分析研究了多媒体数据库的索引结构和索引算法,设计了一种用于大容量图像数据库的索引方法。实验在1万多幅的图像库上反复进行,结论证明该算法能够有效地支持大容量图像库的基于内容检索。     

基于Boosting学习的图片自动语义标注

图片自动语义标注是基于内容图像检索中很重要且很有挑战性的工作。本文提出了一种基于Boosting学习的图片自动语义标注方法，建立了一个图片语义标注系统BLIR（boosting for linguistic indexing image retrievalsystem）。假设一组具有同一语义的图像能够用一个由一组特征组合而成的视觉模型来表示。2D-MHMM（2维多分辨率隐马尔科夫模型）实际上就是一种颜色和纹理特殊组合的模板。BLIR系统首先生成大量的2D-MHMM模型，然后用Boosting算法来实现关键词与2D-MHMM模型的关联。在一个包含60000张图像的图库上实现并测试了这个系统。结果表明，对这些测试图像，BLIR方法比其他方法具有更高的检索正确率。