基于LSM-OCTree的时空流分布式调度和存储方案

时空流的高效管理要求顾及数据的时空相关性，支持时空流的高速插入、实时索引和低延迟时空范围查询，而现有的基于HBase等的存储方案，因索引更新开销过大，无法满足高效管理要求。针对时空流的应用特性，提出了一种面向时间分片的时空流分布式调度和存储方法。利用时空流的紧耦合性进行数据划分与调度，以减少查询时数据复制的开销。将采用预分区方式构建的基于日志结构合并树的八叉树（octree based on the log-structured merge-tree,LSM-OCTree）索引作为存储结构，保证时空流的索引更新，实现索引的高效批量合并计算，提高查询性能。实验结果表明，时空动态调度策略优于通用的调度方法，LSM-OCTree索引的合并与更新性能优于常规索引结构。与HBase方案相比，基于LSM-OCTree的时空流分布式调度和存储方案的查询效率提升了20%以上。     

基于内存数据库的矢量数据存储与空间索引研究

基于传统磁盘数据库的管理系统已能较好地管理土地利用矢量数据,但较大的内外存数据交换开销对系统实时性有一定影响.没有I/O开销的内存数据库将是解决该现状的良好方法.基于内存数据库Redis设计土地利用矢量数据库存储组织,提出点、线、面不同的空间要素空间特征数据的存储结构.采用缓存敏感优化并基于磁盘数据库中的空间索引R+树,提出了一种适合Redis的空间索引.对比实验发现,在数据查询和统计分析速度等方面较基于Oracle 10g的管理系统有较大提升.     

基于HBase与静态多级格网索引的地表覆盖数据高效检索方法

地表覆盖是地理国情监测的重要对象,为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁,要素分布密集且不均匀,传统的空间检索方法出现了扩展困难、检索能力不足等问题.提出了一种基于HBase与静态多级格网索引的地表覆盖数据空间检索方法,针对地表覆盖数据特征设计了基于HBase的静态多级格网索引,利用MapReduce实现索引并行构建,通过多级过滤的方式,提高了地表覆盖空间范围的查询效率.实验表明,该方法能快速完成大规模、密集分布的地表覆盖数据的空间索引构建,提升空间检索性能,并具有良好的扩展性,可为其他海量空间矢量数据的检索提供借鉴.     

多维数据检索查询的新机制

结合数据立体方体和R树两种索引方法快速灵尖地进行数据查询,设计了最近邻接快速查询算法FNN,解决了一般R树查询中无法快速查询高维度数据的问题,使查询更高效,应用更广泛。     

空间索引的新机制——G树

研制空间数据库管理系统，提出一种Ｇ树的空间模型和动态格网的操作算法，设计实现了基于页面的新的空间索引机制，有效的解决了Ｎ维空间数据的索引问题．     

一种面向移动终端地理场景点云在线可视化的集成型索引

针对现有点云索引研究方法欠考虑移动终端性能特点这一问题,提出了一种适用于移动端点云场景在线可视化的集成型空间索引。该索引首先利用考虑了移动终端网络带宽与计算渲染性能特点的改进型KD-tree实现点云数据的均衡划分与编码,在此基础上构建点云数据的LOD模型,并使用改进型八叉树管理其组织,最后通过改进型KD-tree的编码联结改进型八叉树形成〈1 一级树 ： 1二级树〉的优化型索引结构。该索引可支持移动端实现基于LOD的点云场景渲染策略,支持从数据块层面判断点云数据的空间关系,也支持数据的多线程查询。实验与分析表明：相比传统点云索引,该索引具有稳定的构建效率与优秀的空间查询性能,可为移动应用提供可靠的数据支持,能满足移动端点云在线可视化应用需求。     

基于Spark的土地利用矢量数据空间叠加分析方法

针对海量土地利用矢量数据空间叠加分析的效率问题,提出了基于Spark的土地利用矢量数据空间叠加分析方法,通过弹性分布式数据集实现索引过滤与叠加计算,为解决空间叠加分析的瓶颈问题做了新的尝试. 实验结果表明,相较基于Oracle数据管理的叠加分析方法,该方法显著提高了空间叠加分析效率,更适合面向海量土地利用矢量数据的叠加分析.     

一种基态修正模型下的时空拓扑关系表达

传统的基态修正模型仅能显式存储宗地变更的父子关系和变化类型,不能在2个不同时间快照间进行关联检索.在已有时空数据管理方法的基础上引入地理事件,通过事件序列组织差文件来解决前后版本数据库之间时态拓扑关系和空间拓扑关系关联的难题,根据时空地理对象的空间拓扑关系和时态拓扑关系模型,提出了81种时空拓扑关系并进行综合呈现.通过地籍数据库增量更新过程进行验证,结果表明,提出的模型能够较完整地存储与表达该模型下的时空拓扑关系,可以通过改进的STSQL语言进行时空查询,在时空数据的管理上具有一定的应用价值.     

基于语句查询扩展和高性能计算平台的分布式信息检索系统DQSSQE

提出了一种基于语句的查询扩展方法以及语句向量的融合策略,使得扩展后的查询语句的查询性能优于原始查询语句;基于微软高性能计算平台HPC Server和查询扩展策略,设计实现了一个分布式文本检索系统DQSSQE.实验结果表明,在检索性能方面,所提出的查询扩展策略能够有效的提高查准率,召回率上也有一定的提高;在分布式检索计算性能方面,DQSSQE系统具有较好的计算加速比,随着文本集规模的增加,其计算性能的优越性体现明显.     

基于MapReduce和双层倒排网格索引的kNN算法

随着卫星定位技术和移动互联网技术的飞速发展,地理空间数据来源变得更加多源异构.面对海量地理空间数据,如何快速有效地找到目标周围的兴趣点变得异常重要.依据空间k近邻(kNN)查询算法,提高效率的关键在数据索引和数据块存储结构设计,通过引入云计算的MapReduce编程模型,设计了一种面向MapReduce的地理空间数据双层倒排网格索引,利用CircularTrip算法实现了目标点近邻查询计算,最终获得距离目标点最邻近的数据点集.实验结果表明,该索引方法较单层倒排网格索引下的kNN查询效率有明显提高,且数据量越大效率提升越明显,此法适合大规模并行计算.      

“格网索引+MapReduce”策略下的地理国情统计分析研究

地理国情统计分析是深度研究地理国情普查数据的首要前提.针对现有单机集中式数据存储与处理方式存在耗时长、效率低甚至不支持的问题,设计了"格网索引+MapReduce"策略,基于规则格网设计普查数据文件的分块组织与分布式存储方式,研制了格网索引与空间分析相结合的双层过滤机制,构建基于MapReduce的地理国情并行统计算法.最后,与无索引MapReduce、ArcGIS平台进行性能对比测试,结果表明:"格网索引+MapReduce"方法的统计效率远高于ArcGIS平台,对无索引MapReduce方法亦有明显的效率优势,研究拟为地理国情普查数据的高性能、多类型、大批量统计分析提供优选方案.     

大规模流程模型库的高效检索算法

为了实现对大规模流程模型库的高效检索,本文提出一种基于两级索引(节点索引和边索引)的流程模型库检索(简称流程检索)算法.该算法通过节点索引过滤大规模流程模型库,得到候选模型集,由动态构建的边索引对候选模型集进行第二次过滤,应用子图同构算法对两次过滤后的候选模型进行验证.为进一步加速流程检索过程,将该算法与并行计算模式相结合,提出一种检索效率更高的多路并行检索算法.实验结果表明,本文提出的算法可以显著提高大规模流程模型库的检索效率.     

基于MPEG-7的视频数据组织与管理

针对现有视频数据库系统存在的不足,根据视频数据的特点,提出并实现了一种基于MPEG-7标准的视频数据组织与管理方法.该方法将视频内容的描述数据按照不同层次的视频内容单元进行组织,并针对不同的描述数据,分别生成结构索引、文本索引和特征索引,以满足基于内容的视频浏览和检索的需求.实验证明,通过视频描述数据库对视频数据进行管理,不仅降低了服务器的存储要求,而且为基于内容的视频检索奠定了基础,具有很好的通用性和可扩展性.     

VAC索引方法:一种基于空间类聚类与数据压缩的多维索引技术

提出了VAC(vector approximation clustering)索引方法，该方法针对多维空间中存在的大数据量问题，利用空间类聚类和数据压缩结合的方法，综合了层次索引和顺序扫描的优势，提高了多维空间中的检索速度，对于多维空间中常见的复杂检索方式如NN查询和范围查询提供了较好的支持。分析与实验结果均表明，VAC方法在数据量和空间维数都很高的情况下都取得了令人满意的效果。     

基于Map/Reduce的索引数据云存储模型研究

针对目前搜索引擎引擎系统存在的数据量庞大、访问用户高并发性和搜索延迟性的特点,提出了基于云存储的文档索引分类存储模型,并在索引数据分类存储算法实现过程中,采用基于Map/Reduce编程模型的二次索引词权重计算,以降低分类过程中的模糊粒度.通过实验验证基于该存储模型的算法不仅可以提高海量数据索引库的数据处理效率,而且在一定程度上降低了检索系统查询延迟,提高了搜索效率.     

一种基于影像块组织的遥感数据分布式存储方法

云存储是解决动态增长的海量遥感数据产品存储管理难题的有效手段.针对云存储在遥感数据存储领域中存在的问题,提出了一种基于影像块组织的遥感数据分布式Key-Value存储模型,解决了分布式文件系统存储大规模影像块效率低下的问题,使遥感数据云存储具备了空间区域访问特性;结合开源分布式文件系统HDFS,实现了影像数据的分布式高效存储与空间区域检索.实验与分析表明,系统在多用户并发连接情况下可以维持较高的吞吐率,同时具备良好的可伸缩性和稳定性.     

基于优化Paillier算法的两层无线传感器网络范围查询计算方法

针对现有两层无线传感器网络范围查询中数据计算效率较低以及感知节点能耗消耗较高的问题,提出一种基于优化Paillier算法的两层无线传感器网络范围查询计算方法。首先,利用具有可验证性的优化Paillier方法加密感知数据,在保证数据安全隐私的前提下实现密文下的数据运算,将计算平台从查询节点转移到存储节点,提高数据运算效率。其次,提出一种基于最左0-1编码和HMAC数据摘要算法的低功耗数值比较方法,在保证数据稳定性的前提下,降低感知节点能耗。最后,给出该方法的具体设计与实现,并利用树莓派和温湿度、光照强度传感器构建感知节点,利用英伟达TX2边缘计算平台构建存储节点,以此构建实验平台,将范围查询计算方法在该平台进行移植与实现。与现有方法在感知节点能耗、数据计算效率方面进行对比分析,结果表明,本文方法能够在降低感知节点能耗的基础上提高数据计算效率。     

基于多通道Gabor纹理特征的遥感图像检索

遥感图像数据量的急剧增加,给研究者们提出了有效检索和管理图像的难题.为了快速准确地检索海量遥感图像,提出一种基于五叉树分解的多通道Gabor纹理特征图像检索新方法.该方法用五叉树分解法层层分解图像,在利用多通道Gabor滤波器与图像做卷积得到滤波能量值基础上,提取各子图像24个滤波能量均值和均方差作为纹理特征,并计算查询图像和与其大小相当的数据库子图像的纹理特征相似性距离,从而获得与查询图像相似的数据库子图像.将该方法用于高分辨率卫星和航空图像数据库的检索,实验结果证明了方法的有效性.     

基于列数据库和图缓存的海量RDF管理

针对现有的基于关系数据库和图数据库存储RDF数据集的几种模型中查询性能的不足,将列数据库和图缓存相结合,提出一种新的管理海量RDF数据的方案.该方案在底层磁盘采用基于列的关系存储,同时在内存中构建RDF图模式的存储,并设计实现了一套新的SPARQL查询引擎.通过相关分析和各种存储模式的实验结果对比分析,验证了该方案的可行性,表明了该方案具有更高的查询效率.     

基于群集技术的多服务器地理空间数据管理

析了现有海量空间数据网络管理技术在系统整体性能方面存在的局限,引入群集技术,充分利用群集技术的高性能计算和高可靠性的服务器架构等特点,优化设计了基于群集的多层GIS应用服务器体系结构,结合常规海量空间数据库管理的空间索引分区、远程内嵌过程等效率策略,提出了一套基于群集的海量空间数据多服务器管理技术.通过基于Oracle真正应用群集(real application cluster,RAC)和Oracle9i应用服务器(9i Application Server,iAS)的应用实例,验证了基于群集空间数据管理技术的可行性及其高性能.