空间索引并行批量加载算法研究

空间索引是提高空间数据库查询性能的关键技术。空间数据具有海量、空间目标不规则、结构和关系复杂等特征,要动态地维护空间索引结构,传统R树的构建方法插入代价非常高。在深入分析空间索引批量加载算法基础上,面向多核处理器的新型硬件架构,基于OpenMP并行编程模型,实现Hilbert R树索引的并行批量加载算法。实验结果表明,相对于串行经典算法,该算法的并行效率接近50%,通过查询实验验证,并行加载算法保持了串行算法生成索引的优良查询性能。     

一种高效的海量遥感栅格数据库的空间可视化检索算法

该文针对利用GIS现有空间查询接口进行海量遥感栅格数据库空间可视化检索效率低下的问题。在深入研究海量遥感栅格数据库的空间可视化检索特点的基础上,提出了一种直接针对关系数据库(RDBMS)存储过程的高效的海量遥感栅格数据库复杂空间可视化检索算法,并对算法进行了多个级别的性能优化。该算法可直接应用于海量遥感栅格数据库基于多边形、椭圆和线穿越等复杂空间可视化查询的应用环境。实验结果说明该算法具有稳定性和普适性。     

面向OLAP的高效海量数据存储技术研究与实现

文章在分析了OLAP大规模海量多维数据特点的基础上,针对当前一般规模关系数据库处理海量多维数据能力的不足,通过使用数据库分区技术和并行磁盘组技术,设计并实现了一种高效的、面向OLAP应用的数据存储管理结构。并针对传统查询优化器对于大规模海量数据统计信息更新不及时的问题,设计了一种基于分区技术的统计方法。实验证明,该设计可以对百TB级的多维海量文本数据进行有效的管理。     

基于MapReduce模式的多表联查算法

多表关联查询是进行数据挖掘与分析的有效技术手段。随着大数据时代的到来,当前的数据分析技术在进行海量数据多表联查操作时存在明显的性能瓶颈,为此提出一种基于Map Reduce计算模型的多表联查算法UGS用以提升多表关联查询效率。实验表明,在海量数据背景下,该算法的查询效率明显优于大数据领域的Spark SQL,Hive及关系型数据库的My SQL。     

蚁群算法在数据库查询中的应用

提出了一种基于蚁群算法在数据库查询应用中的新方法及其仿真,蚁群算法就是对自然界中蚂蚁的寻食过程进行模拟而得出的一种模拟进化算法。与传统的算法相比,该算法的主要特点是正反馈和并行性,正反馈使得该算法能很快发现较好查询路径,并行性使得该算法易于实现并行查询计算,从而提高了查询的速度。最后,利用Excel对蚁群查询算法和传统查询算法进行了仿真并进行了比较。     

海量图书检索信息的快速查询系统优化设计研究

以往依据关键词的检索方法,在对海量图书检索信息进行查询过程中,无法满足海量信息的大批量检索需求,存在查询效率低和误差高的缺陷。因此,设计基于分布式架构的海量图书检索信息的快速查询系统,系统中的各组件通过并行数据库和分布式存储实现交互。该系统的功能模块包括用户管理模块、数据抽取模块、索引创建模块、文本查询模块及索引检索模块。分析了系统各功能模块的设计和实现过程,这些功能模块共同对外提供图书信息的快速查询服务。实验结果表明,所设计系统可实现海量图书检索信息的快速、精确查询,并且具有较高的索引创建和索引检索性能。     

基于位编码的联机分析处理及数据挖掘算法

联机分析处理系统（OLAP）中的查询问题或决策支持系统中的查询非常复杂,如何处理大维度的海量数据是一个挑战。提出了一种用于OLAP多维数据库及相关数据挖掘的并行体系结构;提出了一种改进的适用于完整或部分数据立方体的并行计算调度优化方法;实现了一个大尺度的多维数据库引擎,适用于在多维度、海量数据的OLAP或SSDB中进行维度分析。     

遥感图像PCA融合的并行算法研究与实现

文章针对已有的遥感图像PCA融合串行算法，提出了一种基于数据并行的新的PCA融合并行算法PPCA．并对该并行算法进行了通信优化，在机群系统上进行了实现。针对IKONOS图像进行实验的结果表明该算法可获得良好的并行加速比．并行效率较高，为遥感图像的实际应用提供了有益的指导和借鉴。     

一种基于云计算的大数据关联规律挖掘分析方法

随着云计算时代的到来,云计算为海量数据的挖掘分析提供了一种新的技术途径,能够有效地解决传统数据挖掘方法不能适应海量数据挖掘的问题。介绍了云计算的含义和特点,分析了运用云计算技术实现数据挖掘的优势,设计了基于MapReduce并行处理架构的关联规律挖掘算法,并开展了试验验证。试验结果表明,基于云计算平台的并行关联规律挖掘算法能够极大地提高数据挖掘的执行速度。     

基于FPGA的数据库聚合查询加速引擎

数据库是实现信息统筹管理的重要载体。通过硬件层面的优化设计来实现对数据库海量存储资源的高速查询已成为相关领域研究的重要方向。针对当前主流数据库在执行聚合查询操作过程中存在的低效率、高延迟等问题，文中深入剖析了数据库执行聚合查询的原理和关键步骤，并以异构思想设计了一种全新的基于FPGA的数据库聚合查询加速引擎。     

人类SNP数据查询平台的开发与优化

单核苷酸多态性（SNP,Single Nucleotide Polymorphism）作为重要遗传标记,在遗传学研究中得到了广泛关注。针对从海量人类基因数据中获取SNP信息并实现数据共享的问题,本文构建了基于Web的SNP数据查询平台并进行性能调优。该数据库系统用户界面友好,数据查询操作简单且能够快速查询SNP数据,实现了SNP数据实时查询和共享,一定程度上解决了许多小型实验室以及非生物专业研究人员所面临的问题,为后续算法研究和软件开发提供了有力帮助。     

基于合格标记的数据操作并行执行算法的研究

本文针对面向对象数据库及其查询的特点,提出了一种基于合格标记的数据操作并行执行算法,理论分析和模拟结果都验证了它的实用性和有效性.     

基于物化视图的查询重写系统设计与实现

随着XML文档大量涌现,如何有效地管理和查询XML数据已经成为亟待解决的问题。结合数据库发展的需要,研究了在关系数据库中利用物化视图和查询重写技术存储和查询XML文档。基于视图的查询重写技术是查询优化的一个重要技术,利用缓存的视图结果回答新查询不需要访问源数据库进行查询,能够节省查询处理时间。通过对物化视图、视图缓存、查询重写等技术进行研究,讨论如何利用关系数据库中缓存的物化视图来回答查询的问题,并实现了基于物化视图的XML数据查询系统原型。系统中使用扩展的模式匹配算法实现对多分支路径的模式匹配,解决了重写是否存在的问题,并通过模式匹配算法的匹配结果,来判断是否可以构造补偿表达式。通过构造补偿表达式算法得到重写结果,进而通过数据库中缓存的视图完成查询。     

基于域语义约束的MiniCon算法

查询重写是数据库研究的一个基本问题，它和查询优化、物理数据的独立性维护、数据集成、数据仓库和决策支持等问题紧密相关。MiniCon算法是一种可伸缩的高效的重写算法，文章对它进行了深入研究。提出了一种基于域语义约束的MiniCon算法，解决了MiniCon算法中丢失查询重写或生成冗余查询重写的问题．提高了算法的正确性和完备性．     

海量数据处理系统设计的几点探讨

文中针对海量数据的处理,结合Oracle数据库设计的实践,就数据库设计中的表设计、数据装载、查询,资源优化等内容进行了探索,在提高大型数据库运行效率方面提出了比较切实可行的思路和方法。     

云平台下CRM系统数据存储的设计与实现

目前,在这个海量数据时代,传统的关系型数据库在存储和查询等方面暴露了许多问题。我们在对非关系型数据库进行了详细的研究后,在云平台下CRM系统中提出关系型数据库和非关系型数据库结合使用的方案。其中在具体实现时关系型数据库选择使用MySQL,非关系型数据库选择使用MongoDB。该方案大大提高了系统的读写性能。     

多对象RkNN查询在空间数据库中的应用

针对空间数据库的RkNN查询概念和多个对象的查询特点设计了相关算法.对于一组查询Q,先是生成查询Q的最小圆域DOM(O,R),然后求出RkNN查询的初始化区域,最后通过消除查询错误数据点得到RkNN查询结果.通过对真实数据集进行的大量实验表明,文中提出的算法效率明显优于目前最好的反RkNN算法.