一种面向海量分布式数据库的嵌套查询策略

面向大数据分析和处理的NoSQL数据库具有非常好的读写性能和可扩展性,但是无法支持完整的SQL查询和跨行跨表的事务,对于传统的以关系数据库为主的金融业务在应用上有所限制.OceanBase是面向海量数据查询的分布式数据库,结合了关系数据库和非关系数据库的优势,同时支持关系查询和跨行跨表事务,具有可扩展性.但是,目前OceanBase只支持简单的、非嵌套子查询的SQL语句,无法很好地支持金融应用.本文在研究OceanBase架构和查询策略的基础上,提出了一种基于BloomFilter和HashMap的查询策略,实验表明该策略能够提高和改善现有查询策略的不足,在实现嵌套查询的基础上,可提高查询性能.     

关系数据库中查询优化方法的探讨

数据库是一个复杂的高效率、高性能的软件产品,查询是数据库中最基本、最常用的操作。查询优化对于关系数据库的性能,特别是对于大型数据库系统的性能至关重要。以关系数据库为基础,结合实践经验,从数据库设计和查询策略选择的角度讨论查询优化技巧。     

浅谈关系数据库的查询处理和优化

在关系数据库应用开发中,查询优化是提高查询效率和系统性能的关键。文章从介绍RDBMS的查询处理步骤入手,分别从数据库设计方案、查询优化技术、查询优化的方法三方面对查询优化做了具体分析,以便对关系数据库的查询处理和优化有较完整的认识。     

基于范围语义的非一致性数据库聚集查询

基于非一致性关系数据库的非聚集查询技术,发展普通的一致性查询应答的语义,提出非一致性数据库的范围语义,给出基于一致性查询范围的实际聚集查询重写方法,返回基于这种语义的聚集查询范围值.通过对初始分组属性和键属性聚集得到候选结果集,再过滤与初始分组属性值相冲突和不满足初始查询的元组.对于最小值,过滤掉可能不一致的元组,去掉可能值,得到一致性值;对于最大值,得到可能的最大候选值.实验基于TPC-H基准采用不同的参数进行研究.研究结果表明,聚集属性和投影属性数量、数据库以及初始查询的结果集对重写查询的负载有显著的影响,但非一致性数据比例和共享共同键值元组数的影响很小.尽管重写查询比初始查询的执行时间长,但是可以接受.     

MapReduce框架下k-支配轮廓查询算法

随着维度和数据量的不断增长,已有的轮廓查询方法已无法为用户提供更好的查询支持.本文采用并行处理框架MapReduce 结合k-支配轮廓查询算法来解决此类查询问题.在对输入的数据集进行预排序的基础上,提出了基于MapReduce 的单轮扫描算法和双轮扫描算法,通过在不同维度、数据分布、节点个数等方面的实验测试及对比,验证了算法的有效性.     

XML数据在关系数据库中存储和检索的研究和实现

论述了关系型数据和XML数据之间的相互转换 ,给出了将XML数据存储在关系数据库和将存储在关系数据库的XML数据恢复为XML形式的算法 .由于实际数据类型的复杂性 ,使用Schema来定义XML文档类型 .试验结果表明算法具有较好的性能 .讨论了将XMLQL查询语句转换为SQL查询语句的设计 ,根据文中XML数据存储在关系型数据库中的算法 ,可以对XMLQL查询语句的语法、语义进行分析以转换为相应形式的SQL语句来在关系数据库中查询被存储的XML数据 ,并返回相应的结果集     

MapReduce模型下基于R树索引的Skyline查询算法

提出一种MapReduce并行计算模型下基于R树索引的Skyline查询算法, 解决了海量空间数据集下执行Skyline查询效率低的问题. 通过建立R树索引实现空间数据不同粒度的范围剪枝, 有效降低了分布式Skyline查询需扫描的数据规模, 提高了在MapReduce模型下Skyline查询的执行效率. 在不同数据分布下进行对比实验的结果表明, 该方法比已有算法在执行效率上更具优势.     

数据库与知识库的数据转换接口的数学模型研究

本文提出智能网络结点－－智能工作站的重要组成部分,即知识库系统中关系数据库与知识库的接口功能实现的数学模型。该模型是在分析关系数据库的关系模型和基于逻辑模式的知识库模型的基础上提出的,并研究了在该模型的基础上的推理查询方法。该数学模型对数据库智能化及将关系数据库扩展成知识库提供了有效的研究途径。     

关系数据库SQL查询语句优化应用

针对目前关系数据库查询中SQL查询语句存在的问题,本文进行了详细的分析,并提出数据库SQL查询语句的优化方案。     

一种基于关系数据库管理系统的图计算平台

本文提出了一种新的基于关系数据库管理系统(Relational Database Management System,RDBMS)(本文简称关系数据库)的图计算平台.该平台将图数据以原生的形式在关系数据库的表格中存储,从而在数据表达上和原生图计算平台达到了一致.该平台将图计算逻辑完整准确地表达为SQL(Structured Query Language)查询语句.关系数据库执行SQL查询语句,从而完成图计算,并将结果返回.实验结果表明,该新的平台有效地利用了关系数据库成熟的查询优化技术,在很多方面优于现有的原生数据平台;而目前的性能局限,也会随着未来关系数据库的不断演化和迭代,得到有效的解决.     

云环境下基于预分片的遥感数据并行重采样方法

面向海量高分辨率遥感影像数据快速发布需求,针对当前云环境下遥感影像数据并行重采样存在的难题,结合云平台MapReduce并行计算框架特性和遥感影像数据处理特点,提出了一种基于预分片的遥感影像数据并行重采样方法,通过预分片机制有效实现了该框架中对影像数据分片和并行重采样任务的控制,解决了MapReduce难以用于并行处理非结构化、具有空间位置特征的遥感影像数据的问题,从而实现了云环境下遥感影像数据的高效并行重采样.通过在开源云平台Hadoop上的实验和分析表明,该方法具有良好的重采样性能,能够实现高分辨率遥感影像数据的高效重采样.     

云计算环境下的SWRL规则分布式推理框架

为解决传统推理引擎在进行大规模OWL本体数据的SWRL规则推理时存在的计算性能和可扩展性不足等问题,提出了云计算环境下的SWRL规则分布式推理框架CloudSWRL.根据SWRL规则语义,并以Hadoop开源云计算框架为基础,设计了OWL本体在HBase分布式数据库中的存储策略,定义了SWRL规则解析模型和相关推理中间数据模型,提出了在DL-safe限制下基于MapReduce的SWRL规则分布式推理算法.实验结果表明,在对大规模OWL本体进行SWRL规则推理时,CloudSWRL框架在计算性能和可扩展性方面均优于传统推理引擎.     

Design and development of real-time query platform for big data based on hadoop

This paper designs and develops a framework on a distributed computing platform for massive multi-source spatial data using a column-oriented database(HBase).This platform consists of four layers including ETL(extraction transformation loading) tier,data processing tier,data storage tier and data display tier,achieving long-term store,real-time analysis and inquiry for massive data.Finally,a real dataset cluster is simulated,which are made up of 39 nodes including 2 master nodes and 37 data nodes,and performing function tests of data importing module and real-time query module,and performance tests of HDFS's I/O,the MapReduce cluster,batch-loading and real-time query of massive data.The test results indicate that this platform achieves high performance in terms of response time and linear scalability.     

大数据分析中基于 MapReduce 的空间权重创建方法研究

大数据空间分析是 Cyber-GIS 的重要方面。如何利用现有的网络基础设施（比如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。为此,提出一种基于 MapReduce 的空间权重创建方法。该方法依托Hadoop 框架组织计算资源,基于 MapReduce 模式从大规模空间数据集中高效创建出空间权重：大空间数据被分为多个数据块,将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,由约简器从不同节点处收集相关结果并生成权重文件。利用 Amazon 公司弹性 MapReduce 的 Hadoop 框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明,该方法的性能优于传统方法,解决了大数据的空间权重创建问题。     

Banian: A Cross-Platform Interactive Query System for Structured Big Data

The rapid growth of structured data has presented new technological challenges in the research fields of big data and relational database. In this paper, we present an efficient system for managing and analyzing PB level structured data called Banian. Banian overcomes the storage structure limitation of relational database and effectively integrates interactive query with large-scale storage management. It provides a uniform query interface for cross-platform datasets and thus shows favorable compatibility and scalability. Banian's system architecture mainly includes three layers:(1) a storage layer using HDFS for the distributed storage of massive data;(2) a scheduling and execution layer employing the splitting and scheduling technology of parallel database; and(3)an application layer providing a cross-platform query interface and supporting standard SQL. We evaluate Banian using PB level Internet data and the TPC-H benchmark. The results show that when compared with Hive, Banian improves the query performance to a maximum of 30 times and achieves better scalability and concurrency.     

基于MapReduce的关联规则并行增量更新算法

针对在关联规则的实际挖掘中,由数据快速增加所造成的大数据问题和增量更新问题?在快速更新频繁模式树算法(fast updated frequent pattern tree,FUFP - tree)的基础上,引入MapReduce 编程模型,提出了一个面向大数据的并行的关联规则增量更新算法(parallel fast updated frequent pattern tree,PFUFP - tree)?该算法通过构建原始事务数据的分块索引,从而使得在每次增量更新时,能够最小化地扫描原始事务数据库,提高了挖掘效率;同时采用动态负载均衡的项目分组策略来优化并行计算过程中的项集分组问题,从而保证分布式集群中节点之间的负载均衡;实验结果证明,提出 的算法是有效的和高效的,适用于动态增长的大数据环境?     

基于MapReduce的大数据在线聚集优化设计

针对大数据在线聚集执行时间长、执行性能及延迟调度性能较差的问题,提出基于MapReduce的大数据在线聚集优化程序设计.使用分片聚集方法使集群中所有机器的计算资源得到充分调用,采用子连接的启发式优先方法优化各节点本地执行连接任务关系运算,实现大数据在线聚集的并行连接.利用混合近似查询框架的大数据在线聚集动态切换机制及基于渐进近似估计的动态切换机制,降低混合近似查询切换误判率,增强大数据在线聚集的执行性能.实验结果表明,该方法设计的在线聚集优化程序在不同数据规模下的执行时间较小,同时在基本频繁查询性能方面具备显著优势.     

基于哈希表的MapReduce算法优化

分布式并行计算是提高计算机性能常用的方法,但针对不同需求,并行程序的设计并没有统一的模型与方法,使得并行程序的编写完全依靠开发人员的经验。Google公司提出的分布式并行编程模型MapReduce能够完成特定类型的并行程序的开发与运行。使用哈希表对MapReduce分布式并行编程模型进行优化,减少中间结果中的碎片,并省略Combiner中间函数的调用,减少传输负载,提升运行效率,同时兼顾了Map函数与Reduce函数接口的属性,保持了MapReduce模型的并行性特点。