数据库查询优化技术的历史、现状与未来

传统的查询树优化方法,即基于左线性树、右线性树、浓密树、操作森林的并行数据库查询优化方法,各有优劣,对其的研究比较深入、成熟;基于多重加权树的查询优化方法,研究了其并行查询计划模型、并行查询计划的复杂性模型和查询优化算法;语义查询优化方法将一个查询变换成一个或数个语义等价的查询,进而寻找并执行这些等价查询中具有较好实现策略的一个;基于Agent的并行数据库查询优化采用Multi-Agent技术自动查找与给定查询有关的完整性约束条件,使得多个关系间连接操作的效率得到很大的提高;基于遗传算法的并行优化算法,深入研究了基于机群并行数据库中关系存储的选择、多连接查询优化和查询处理等关键技术。     

并行数据库查询优化技术的最新进展

传统的查询树及基于多重加权树的查询优化方法,研究得比较成熟,语义查询优化方法将一个查询变换成一个或数个语义等价的查询,基于Agent的并行数据库查询优化采用Multi-Agent技术自动查找与给定查询有关的完整性约束条件,使得多个关系间连接操作的效率得到很大地提高.并行数据库的查询优化领域的3个重要方向为基于机群系统的并行数据库查询优化研究,将MAS技术及专家系统引入本领域,将模拟退火算法及神经网络算法引入本领域.     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

数据库查询优化研究

随着信息技术的快速发展以及人们对信息依赖程度的提高,数据库在整个信息化建设中具有更加重要的作用。如何提高数据库的效率。特别是数据库查询的效率十分关键。论文分别研究了分布式数据库和并行数据库的查询优化方法。在分布式数据库中,论文侧重基本原理的分析,主要从基于关系代数的优化、基于直接连接查询的优化、半连接优化、索引优化以及查询优化搜索策略,这5个方面系统的论述了查询优化的方法、策略。在并行数据库部分,论文侧重于常见算法的研究,主要论述了基于查询树的传统优化方法、多重加权树优化方法、语义查询优化方法以及基于遗传的优化方法,该4类查询优化算法是目前并行数据库查询优化中应用最广的,代表了当前的研究水平。论文研究这两类典型的数据库查询优化算法,就是让我们能了解数据库优化的发展情况,有利于开发更加有效的查询优化技术。     

基于信息网模型的分布并行多连接查询优化

在分布式集群系统中,数据根据划分算法存储在集群的各个节点,这为涉及大量连接操作的复杂查询带来了昂贵的网络开销。针对该问题,基于信息网模型INM(Information Network Mode),提出最小通信量查询划分算法和多目标查询优化算法。其中查询划分算法将复杂查询划分成多个PWOC(parallelizable without communication)子查询,所有子查询可近似无通信地并行执行。多目标优化算法将子查询作为查询计划的基本操作,并将并行性和通信代价同时作为驱动目标,以传统多目标加权算法结合贪心策略作为评估依据生成查询计划树。最后,系统基于TPC-H基准生成测试数据,将原始算法与优化算法进行了对比实验,结果表明优化算法可以极大提高复杂查询的效率。     

基于蚁群算法的多连接查询优化方法

介绍蚁群算法在多连接查询优化中的应用,在介绍蚁群算法的基本原理和工作流程的基础上,提出一种利用蚁群算法进行数据库多连接查询优化的方法,并建立基于蚁群算法的多连接查询优化模型。理论分析与试验结果表明,用蚁群算法解决多连接查询优化问题取得了满意的效果。     

一种高效的移动对象连续多范围查询处理框架

针对连续多范围查询处理,结合多核多线程技术和大容量内存技术,通过将移动对象和查询放在内存中处理,提出了一种基于多线程的连续多范围查询处理框架.该框架基于多核处理器平台采用多线程技术周期性地处理查询和移动对象的更新,并周期性地计算多范围查询的结果.提出了基于移动对象数据均匀划分的多线程连续多范围查询处理算法,该算法以为查询建立的格网索引为基础.给出了该索引的构建思想和更新算法.考虑到基于内存的算法受Cache访问性能影响,提出了基于空间填充曲线的移动对象存储优化方法.实验证明,基于多核平台的多线程处理能够高效地处理连续多范围查询,同时通过移动对象存储优化能够提高算法运行中Cache访问命中率,进而提高算法性能.     

基于部分求值和热踪编译的Twig查询优化方法

XML树模式查询又称为Twig查询,是XML查询处理中最核心的操作。在Twig查询算法的研究中,TreeMatch算法由于极大程度上减少了中间结果的产生,被认为是最好的Twig查询算法之一。然而,在TreeMatch算法的核心操作getNext中,存在不少仅依赖Twig模式的计算。当getNext调用次数很多时,这种冗余的重复计算会影响TreeMatch算法的性能。为了进一步改进该算法,提出了一种基于部分求值和热踪编译的Twig查询优化方法,该方法以Twig模式作为不变量进行部分求值,把查询请求翻译成一种Twig查询机指令序列,避免了查询过程中对Twig模式的重复计算;并且针对这种查询机指令序列的解释过程,利用热踪编译技术进行了优化。对比实验说明基于部分求值和热踪编译的优化方法能够将Twig查询效率提高到20%到60%。     

一种改进的分布式查询优化算法

为了提高分布式查询优化算法的性能,在遗传模拟退火混合算法中融入小生境技术,并对混合算法的相应要素进行改进,基于该混合算法,提出了一种改进的分布式查询优化算法。利用小生境技术扩展遗传模拟退火混合算法的探索区域,防止早熟现象发生,简化算法中的Meteopolis规则,以消除混合算法中引入新技术后产生的功能冗余,将混合算法应用到分布式查询优化算法中。实验结果表明,改进的分布式查询优化算法可以稳定地得到最优解,减少分布式数据库查询的代价,提高查询效率。     

一种自底向上的静态语义查询优化算法

演绎数据库语义查询优化是运用数据库中的语义知识，即完整性约束条件，将用户提交的一种查询转换为能有效执行，并与原查询等价的查询的一种优化方法．至今在这一领域已有了许多的算法，但大多是基于自顶向下的查询计算模式．而本文提出的静态语义查询优化算法及其改进算法是在优化“并”和“连接”操作的过程中进行自底向上的查询计算，因此相对自顶向下的计算方式更有效地提高了查询执行效率．     

P2P网络服务器部署方案及其启发式优化算法

为了更好地利用服务器提升P2P 网络的性能,提出了一种P2P 网络服务器最优化部署方案.该方案将如何部署有限的服务器资源来满足尽量多节点的问题,转化为一个带有约束条件的最优化问题.考虑到极坐标空间适合于表达长度相关的约束条件,例如部署方案中的约束条件,提出一种基于极坐标映射的启发式算法,解决P2P 网络服务器最优部署问题.相比于通常的使用罚函数的启发式算法,该算法可以有效地减小搜索空间,其性能的改善在搜索空间维数高的情况下更加显著.实验结果表明,所提出的服务器部署方案可以满足更多节点的需求,能够有效提高P2P 网络的性能.     

基于移动Agent的P2P资源发现模型PIMA

基于移动代理的P2P资源搜索方法是P2P搜索研究中较为新颖的方法.提出一种新的基于移动代理的P2P模型PIMA.并在此模型基础上提出相应的资源搜索算法.该模型集成节点集群技术和蚂蚁优化算法.以在Agent迁移中实现进一步的性能提高.     

一种基于互惠能力的P2P网络拓扑优化算法

高效的拓扑优化算法是非结构化对等网络的研究热点之一。针对现有对等网络拓扑优化算法大多基于理想的网络环境、缺乏对节点自身能力和外部环境的综合考虑的不足,给出了一种基于互惠能力的对等网络拓扑优化算法。它从节点自身能力和外部环境因素两个方面来计算节点的互惠能力,在此基础上对非结构化对等网络的拓扑结构进行优化。分析与实验结果表明,该拓扑优化算法能将互惠能力低的节点排挤到网络边缘,降低其对网络整体性能的影响,并能有效地提高对等网络的资源搜索效率。     

TBSN:一种基于分类层次的P2P网络

构建语义覆盖网络是支持基于语义的搜索、提高P2P网络查找性能和可扩展性的重要手段.现有的基于分类层次的P2P语义覆盖网络并不能充分利用分类层次所包含的语义信息,为此提出了一种基于分类层次的P2P网络(TBSN),该网络充分考虑遵循某种分类层次的数据源的特点,能够利用分类层次所包含的语义信息,动态地将peer节点聚簇成不同的语义簇,语义簇之间根据语义关系建立相应的语义路由,从而形成了一种基于语义的P2P网络.每个语义簇由一个super-peer节点和多个peer节点组成,仅负责回答其语义子空间上的查询.查询根据语义首先被路由到可能有结果的语义簇中,然后转发给相关的peer节点,从而减少查询所涉及的节点和消息的数量,提高了网络的性能.实验表明,TBSN网络在查找性能和开销之间取得了良好的平衡,同时较好地保持了语义簇之间的负载平衡和簇中数据之间的语义关系.     

P2P系统的性能优化：研究综述

Peer-to-Peer(P2P)计算模型在利用和管理日益增长的分布式信息和资源方面是一种非常成功的计算模型。但是这种计算模式也有一些缺点,特别是decentralized unstructured P2P系统,它将随机选择邻居和blind floodingsearch机制联合起来使用,使系统的网络开销急速地增加,严重地影响了系统的性能。本文介绍了减少decentralizedunstructured P2P系统网络开销的各类方法,对它们的优缺点进行了详细的比较,并根据比较的结果对今后的发展趋势进行了展望。     

一种基于DHT的P2P搜索方法

在网络搜索技术中,P2P模式有C/S模式无可比拟的优势。P2P为非中心化结构中的网络用户赋予更多的权力,使网络应用的核心从中央服务器向网络边缘的终端设备扩散,因而可以全面改写当前的网络搜索技术。在各种P2P技术中,搜索技术是最有价值、最亟待解决的问题,其中分布式哈希表(DHT)协议将是对等网搜索的重要发展方向。本文首先概述P2P搜索技术现状,接着分析比较了当前几种典型的协议搜索方法,最后讨论一种基于分布式哈希表的协议搜索方法。     

支持语义的P2P搜索研究

传统的P2P系统基于单特征词搜索,且不支持语义,有一定的局限性。向量空间模型VSM技术的应用解决了P2P系统中多特征词搜索的问题;标识符空间的分割,使相似文档在邻近的节点范围内聚集,提高了搜索的速度;语义思想的应用,使P2P系统能够理解搜索请求,有利于检索性能,特别是查全率的提高。仿真实验的结果表明:实现了多特征词的搜索;搜索收敛的速度较快;支持语义,检索性能得到了提高;节点达到了较好的负载平衡。     

P2P应用系统设计平台研究

目前在对等网设计中存在一些问题:应用范围的多样性和设计应用系统的性能难于评估。这就需要对等网模拟器对其各项性能指标进行分析。本文针对这些问题结合蚁群算法对模拟器的设计思想进行了深入研究,并结合蚁群算法,针对对等网模拟器路由选择问题结合前人的研究提出一种新的设计方案。     

P2P流媒体系统覆盖网局部优化研究

P2P流媒体系统覆盖网优化对系统性能有重要影响.现有的优化策略主要从全局角度进行描述,而实际情况中节点仅拥有系统部分节点的信息.为分析局部优化问题,本文首先基于博弈论模型提出一种无协作局部优化策略(Non-CooperationLocal Optimization,NCLO)对流媒体系统进行分析;在此基础上,提出一种协作局部优化策略(Cooperation Local Optimization,CLO),该策略通过交换邻居节点信息,采用投标的方式选择邻居节点,在已知局部信息的情况下调整邻居关系对覆盖网进行优化.实验表明,基于协作的局部优化策略能达到较好的优化效果.     

基于串联协作的多方法协作优化方法

为更好地求解复杂优化问题的全局最优解，提出了基于串联协作的多方法协作优化方法。它采用串联方式组织各个优化方法之间的协作。各个优化方法在每次协作中进行若干次优化，每一优化方法在优化过程中及优化结果中包含的优化信息被用于其它优化方法中，以提高整体优化性能。选择了遗传算法、模式搜索法和Powell法等三个直接优化方法进行串联协作组成的多方法协作优化方法的设计，并对其优化特性进行了深入的理论分析。最后，用三个复杂多维函数对算法性能进行了测试。计算实例表明，基于串联协作的多方法协作优化方法取得了优于单个优化方法的全局最优特性。