OLAM体系结构和算法的研究及应用

联机分析挖掘(0LAM)把0LAP(联机分析处理技术)和DM(数据挖掘)统一起来,从而在数据库或数据仓库的不同层次进行挖掘.为了提高联机分析挖掘的效率.论文给出了基于OLAP和DM的0LAM系统的一体化模型,并且通过研究数据挖掘方法和联机分析处理技术各操作的特点,对传统的DM算法进行了一定的改进,提出了更有效的基于0LAP的关联规则挖掘算法.     

基于OLAP技术实现银行客户分析系统

通过构建针对银行客户分析的数据仓库,描述了O鄄LAP系统的设计和实现方法,分析了OLAP服务器的内部结构,并着重研究了OLAP多维立方体的创建和OLAP多维引擎的构造。     

OLAP技术在股票行情分析中的研究与应用

本文通过构建针对股票行情分析这一主题的数据集市，详细介绍了如何利用Oracle Express工具组开发O－LAP应用，并着重研究了OLAP多维数据模型的设计和建立，最后在文章结尾对征券公司构建企业级数据仓库提出了一些设想。     

数据仓库、数据挖掘和OLAP分析及其应用实例

在日益激烈的市场竞争中，海量信息的存储、挖掘而得到的任何与消费者行为有关的信息对商家来说都是非常宝贵的。概要介绍了数据仓库、数据挖掘和联机分析处理（O－LAP分析）等概念，并介绍了一个工具SAS及其在网站访问量分析中的应用实例。     

无须附加空间的数据立方体联机聚集

以往在数据立方体上实现的联机聚集往往需要附加空间来存储联机聚集估算所需要的信息,极大地影响了数据立方体的存储和维护性能.提出了基于QC-Tree的用于范围查询处理的联机聚集PE(progressively estimate)算法以及它与简单聚集算法相结合的混合聚集算法HPE(hybrid progressively estimate);还提出了一种能够同时处理多个范围查询的联机聚集算法MPE(multiple progressively estimate).与以往联机聚集算法不同,这些算法不需要任何附加空间,而是利用QC-Tree自身保存的聚集数据和语义关系来估算聚集结果.由于QC-Tree是一种极为高效的数据立方体存储结构,因此能够以较理想的性能实现数据立方体上的联机聚集.对算法的分析和实验结果表明,所提出的算法具有较好的性能.     

一种基于维层次编码的OLAP聚集查询算法

联机分析处理(OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询，在其SQL语句中通常包含多表连接和分组聚集操作，因而减少多表连接和压缩关键字，以及对查询数据进行有效地分组聚集操作，成为ROLAP查询处理的关键问题。提出了一种基于维层次编码的新型预分组聚集算法DHEPGA．DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀，来快速检索出与查询关键字相匹配的维层次编码，求得维层次属性的查询范围，减少了I／O开销，提高了OLAP查询效率。理论分析和实验结果表明，DHEPGA算法性能是非常有效的。     

基于社区划分的联机分析处理查询优化方案

针对P2P环境下的联机分析处理（OLAP）查询节点数目不断增加时,易造成网络拥塞、查询效率降低的问题,提出一种基于社区划分的OLAP查询优化方案。该方案构建一个虚拟的社区网,并在此结构上设计了一种基于社区划分的多维数据集(CPDS)的OLAP查询优化算法。实验结果表明,该算法能有效避免因网络节点数目递增而导致的网络负载加剧问题,能有效地减少网络拥塞,优化了OLAP的查询效率,进一步提高P2P环境下OLAP的决策分析性能。     

动态数据立方的范围查询

根据data cube层次性的特点和查询习惯提出了新的分块计算方法，并在此基础上提出了改进算法．这种方法节约了存储空间，在LBD粒度及其上的查询效率为O(1)，同时数据的更新时间大约为O()，还节约了大量的存储空间，并且使得数据立方具有了一定的结构独立性，能有效的减少重新构造数据立方(reprocess)的次数，因而在时间上和效率上有较大的优势．     

基于层次有序维的分组聚集算法

在联机分析处理(OLAP)中,有效地维度模型对海量数据的即席复杂分组聚集查询起着关键的作用.在偏序和映射的基础上,通过定义层次有序维,提出一种基于层次有序维的分组聚集算法.该算法利用维属性之间的聚集关系,通过约束层次链中的元素次序,实现了分组聚集计算中多表连接转换为维范围的查询,提高了连接和聚集效率.最后,实验结果验证了该算法的有效性.     

基于分组序号的聚集算法

联机分析处理OLAP(online analytical processing)查询作为一种复杂查询,当使用SQL(structured query language)语句来表述时,通常都包含多表连接和分组聚集操作,因此提高多表连接和分组聚集计算的性能就成为ROLAP(relational OLAP)查询处理的关键问题.提出一种基于分组序号的聚集算法MuGA(group number based aggregation with multi-table join),该方法充分考虑数据仓库星型模式的特点,将聚集操作和新的多表连接算法MJoin(multi-table join)相结合,使用分组序号进行分组聚集计算,代替通常的排序或者哈希计算,从而有效地减少CPU运算以及磁盘存取的开销.算法的实验数据表明,提出的MuGA算法与传统的关系数据库聚集查询处理方法以及改进后的基于排序的聚集算法相比,性能都有显著提高.     

快速分解模拟退火算法在全局查询优化中的应用

文章提出了一种基于快速分解模拟退火算法的全局查询优化算法。快速分解模拟退火算法是一种改进的模拟退火算法,它退火时间短,收敛速度快,磁盘I/O开销小。仿真结果表明,该算法在数据集成系统环境中,无论参与查询的关系数目多少,均有较好的查询优化性能。     

基于ORV的并行多表连接查询算法

为提高数据仓库中多表连接的查询处理响应时间,本文结合数据仓库中多表连接的特点,利用面向对象中的消息机制,提出了一种基于ORV（对象关系视图）的并行多表连接查询算法,并对算法的磁盘I／O操作块数进行了分析,与单处理机及传统的多表连接算法进行了比较。     

一种XML数据流小枝模式查询算法

针对传统XML文档小枝模式查询算法系统开销大的问题,提出一种XML数据流小枝模式查询算法。该算法结合SAX数据流解析技术,将层次关系队列结构应用于XML文档查询中,采用动态生成区间编码的方式,免除建立编码索引文件的步骤。实验结果表明,在对相关数据集进行查询时,该算法可减少I/O操作,缩短查询响应时间,提高查询效率。     

混合MapReduce环境下大数据划分的查询优化

在MapReduce与数据库的混合架构中,数据划分是影响查询性能的重要因素。对于开销最大的连接和聚集操作,采用混合MapReduce的方式实现,需要大规模数据的跨结点传输,网络传输和I/O开销巨大。为了减少传输的数据量,并提高连接操作的查询效率,提出了划分建议器模型。实现了MapReduce和数据库混合架构上的划分建议器,并计算划分代价,生成最优的数据划分方案,提高了系统效率。为了减少查询时间,依据划分建议器模型,提出了基于代价优先的生成策略和空间搜索算法,减少了划分建议器生成最优方案的时间。通过实验验证了划分建议器的有效性,使系统的整体查询代价最小,显著提高了系统性能。     

Improvement of Performance of MegaBlast Algorithm for DNA Sequence Alignment

MegaBlast is one of the most important programs in NCBI BLAST （Basic Local Alignment Search Tool） toolkits, tIowever, MegaBlast is computation and I/O intensive. It consumes a great deal of memory which is proportional to the size of the query sequences set and subject （database） sequences set of product. This paper proposes a new strategy for optimizing MegaBlast. The new strategy exchanges the query and subject sequences sets, and builds a hash table based on new subject sequences. It overlaps I/O with computation, shortens the overall time and reduces the cost of memory, since the memory here is only proportional to the size of subject sequences set. The optimized algorithm is suitable to be parallelized in cluster systems. The parallel algorithm uses query segmentation method. As our experiments shown, the parallel program which is implemented with MPI has fine scalability.     

基于网格中心点的点在多边形内的高效判定

提出一种基于均匀网格的点在多边形内的高效判定算法.它首先建立均匀网格,并从左至右依次计算每个网格单元中心点的位置属性.每个单元中心点的位置属性直接依据其左侧邻接单元已知位置属性的中心点快速获得.在判定点的位置时,确定被测点所在单元,并依据该单元中心点的位置属性判定被测点的位置属性.由于预处理和判定时均利用邻近点的已知位置属性来确定未知点位置属性,可以很好地进行局部化的计算.因此,新方法比现有方法快很多,并且其预处理时间复杂度也由同类网格算法的O(N3/2)下降为O(N).同时,新方法可以统一处理含有自相交及重叠边的非流形多边形.实验结果表明,相比于其他基于均匀网格的方法,新方法可将预处理的速度提高几倍,将判断计算的速度提高十几到几十倍.其速度甚至优于具有该问题最低判定计算时间复杂度O(logN)的基于凸剖分的判定算法.     

空间连接优化方法的研究

基于MBR及直接查询谓词，提出了能够优化多路R树连接筛选阶段的加权处理方法，扩展了R树结构及MRJ算法。使用该方法能够得到更加有效的候选集，减少磁盘访问次数，节省了CPU及I/O的时间开销，通过实例验证了其在空间数据库查询优化方面的优势。     

基于Hadoop 的高效连接查询处理算法CHMJ

提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.     

XPath结构连接顺序优化

XQuery是由W3C提出的XML查询语言标准。XPath路径表达式是XQuery的基础,其查询处理的效能在很大程度上决定着XQuery的处理效率。提出了一种基于代价估算的XPath优化技术,基于层次编码对结构连接的执行代价进行估算,并用动态规划方法求解对于该路径表达式最佳的执行顺序;根据计算结果对查询计划树进行重构得到优化的查询计划。对此算法进行了实验测试和分析,结果表明该算法能得到较佳的查询优化效果。     

多对象的最近邻查询

最近邻查询是地理信息系统等领域经常遇到的问题，该文在最近邻查询的基础上提出一种多个对象的最近邻查询，并利用已有的R-树最近邻查询方法实现多个对象的查询，该方法不同于普通的最近邻查询，是一种新的方法，在实际应用中也很有意义。