寻找XLCA的XML数据流TOP-K关键字查询算法

XML关键字查询是一个用户比较方便的信息搜索方法,非常适用于用户在不熟悉XML查询语言和底层结构的情况下进行信息查询。现有的XML数据流上关键字查询多采用查找SLCA结果集的方式,为了解决基于SLCA结果集定义的不完备性,引入了基于XLCA的结果集定义,使其查询包含尽可能全的结果。文中对于XML数据流提出利用滑动窗口模型保存数据,基于XLCA的结果集定义,提出了一种TOP-K关键字查询算法,并从理论上证明了此算法的正确性和查询的完备性,分析了其时间复杂性和空间复杂性。     

概率XML数据上的ELCA关键字检索

关键字检索是大多数普通用户用来查找信息的首选方式,概率XML数据是时下受到较多关注的不确定数据的一种表现形式.论文主要针对概率XML数据研究其关键字检索的方法.首先选取在确定XML数据上受到广泛认可的ELCA检索结果集,进而提出概率XML数据上的ELCA的结果集定义.其次,基于这样的结果集理论,给出在概率XML数据上进行ELCA的关键字检索的算法,并引入概率阈值的概念加以实现.最后利用实验数据证明了使用合成数据的检索算法具有效率和有效性.     

基于结构摘要的XML关键字检索

基于最低最小公共祖先(SLCA)的XML关键字搜索语义,提出一种使用XML结构摘要(summary)对关键字进行索引的方法XKSS.XKSS索引方法通过避免重复存储大量XML树上的含义相同的节点,大幅度降低了索引的空间耗费,并提高了查询性能.基于XKSS建立的索引,提出一个算法SSB-SLCA来计算SLCA节点.实验表明,基于XKSS的关键字搜索方法能够更高效地寻找关键字的SLCA.     

基于本体的工程数据关键字检索和排序方法

工程数据大量存在于现代生产制造企业。传统工程数据上沿用的关键字查询方法具有难以处理各种异构文档、无法识别关键字在工程领域的语义等缺陷。针对此,提出一种新的工程数据关键字检索方法。该方法先通过建立代表工程数据的本体,对各种异构的工程文档用适合的工具提取文本信息,建立XML快照。XML快照为索引关键字标注了相对应的本体概念。检索框架首先将用户的查询关键字匹配到本体的概念上,在匹配的过程中,提出一种算法消减关键字的语义混淆。在此基础上,提出一种排序模型,该模型对符合查询的XML快照进行打分排序,打分着重考虑了快照在语义上满足关键字查询的程度。检索框架最后排序并返回快照对应的原始文档给用户,使异构的工程数据文档能被统一处理和查询。该方法在工程数据上的检索结果查全率、查准率高,检索结果排序合理,能适用于实际企业中的大量工程数据文档,解决了传统工程数据检索的不足。实验使用了实际数据集,验证说明了该方法的实际有效性和性能上的高效性。     

XML 数据流上Top-K 关键字查询处理

利用关键字可以在模式未知的情况下对XML数据进行查询.在当前的XML数据流上的关键字查询处理中,打分函数往往不能都满足各种用户不同的需求.提出了一种基于skyline的XML数据流上的Top-K关键字查询.对于这种查询,不需要考虑影响结果与查询相关性的复杂因素,只需利用skyline挑选与查询最相关的结果.提出了两种XML数据流上的有效的基于skyline的Top-K关键查询处理算法,包括对单查询和多查询的处理算法.通过扩展实验对两种算法的有效性和可扩展性进行了验证.经过实验验证,所提出的查询处理算法的效率几乎不受关键字个数、查询结果数量、查询数量等参数的影响,运行时间和文档大小大致呈线性关系.     

基于关键字密度的XML关键字检索

关键字检索具有友好的用户操作体验,该检索方式已在文本信息检索领域得到了广泛而深入的应用.对XML数据采用关键字检索是目前研究的热点.基于查询语义的XML关键字检索方法存在返回大量与用户查询意图无关的查询片段或者丢失符合用户查询意图的片段这两个问题.针对这些问题,在考虑LCA横向和纵向两个维度的基础上,提出了用户查询意图与LCA相关性的两个规则,根据两个规则定义了LCA的边密度和路径密度,建立了综合的LCA节点评分公式,最后设计TopLCA-K算法对LCA进行排名,并利用中心位置索引CI提高了TopLCA-K算法的效率.实验结果显示,利用所提出的方法返回的查询节点更加符合用户需求.     

MXDR:一种基于关键字的XML多文档分布式检索方法

基于关键字的XML检索技术是近几年信息检索领域的研究热点.但是由于关键字缺少XML结构语义信息,检索结果和用户需求偏差较大,检索质量难以提高;而XML结构检索由于用户难以提出准确描述查询意图的查询表达式而难以普及.另一个更突出的问题是现有的XML检索研究绝大多数都集中在单文档上,缺乏实用性.因此提出一种基于关键字的结构检索方法,即用分布式方式实现对多XML文档的检索,简称为MXDR(Multi-XML Distributed Retrieval).MXDR首先用一种兼顾结构和内容的聚类方法对多文档进行分类,通过分析查询关键字和类别结构信息,确定分布查找策略,再结合查询关键字和XML的结构信息,构建结构查询语句,最后通过结构查询系统实现关键字检索.在多组真实数据Sigmod数据集上的验证结果表明,与经典的SLCA方法比较,MXDR方法具有较高的查全率和查准率,尤其在检索效率上MXDR方法有显著优势.     

XML关键字检索的最低公共祖先快速查找方法

XML上的关键字检索由于不需要对XML的模式有所了解,对用户来说是简单而实用的.由于XML的树结构特点,XML上关键字检索需要返回最相关的结果给用户,通常是包含关键字的最小子树.这个问题可以转换为经典的最低公共祖先问题.以前的工作,像XRank和XKsearch都使用dewey编码来解决公共祖先的问题.虽然通过dewey编码来判定祖先后代关系并定位共同祖先结点比较容易,但同时这种方法有如下弊端:首先,频繁的逐段比较dewey编码比较耗时;其次,存储dewey编码比较浪费空间.所以提出了一种有效的基于范围最小值查询的方法来解决XML关键字检索中的最低公共祖先问题.进一步地,将此方法应用到一个计算最小最低公共祖先的非阻塞算法中,并据此实现了一个XML关键字检索系统.实验表明此方法在时间上和空间上都是高效的.     

一种基于XML文档关键字检索的结构索引

XML数据索引对其检索效率有较大的影响。在深入分析现有XMI、结构索引之后,结合XML文档特点,提出了一种基于关键字检索的结构索引--LSS(Level Structure Summary) . LSS采用了把具有相同标签路径的结点进行合并的策略,具有高效判断结点之间同构异构关系的能力。实现了LSS索引生成算法CSCAN,并在LSS索引的基础上设计了XML关键字检索算法LSSearch。该算法依据LSS索引,将各个关键字的原始倒排表集合分拆成不同类型的子集合,最后在所有子集合上进行查询。实验结果表明,LSS可以帮助减少XML文档中关键字倒排表的规模,提高检索效率。     

XML数据流上的关键字查询

XML数据流上的XPath & XQuery查询处理是目前研究者关注的热点问题,但由于XPath & XQuery查询语言相对复杂,在不知道模式信息的前提下,用户很难通过已有的查询接口得到自己感兴趣的数据片断,因此如何在数据流模型上根据XML数据的特点为用户提供最友好的查询接口就成为一个亟待解决的问题.针对这个问题,创新地提出了在XML数据流上做关键字查询的问题,给出了最小相关连通子树(SRCT)的概念用于处理返回的结果,并设计了一种新的基于栈的Lookup算法,可以有效解决在XML数据流上进行关键字查询的问题,最后通过实验从不同角度对Lookup算法的各项性能指标进行了验证.     

个人数据空间管理中的任务挖掘策略

在个人数据空间管理过程中,用户需要处理大量异质数据如邮件、文档、图片等.随着用户数据在数量和种类上的增多,如何有效管理这些数据,为用户提供有效的存储及查询服务成为一个具有挑战性的问题.传统数据管理工具如文件系统、桌面搜索工具等并未给用户提供足够的管理能力.究其原因,个人数据空间是由数据、用户以及服务三要素组成.而传统数据管理工具却忽略了用户这一要素,因此仅能在存储路径或全文索引的基础上提供服务.实际上数据与用户之间具有密不可分的联系,个人数据空间中的数据正是来自于用户行为.而用户行为是由一个一个任务组成的.挖掘个人数据中的任务,可以建立起数据间基于用户行为的语义关系,进而可以为用户提供任务视角的数据管理服务以及基于任务的查询服务.正是基于这一思想,提出了基于用户行为挖掘用户任务的方法.通过分析用户行为,发现个人数据由用户行为产生的时序关系,然后根据该时序关系生成用户的任务.实验证明该方法是有效的.     

Result Merging for Structured Queries on the Deep Web with Active Relevance Weight Estimation

Data integration systems on the Deep Web offer a transparent means to query multiple data sources at once. Result merging– the generation of an overall ranked list of results from different sources in response to a query– is a key component of a data integration system. In this work we present a result merging model, called Active Relevance Weight Estimation model. Different from the existing techniques for result merging, we estimate the relevance of a data source in answering a query at query time. The relevances for a set of data sources are expressed with a (normalized) weighting scheme: the larger the weight for a data source the more relevant the source is in answering a query. We estimate the weights of a data source in each subset of the data sources involved in a training query. Because an online query may not exactly match any training query, we devise methods to obtain a subset of training queries that are related to the online query. We estimate the relevance weights of the online query from the weights of this subset of training queries. Our experiments show that our method outperforms the leading merging algorithms with comparable response time.     

Deep Web查询接口选择

越来越多的信息隐藏在Web查询接口之后，在此情况下如何寻找与用户查询最相关的数据源接口就变得越来越重要。文中提出了一种Deep Web查询接口选择算法，该算法是完全依赖于查询接口特征的。给定大量异构的Deep Web数据源，目标是选择与用户查询最相关的查询接口集。通过对实际查询接口特征的观察，发现了查询接口上谓词间的相关性。基于此发现，设计了一种基于共同出现谓词相关度模型的数据源选择算法，用于选择与用户查询最相关的查询接口集。     

基于改进的K-means算法的关联规则数据挖掘研究

关联规则是数据挖掘中的概念,通过分析数据找到数据之间的关联.海量数据会产生大量冗余和相似的关联规则,影响用户对规则的理解和判断.本文采用鸢尾花数据集进行实验.建立三个检验指标,删除冗余关联规则;在进行K-means分析时利用规则产生的三角形迭代选择初始点,再将删除冗余后的规则进行聚类.实验证实本文方法将相似的关联规则归为一簇,能有效的帮助用户迅速找到有用的关联规则,有助于用户更好的对规则进行理解和分析,提高了聚类的效率.     

An adaptive learning automata-based ranking function discovery algorithm

Due to the massive amount of heterogeneous information on the web, insufficient and vague user queries, and use of the same query by different users for different aims, the information retrieval process deals with a huge amount of uncertainty and doubt. Under such circumstances, designing an efficient retrieval function and ranking algorithm by which the most relevant results are provided is of the greatest importance. In this paper, a learning automata-based ranking function discovery algorithm in which different sources of information are combined is proposed. In this method, the learning automaton is used to adjust the portion of the final ranking that is assigned to each source of evidence based on the user feedback. All sources of information are first given the same importance. The proportion of a given source increases, if the documents provided by this source are reviewed by the user and decreases otherwise. As the proposed algorithm proceeds, the probability of appearance of each source in the final ranking gets proportional to its relevance to the user queries. Several simulation experiments are conducted on well-known data collections and query types to show the performance of the proposed algorithm. The obtained results demonstrate that the proposed algorithm outperforms several existing methods in terms of precision at position n, mean average precision, and normalized discount cumulative gain.     

Scaling access to heterogeneous data sources with DISCO

Accessing many data sources aggravates problems for users of heterogeneous distributed databases. Database administrators must deal with fragile mediators, that is, mediators with schemas and views that must be significantly changed to incorporate a new data source. When implementing translators of queries from mediators to data sources, database implementers must deal with data sources that do not support all the functionality required by mediators. Application programmers must deal with graceless failures for unavailable data sources. Queries simply return failure and no further information when data sources are unavailable for query processing. The Distributed Information Search COmponent (Disco) addresses these problems. Data modeling techniques manage the connections to data sources, and sources can be added transparently to the users and applications. The interface between mediators and data sources flexibly handles different query languages and different data source functionality. Query rewriting and optimization techniques rewrite queries so they are efficiently evaluated by sources. Query processing and evaluation semantics are developed to process queries over unavailable data sources. In this article, we describe: 1) the distributed mediator architecture of Disco; 2) the data model and its modeling of data source connections; 3) the interface to underlying data sources and the query rewriting process; and 4) query processing semantics. We describe several advantages of our system     

基于分层抽样的重叠深网数据源选择

深网查询在Web上众多的应用,需要查询大量的数据源才能获得足够的数据,如多媒体数据搜索、团购网站信息聚合等.应用的成功,取决于查询多数据源的效率和效果.当前研究侧重查询与数据源的相关性而忽略数据源之间的重叠关系,使得不同数据源上相同结果的数据被重复查询,增加了查询开销及数据源的工作负载.为了提高深网查询的效率,提出一种元组水平的分层抽样方法来估计和利用查询在数据源上的统计数据,选择高相关、低重叠的数据源.该方法分为两个阶段：离线阶段,基于元组水平对数据源进行分层抽样,获得样本数据;在线阶段,基于样本数据迭代地估计查询在数据源上的覆盖率和重叠率,并采用一种启发式策略以高效地发现低重叠的数据源.实验结果表明,该方法能够显著提高重叠数据源选择的精度和效率.     

一种类Spreadsheet结构的信息汇聚方法

SpreadSheet样式的数据操作具有很好的可用性,但在SpreadSheet结构中如何表示并操纵XML数据以及如何使用复制、粘贴、移动等简单操作表示复杂的XQuery查询是两个难点问题。提出一种基于XML模式的操作表示方法,将复杂的XQuery查询语句分解为XML模式上的粘贴节点、移动节点等操作,从而可以表示XQuery语言的核心语句FLOWR。在Spreadsheet结构中将XML模式显示为嵌套表格,用户在嵌套表格上的操作转换为XML模式上的操作。使用该方法可以构造多数据源的XQuery查询,并实现了概念验证的原型系统。与当前流行的XQuery查询构造工具相比较,原型系统更适合于无编程经验的最终用户构造XQuery查询。     

多XML数据源的语义集成与查询处理

提出一种多XML数据源的语义集成和查询处理的途径,通过一定步骤将各个局部DTD模式集成为全局模式,同时生成全局模式到局部模式的映射。在查询处理中,查询被表示成查询树的形式,引入了补查询和连接子等概念,给出了查询分解和执行的具体算法,并首次提出并分析了XML集成环境下产生不确定查询结果的情况。     

双时态XML查询中now语义失真的研究与扩展

本文研究如何有效地查询基于"单属性表示时态信息"的XML文档的时态信息操作,并选择XML功能较为强大的查询语言XQuery进行时态查询扩展.文中先计论如何解决时态数据库中特殊元素now的语义失真的问题,然后对XQuery进行双时态扩展,最后给出扩展后的查询实例.