融合Copulas理论和关联规则挖掘的查询扩展

将Copulas理论引入文本特征词关联模式挖掘,提出融合Copulas理论和关联规则挖掘的查询扩展算法.从初检文档集中提取前列n篇文档构建伪相关反馈文档集或用户相关反馈文档集,利用基于Copulas理论的支持度和置信度对相关反馈文档集挖掘含有原查询词项的特征词频繁项集和关联规则模式,从这些规则模式中提取扩展词,实现查询扩展.在NTCIR-5 CLIR中英文本语料上的实验表明,文中算法可有效遏制查询主题漂移和词不匹配问题,改善信息检索性能,提升扩展词质量,减少无效扩展词.     

基于用户日志挖掘的查询扩展方法

查询扩展可以有效地消除查询歧义,提高信息检索的准确率和召回率.通过挖掘用户日志中查询词和相关文档的连接关系,构造关联查询,并在此基础上提出一种从关联查询中提取查询扩展词的查询扩展方法.同时,还提出一种查询歧义的判别方法,该方法可以对查询词所表达的检索意图的模糊程度进行有效度量,也可以对查询词的检索性能进行预先估计.通过对查询歧义的度量来动态调整扩展词的长度,提高查询扩展模型的灵活性和适应能力.     

基于SRCSAC评价框架挖掘的跨语言查询译后扩展

提出一种面向查询扩展的基于评价框架SRCSAC(support-relevancy-chi-square analysis-confidence)的加权关联规则挖掘算法,给出跨语言查询译后扩展模型和新的扩展词权值计算方法,并提出基于SRCSAC框架挖掘的跨语言查询译后扩展算法.该算法采用支持度-关联度框架和新的剪枝策略挖掘有效频繁项集,通过卡方分析-置信度框架从有效频繁项集中提取加权关联规则,根据扩展模型从关联规则中获取优质扩展词,实现跨语言译后扩展.实验结果表明:所提算法能有效遏制查询主题漂移和词不匹配问题;与基准检索比较,其前件扩展、后件扩展和混合扩展的MAP最低平均增幅分别为86.85%、86.04%和86.00%;与对比方法比较,其长查询检索的MAP最低平均增幅分别可达12.23%、9.06%和12.6%,都高于短查询检索的增幅;与后件扩展算法比较,前件扩展和混合扩展的MAP最高增幅可达5.5%;置信度有助于提升前件扩展和混合扩展算法的检索性能,关联度有利于后件扩展算法检索性能的提高,支持度和关联度对后件扩展算法的短查询检索更有效.     

基于完全加权关联规则挖掘和查询扩展的信息检索

将完全加权关联规则挖掘技术应用于信息检索,提出一种基于完全加权关联规则挖掘和查询扩展的信息检索模型,重点阐述模型的设计思想及其算法和实现的关键技术.实验结果表明,该模型有效,能提高信息检索性能,有很高的实际应用价值和推广前景.     

基于日志挖掘的查询概念图扩展

提出将概念图引入查询扩展,从概念的层面上进行语义的扩展。使用概念图表示查询可以更准确地表明用户的查询意图,并在此基础上进行语义的扩展,通过这种方法给出的扩展查询更符合用户的查询意图。对用户查询进行基于概念图的查询扩展,并将结果与百度的相似查询进行了比较,证明基于概念图的查询扩展能更准确地把握用户的查询意图。     

基于语义向量表示的查询扩展方法

针对传统查询扩展方法在专业领域中扩展词与原始查询之间缺乏语义关联的问题,提出一种基于语义向量表示的查询扩展方法。首先,构建了一个语义向量表示模型,通过对语料库中词的上下文语义进行学习,得到词的语义向量表示;其次,根据词语义向量表示,计算词之间的语义相似度;然后,选取与查询中词汇的语义最相似的词作为查询的扩展词,扩展原始查询语句;最后,基于提出的查询扩展方法构建了生物医学文档检索系统,针对基于维基百科或WordNet的传统查询扩展方法和BioASQ 2014—2015参加竞赛的系统进行对比实验和显著性差异指标分析。实验结果表明,基于语义向量表示查询扩展的检索方法所得到结果优于传统查询扩展方法的结果,平均准确率至少提高了1个百分点,在与竞赛系统的对比中,系统的效果均有显著性提高。     

查询扩展技术进展与展望

查询扩展技术是改善信息检索中查全率和查准率的关键技术之一,并成为近年来研究的热点.以查询扩展技术的发展为主线,将目前的研究方法归纳为三类:关键词查询扩展技术、查询词权重调整技术和语义概念查询扩展技术.对这三类扩展技术进行了整体性阐述和比较性研究,对一些关键性问题进行了探讨,并展望未来的发展趋势.     

基于用户日志的查询扩展统计模型

信息检索长期存在着用词歧义性问题,在Web搜索上的表现更加突出.提出了一种基于用户查询日志的查询扩展统计模型,将用户查询中使用的词或短语与文档中出现的相应词或短语以条件概率的形式连接,利用贝叶斯公式挑选出文档中与该查询关联最紧密的词加入原查询,以达到扩展优化的目的.实验结果表明,该方法更适宜改进Web上的信息检索,相对传统的查询扩展算法可以大幅度提高查询精度.     

基于词向量的专利自动扩展查询研究

专利检索与普通的文本检索有着极大的不同,专利文本包括权利声明、摘要、全文等不同部分,自然不能简单地将普通文本的检索方法应用到专利检索当中来。专利检索通常面临着召回率低下的问题,首先,由于专利文本具有极强的专业性,有着复杂的术语表达方式,用户输入的关键词通常无法明确捕捉到检索意图,导致检索结果不理想。其次,专利撰写时有意识地制造与众不同的词汇,导致相关专利无法被检索到。目前有很多的研究方法都旨在提高专利检索的召回率,但是仍然有许多问题有待解决,检索效果有待改善。提出了一个基于词向量的专利自动扩展查询方法,在词向量的基础上,构建一个关键词查询网络,通过稠密子图发现算法来寻找扩展词集合,提高扩展词的有效性。在CLEF-IP 2012数据集的基础上进行了充分的实验,实验结果表明,本文提出的算法能够保证扩展词集获取的灵活性和有效性,同时能进一步提高专利检索的召回率。     

基于频繁项集挖掘与查询扩展的信息检索系统模型

将频繁项集挖掘和查询扩展技术应用于信息检索,提出一种新的基于频繁模式挖掘与查询扩展的信息检索系统模型及其算法,并给出该检索系统模型的设计思想,以及模型总体结构及其各模块功能,实现了系统原型。实验结果表明,该检索系统模型能有效地提高和改善信息检索性能。     

基于查询行为和关联规则的相关反馈查询扩展

针对现有查询扩展缺陷,提出基于用户查询行为和词间完全加权关联规则挖掘的相关反馈查询扩展算法。在不改变用户查询信息习惯的前提下,无须用户参与,根据用户查询行为判断初检文档的相关性,提取相关的初检文档,挖掘与原查询相关的关联规则,构造规则库,从中提取与原查询相关的扩展词,实现查询扩展。实验结果表明,该算法能提高信息检索性能,具有很好的应用前景。     

基于网络知识库与通用搜索引擎的查询词扩展方法

对查询词进行扩展是为了进一步理解用户的搜索意图,使得搜索引擎返回更加准确的信息。已有的方法主要研究如何寻找与查询词相似的词,然而相似的户的词并一定能真正反映用意图。从网络知识库中抽取查询词的待扩展词,并利用通用搜索引擎对待扩展词进行排序,这样的查询词扩展方法充分利用了网络群体智慧,使得扩展词更加贴近用户的搜索期望。通过进行实验对比发现,该方法有较好的结果。     

基于局部类别分析的查询扩展

针对查询扩展中局部分析方法查准率不高的缺点,提出一种新算法。该算法通过分析与用户查询密切相关的文档,从而得到与其相关的文档类别,进而根据相关类别中的文档用词与用户查询用词的共现关系对查询进行扩展。通过与传统的局部分析方法、全局分析方法的实验对比,结果表明新算法具有更快的检索速度和更高的查准率。     

基于矩阵加权关联规则挖掘的伪相关反馈查询扩展

提出一种面向查询扩展的矩阵加权关联规则挖掘算法,给出与其相关的定理及其证明过程.该算法采用4种剪枝策略,挖掘效率得到极大提高.实验结果表明,其挖掘时间比原来的平均时间减少87.84%.针对现有查询扩展的缺陷,将矩阵加权关联规则挖掘技术应用于查询扩展,提出新的查询扩展模型和更合理的扩展词权重计算方法.在此基础上提出一种伪相关反馈查询扩展算法——基于矩阵加权关联规则挖掘的伪相关反馈查询扩展算法,该算法能够自动地从前列n 篇初检文档中挖掘与原查询相关的矩阵加权关联规则,构建规则库,从中提取与原查询相关的扩展词,实现查询扩展.实验结果表明,该算法的检索性能确实得到了很好的改善.与现有查询扩展算法相比,在相同的查全率水平级下,其平均查准率有了明显的提高.     

完全加权关联规则挖掘及其在查询扩展中的应用*

为了将完全加权关联规则挖掘技术应用于查询扩展,提出面向查询扩展的基于多种剪枝策略的完全加权词间关联规则挖掘算法,该算法能够极大地提高挖掘效率;提出了一种新的查询扩展模型和扩展词权重计算方法,使扩展词权值更加合理,在此基础上提出一种新的基于局部反馈的查询扩展算法,该算法利用完全加权关联规则挖掘算法自动从局部反馈的前列初检文档中挖掘与原查询相关的完全加权关联规则,构建规则库,从中提取与原查询相关的扩展词,实现查询扩展。实验结果表明,查询扩展算法的检索性能确实得到了很好的改善和提高,与现有查询扩展算法比较,在相同的查全率水平级下其平均查准率有了明显的提高。     

基于同义词和关联规则的查询扩展模型

改进同义词获取和基于关联规则的相关词算法,建立一个扩展的贝叶斯网络模型,并给出文档相关度计算推理过程。实验证明该方法平均精确度大幅度提高。     

基于深度语义信息的查询扩展

随着互联网时代的到来，搜索引擎开始被普遍使用。在针对冷门数据时，由于用户的搜索词范围过小，搜索引擎无法检索出需要的数据，此时查询扩展系统可以有效辅助搜索引擎来提供可靠服务。基于全局文档分析的查询扩展方法，提出结合神经网络模型与包含语义信息的语料的语义相关模型，来更深层地提取词语间的语义信息。这些深层语义信息可以为查询扩展系统提供更加全面有效的特征支持，从而分析词语间的可扩展关系。在近义词林、语言知识库“HowNet”义原标注信息等语义数据中抽取局部可扩展词分布，利用神经网络模型的深度挖掘能力将语料空间中每一个词语的局部可扩展词分布拟合成全局可扩展词分布。在与分别基于语言模型和近义词林的查询扩展方法对比实验中，使用基于语义相关模型的查询扩展方法拥有较高的查询扩展效率；尤其针对冷门搜索数据时，语义相关模型的查全率比对比方法分别提高了11.1个百分点与5.29个百分点。     

负关联规则挖掘与特征词抽取融合的局部反馈查询扩展

针对现有信息检索系统中存在的词不匹配问题,本文提出一种基于负关联规则挖掘与特征词抽取融合的局部反馈查询扩展算法。该算法首先从前列n篇初检局部文档中抽取特征词,建立特征词库;然后,对特征词库挖掘同时含有查询词和非查询词的频繁项集和非频繁项集,由此挖掘前件是查询项的负关联规则,提取负关联规则的后件作为负关联特征词,计算负关联特征词与原查询的相关性,根据相关性在特征词库中删除负关联特征词,将余下的特征词作为最终扩展词,和原查询组合成新查询实现查询扩展。实验结果表明,该算法能有效地提高和改善信息检索性能。     

一种基于排序学习方法的查询扩展技术

查询扩展作为一门重要的信息检索技术,是以用户查询为基础,通过一定策略在原始查询中加入一些相关的扩展词,从而使得查询能够更加准确地描述用户信息需求。排序学习方法利用机器学习的知识构造排序模型对数据进行排序,是当前机器学习与信息检索交叉领域的研究热点。该文尝试利用伪相关反馈技术,在查询扩展中引入排序学习算法,从文档集合中提取与扩展词相关的特征,训练针对于扩展词的排序模型,并利用排序模型对新查询的扩展词集合进行重新排序,将排序后的扩展词根据排序得分赋予相应的权重,加入到原始查询中进行二次检索,从而提高信息检索的准确率。在TREC数据集合上的实验结果表明,引入排序学习算法有助于提高伪相关反馈的检索性能。     

基于深度语义信息的查询扩展

随着互联网时代的到来,搜索引擎开始被普遍使用。在针对冷门数据时,由于用户的搜索词范围过小,搜索引擎无法检索出需要的数据,此时查询扩展系统可以有效辅助搜索引擎来提供可靠服务。基于全局文档分析的查询扩展方法,提出结合神经网络模型与包含语义信息的语料的语义相关模型,来更深层地提取词语间的语义信息。这些深层语义信息可以为查询扩展系统提供更加全面有效的特征支持,从而分析词语间的可扩展关系。在近义词林、语言知识库“HowNet”义原标注信息等语义数据中抽取局部可扩展词分布,利用神经网络模型的深度挖掘能力将语料空间中每一个词语的局部可扩展词分布拟合成全局可扩展词分布。在与分别基于语言模型和近义词林的查询扩展方法对比实验中,使用基于语义相关模型的查询扩展方法拥有较高的查询扩展效率;尤其针对冷门搜索数据时,语义相关模型的查全率比对比方法分别提高了11.1个百分点与5.29个百分点。