基于用户行为的搜索关键字的权重分析

电子商务网站中,关键词搜索是用户查询的一种重要手段,计算搜索关键词中的切词权重,是搜索引擎查询处理时的一个重要内容.基于现有的切词权重的计算方法,对用户在网站进行信息查询等购物的决策过程中产生的多种类型的用户行为进行深入数据挖掘,并将其挖掘结果作用于切词权重词典,有效地提高了切词权重的准确性,提高了搜索排序准确率.     

基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法

针对现有大多数面向查询的多文档抽取式摘要方法通常是将句子的内容显著性及查询相关性分开计算的，且对向量表示的建模不充分的问题，提出一种基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法.首先，通过训练层级BiGRU+Attention神经网络模型，获得具有丰富上下文语义信息的句子、文档向量表示；并在此过程中通过双线性变换注意力机制，使得文档向量表示不仅具有反映文档深层主旨信息的基本特性，还融入句子与用户查询的相关性信息，然后利用句向量与其进行相似度计算获得相应的句子重要性得分；其次，由句子重要性得分、句子中包含的关键词特征、句子的长度特征以及句子的时序权重系数加权组合得到最终的句子综合特征权重得分；最后，利用MMR算法来选择摘要句.实验结果表明，与其他方法相比本文提出的方法能在一定程度上提高面向查询的多文档抽取式摘要的质量，具有一定的有效性及优越性.     

基于向量空间模型的网页特征权重计算改进

采用经典的向量空间模型对网页文本进行分类。由于传统特征项权重计算公式TFIDF在网页关键词计算和关键词类间区分度不高等问题的存在,本文将网页结构分成两个部分,含有标题、元数据、链接锚文件等的关键词部分和网页的正文部分,对关键词部分的权重进行了加强,而对网页正文部分采用改进的IDF进行计算,使关键词在类的区分度的效果上得到一定程度的提升,试验证明该方法是可行的。     

融合广告主行为的拍卖词实时触发

搜索引擎触发广告的过程中,需要实时计算拍卖词(Bidword)和用户查询(Query)的相关性,广告语境下的Term动态赋权方式和短语商业价值评估成为相关性计算必须考虑的问题。为此引入广告主行为,结合连续词袋模型(CBOW),提出了一种广告语境下的短语相关计算方法ADPCB。首先通过CBOW模型获得短语中每个Term的向量;然后分析广告主行为,构建关于短语的全局赋权树,对短语结构进行分析得到Term的动态权重;最后将Term权重和向量线性组合产生短语的向量表示,用于Bidword和Query的相关性度量。对10000对带有标签的Query和Bidword(正负比例1∶〖KG-*2〗1)利用Word2vec进行实验,ADPCB比结合CBOW模型的TF-IDF效果更好;而在准确率达到0.70时,ADPCB比潜在狄利克雷分布(LDA)、BM25和TF-IDF获得了更高的召回率。结果表明ADPCB提高了触发Bidword和Query的相关性,同时可以量化短语中Term的商业价值属性,减少低商业价值Query的广告触发数量,可应用于实时计算的场景。     

基于关键词权重的XML查询结果排序方法

XML关键字查询结果质量不高的一个很重要的原因是查询关键词难以反映用户真实的查询意图,而给关键词设置权重在一定程度上可以解决这一难题. 本文结合关键字之间的结构关系提出了一种新的结果排序方法,该方法给查询关键词设置权重,并参照查询关键词的权重给包含关键字的结点设定结点权重,然后根据关系树中的结点权重和关键词之间结构关系^[1]统计SLCA结点的重要程度,再以此依据对查询结果进行排序,最后返回给用户有序的查询结果. 实验结果和分析表明,提出的排序方法具有较高的准确率,能够较好地满足用户查询的需求和偏好.     

基于语义的关键词过滤权重算法

在关键词权重统计算法的基础上,从语义角度出发,通过关键词对主题的表征强度并考虑关键词在文档中的位置等其他因素来计算关键词权重,为此创造性地提出了基于语义的矩阵词典和权重策略,使过滤更高效且权重取值更合理。实验表明,其对不良网页的过滤准确率也更高。     

基于递归自编码器的广告短语相关性

针对现有广告短语相关性研究成果多采用字面匹配,忽略了短语所包含的深层语义信息,限制了任务的性能等问题,提出了采用深度学习算法研究广告短语的相关性,采用递归自编码器(RAE)对短语进行深层结构分析,使得短语向量包含深层的语义信息,以此来构建广告语境下的短语相关性计算方法。具体地,给定一个包含若干词的序列,序列中所有相邻的两个元素尝试合并产生一个重构误差,遍历将重构误差最小的元素两两合并,形成类似哈夫曼树结构的短语树。采用梯度下降法最小化短语树的重构误差,采用余弦距离度量短语之间的相关性。实验结果显示,通过引入词语权重信息,加大了重要词语在最终短语向量表示中贡献的信息量,使得RAE更适合短语计算;比起传统LDA和BM25算法,在50%召回率的条件下,提出的算法的准确率分别提高了4.59个百分点和3.21个百分点,这证明了所提算法的有效性。     

一种面向主题的关键词查询扩展方法

提出一种基于局部统计和语义扩展相结合,面向主题的关键词查询扩展方法。该方法通过对给定主题的初始关键词搜索反馈网页进行分析,采用TF*PSF语义加权方法计算主题候选词的权重来进一步筛选主题关键词。在此基础上,设计了面向Web的主题关键词迭代查询扩展算法,采用主题关键词的组合查询策略,迭代扩展出主题的关键词集合。实验证明该方法是有效的。     

基于主题划分的网页自动摘要

提出了一种以网页结构为指导的自动摘要方法。对页面源文件进行解析时，利用文档的结构信息生成DOM树，并在此基础上划分文档主题。同时充分挖掘网页标记对主题词提取和句子重要性计算的价值。最后以主题块为单位，根据句子间的相似度调整句子权重，动态生成摘要。实验结果表明该方法能有效解决文档摘要分布不平衡问题，减少了文摘内容的冗余。     

基于语义网的高效信息查询方法

为了提高Web信息检索的准确率,提出一种基于语义网的高效信息查询方法。首先从本体库中提取目标资源与查询关键字之间的语义路径,通过分析语义路径所包含的属性的权重和识别能力,分别计算每个语义路径的权重;然后,根据资源与查询关键字之间的语义路径的权重、数量和特异性,分别计算每个资源与各关键字之间的语义相关性,并结合关键字的涵盖范围和识别能力综合计算每个资源与关键字集之间的语义相关性;最后,以该相关性为依据对所有资源进行排序和输出。实验结果表明,与OntoLook、tf*idf和TMSubtree三种语义网查询算法相比,基于语义网的高效信息查询方法的平均正确率分别提高了69.0、25.0和21.0个百分点;平均召回率分别提高了77.1、28.3和24.3个百分点;平均F测度值分别提高了72.4、26.4和22.4个百分点。实验结果表明:该方法不仅能够有效提升语义查询的准确率,而且对隐性信息也有很好的查询效果。     

SSC软聚类算法在面向查询的多文档文摘中的应用

针对面向查询的多文档自动文摘,本文将查询句混入多文档集合中的各句子中间,采用高效的软聚类算法SSC对所有的句子进行聚类。采用轮转法抽取文摘句,最后生成文摘。该方法在DUC2005的语料中测试效果很好。     

基于改进TextRank的藏文抽取式摘要生成

目前,藏文抽取式文本摘要方法主要是提取文本自身的特征,对句子进行打分,不能挖掘句子中深层的语义信息。该文提出了一种改进的藏文抽取式摘要生成方法。该方法将外部语料库的信息以词向量的形式融入到TextRank算法,通过TextRank与词向量的结合,把句子中每个词语映射到高维词库形成句向量,进行迭代为句子打分,并选取分值最高的句子重新排序作为文本的摘要。实验结果表明,该方法能有效提升摘要质量。该文还在传统ROUGE评测方法的基础上,提出了一种采用句子语义相似度计算的方式进行摘要评测的方法。     

基于查询的新闻多文档自动摘要技术研究

针对新闻文本领域,该文提出一种基于查询的自动文本摘要技术,更加有针对性地满足用户信息需求。根据句子的TF-IDF、与查询句的相似度等要素,计算句子权重,并根据句子指示的时间给定不同的时序权重系数,使得最近发生的新闻内容具有更高的权重,最后使用最大边界相关的方法选择摘要句。通过与基于TF-IDF、Text-Rank、LDA等六种方法的对比,该摘要方法ROUGE评测指标上优于其他方法。从结合评测结果及摘要示例可以看出,该文提出的方法可以有效地从新闻文档集中摘取核心信息,满足用户查询内容的信息需求。     

GIS中文查询的中间语言向SQL语句的转换

设计了中间语言的结构，研究了这种中间语言到SQL语句的转换，给出了相应的转换算法，并对算法进行了测试。测试结果表明此算法对大多数查询语句能转换为相应的SQL语句，但对于一些复杂、歧义性严重的查询语句还需用其它途径来解决。 关键词：     

基于子主题和用户查询的多文档摘要系统

文章描述了一种基于子主题划分和查询相结合的多文档自动摘要系统的设计：首先利用同义词词林计算句子语义相似度,通过对句子的聚类得到子主题,然后根据用户的查询对子主题进行重要度排序,在此基础上,采用一种动态的句子打分策略从各个主题中抽取句子生成摘要。实验结果表明生成的摘要冗余少,信息全面。     

基于关系向量模型的句子相似度计算

句子相似度的计算在自然语言处理的各个领域占有很重要的地位,一些传统的计算方法只考虑句子的词形、句长、词序等表面信息,并没有考虑句子更深层次的语义信息,另一些考虑句子语义的方法在实用性上的表现不太理想。在空间向量模型的基础上提出了一种同时考虑句子结构和语义信息的关系向量模型,这种模型考虑了组成句子的关键词之间的搭配关系和关键词的同义信息,这些信息反应了句子的局部结构成分以及各局部之间的关联关系,因此更能体现句子的结构和语义信息。以关系向量模型为核心,提出了基于关系向量模型的句子相似度计算方法。同时将该算法应用到网络热点新闻自动摘要生成算法中,排除文摘中意思相近的句子从而避免文摘的冗余。实验结果表明,在考虑网络新闻中的句子相似度时,与考虑词序与语义的算法相比,关系向量模型算法不但提高了句子相似度计算的准确率,计算的时间复杂度也得到了降低。     

一种信息检索系统的设计与实现

 提出一种信息检索系统的设计与实现方法。该系统基于“中文领域本体学习及半自动构建方法研究”项目,针对江西省教育厅科学技术研究项目“基于句法结构分析的中文聚类算法研究及应用”项目的实际需求而设计。本文主要介绍一种较客观、较综合地在网络上获取有价值的文本信息的系统设计与实现方法。     

基于共同语境的近义词/同义词短语查找模型

为了实现大型语料库中近义词/同义词短语的查找,提出了一种基于共同语境的近义词/同义词短语查找模型,它通过[n]-gram分布式方法捕获语义相似性,不需要解析就能隐式地保存局部句法结构,使底层方法语言独立;具体实现分为两个阶段：第一阶段是上下文收集和过滤,即用围绕查询短语的本地上下文作为条件模型的特征来捕获语义和语法信息。第二阶段是候选词短语收集和筛选,即对数据中的每个“左”“右”和“配对”的全部实例进行迭代,以收集一组近义词/同义词候选短语;还给出了构成模型的要素和用于评价模型性能的评分函数;基于不同大型语料库的实验结果表明,提出的建模方法在总的统计评分查找性能和整体可扩展性方面都优于常用的其他查找方法模型。     

基于多特征融合的TextRank新闻自动摘要模型

随着互联网的发展, 如何快速地从海量新闻中获取核心信息, 减少浏览负担, 是信息部门目前急需解决的问题. 现有的TextRank及其改进算法在新闻摘要抽取任务中, 考虑文本特征不全面. 在摘要句选择时, 只考虑到摘要的冗余度, 忽略了摘要的多样性及可读性. 针对上述问题, 本文提出了融合多特征的文本自动摘要方法MF-TextRank(multi-feature TextRank). 根据新闻的结构、句子和单词总结了更全面的文本特征信息用于改进TextRank算法的权重转移矩阵, 使句子权重计算更准确. 采用MMR算法更新句子权重, 通过集束搜索得到候选摘要集, 在MMR得分的基础上选择内聚性最高的候选摘要集作为最终的摘要输出. 实验结果表明, MF-TextRank算法在摘要抽取任务中摘要Rouge得分优于现有改进的TexRank算法, 有效提高了摘要抽取的准确性.     

Summarization of Imaged Documents without OCR

A system is presented for creating a summary indicating the contents of an imaged document. The summary is composed from selected regions extracted from the imaged document. The regions may include sentences, key phrases, headings, and figures. The extracts are identified without the use of optical character recognition. The imaged document is first processed to identify the word-bounding boxes, the reading order of words, and the location of sentence and paragraph boundaries in the text. The word-bounding boxes are grouped into equivalence classes to mimic the terms in a text document. Equivalence classes representing content words are identified, and key phrases are identified from the set of content words. Summary sentences are selected using a statistically based classifier applied to a set of discrete sentence features. Evaluation of sentence selection against a set of abstracts created by a professional abstracting company is given.