Web站点的超链结构挖掘

ＷＷＷ是一个由成千上万个分布在世界各地的Ｗｅｂ站点组成的全球信息系统,每个Ｗｅｂ站点又是一个由许多Ｗｅｂ页构成的信息（子）系统。由于一个文档作者可以通过超链把自己的文档与任意一个已知的Ｗｅｂ页链接起来,而一个 Ｗｅｂ站点上的信息资源又通常是由许多人共同提供的, 因此 Ｗｅｂ站点内的超链链接通常是五花八门、各种各样的,它们可以有各种含义和用途。文章分析了ＷＷＷ系统中超链的使用特征和规律,提出了一个划分超链类型、挖掘站点结构的方法,初步探讨了它在信息收集和查询等方面的应用。     

基于切平面的主题提取算法

从语义相关性角度分析超链归纳主题搜索（HITS）算法,发现其产生主题漂移的原因在于页面被投影到错误的语义基上,因此引入局部密集因子LDF（Local Density Factor）的概念。为了解决Web内容的重叠性,基于切平面的概念提出了一种新的主题提取算法（CPTDA）。CPTDA不但可以发现用户最感兴趣的主题页面集合,还可以发现与查询相关的其他页面集合。在10个查询上的实验结果表明,与HITS算法相比,CPTDA算法不仅可以减少30%-52%的主题漂移率,而且可以发现与查询相关的多个主题。     

一种面向专业搜索引擎的查询推荐算法

根据专业搜索引擎的特点,提出了一种新颖的基于词语共现与HITS算法的查询推荐算法QR-CH（Query Recommendation algorithm based on word Co-occurrence and HITS algorithm）。该算法一方面利用HITS算法对基于词语共现筛选出的关联词按语义关联性进行排序,选取排序靠前的关联词作为推荐词,提高了推荐词与原查询词的相关性;另一方面使用HITS算法排序关联文档,从查询结果文档集的角度来判断推荐是否冗余,降低了推荐词的冗余性。该算法将推荐相关的信息存储到知识树中,利用知识树实现查询推荐。实验结果表明QR-CH算法在推荐词的相关性和冗余词的判断方面均优于文献中已有的类似算法。     

Web搜索中的数据挖掘技术研究

WWW已经成为世界上是大的分布式信息系统,如何快速有效地搜索用户所需的资源一直是研究热点。Web挖掘也已经成为数据挖掘中相对成熟的一个分支。本文针对Web资源搜索中利用的相关Web挖掘技术做一个综述。文章首先对目前流行的Web内容挖掘方面的常用技术进行了研究分析,然后着重研究了Web结构挖掘技术,介绍并评价了多种算法模型。接着介绍了用户使用的挖掘,并提出了Web内容挖掘技术,结构挖掘技术和用户使用挖掘相结合,应用于开发智能型搜索引擎的趋势。     

关于反作弊算法对产品在网络推广的影响

互联网中浩瀚如海的信息资源,常常令用户感到困扰,如何能快速找到自己想要的信息;同时,作为企业,无论大小,都希望自己的网站能够被更多的用户访问,产品得以销量飙井。那么,搜索引擎的出现和外链的设计则在一定程度上满足了网络用户的需求。但是,欺瞒搜索引擎和设计一些无聊的外链的现泉,却损害了用户的利益,让用户看到不需要的信息,浪费时问和精力,这就是典型的网络作弊行为,因此,酉度推出了一个超链反作弊算法,希望就此可以减少网络作弊行为,让用户得到切实的真实用户体验。     

利用超链分析自动获取网页的主题词描述

本文介绍超级链接（Hypertext Link）中超链文字的作用，探讨如何利用超链文字的信息自动获取网页文件的主题词描述，以及该算法在搜索引擎中的相关度评价（relevance judgement）中的重要作用。     

一个自动发现确定主题下资源的系统

介绍了NDDS（NanDa Dolphin Searcher）系统的设计与实现的关键技术。系统使用VSM（Vector Space Model）技术来自动地确定搜索主题。智能Crawler技术能够有目标、有选择地发现新的相关资源。链接分析技术用来分析发现最重要的资源,对资源按重要性进行排序。NDDS的两种运行方式分别提供了个性化搜索服务和共享资源服务。     

超链语义分类系统的设计与实现

提出了一套超链语义分类框架,并详细叙述了其具体实现。该分类系统对反映超链内容语义的各种相关特征进行自动提取以及量化处理,并采用基于决策树的分类方法,使用C4.5机器学习算法,通过对大量人工标注超链样本的学习进行特征优化和选择,形成分类规则。该分类系统,从超链的语义角度研究了Web中超链的类别,有助于对Web上的资源进行更加有效的自动化处理,并在更深层次上挖掘Web结构信息。