基于结构信息和时域信息的垃圾网页检测技术

提出一种将结构信息和时域信息综合运用来检测Spam技术的方法,并针对目前流行的Spam技术,从四个月的网络链接图中提取大量的结构和时域信息特征,训练一组检测Spam技术的网页分类器,取得了很好的实验结果。     

加速评估算法:一种提高Web结构挖掘质量的新方法

利用Web结构挖掘可以找到Web上的高质量网页，它大大地提高了搜索引擎的检索精度,目前的Web结构挖掘算法是通过统计链接到每个页面的超链接的数量和源结点的质量对页面进行评估，基于统计链接数目的算法存在一个严重缺陷：页面评价两极分化，一些传统的高质量页面经常出现在Web检索结果的前面，而Web上新加入的高质量页面很难被用户找到,提出了加速评估算法以克服现有Web超链接分析中的不足，并通过搜索引擎平台对算法进行了测试和验证。     

基于时间维加权TimedWPR算法

PageRank算法对页面评价太过客观,对不同重要程度的网页被授予相同的权重,并且在排序时,一些旧的页面经常出现在Web检索结果的前面,而新加入的高质量页面用户很难找到.针对Pagerank算法存在的这些缺陷,引入时间维加权概念,开发出TimedWPR算法,同时保证了两种页面的排序优化.该算法采用服务器反馈回来的网页修改时间表示网页年龄,并在此基础上对网络的组织结构和链接质量以及时间序列进行挖掘,从而克服现有Web超链接分析中的不足.     

Web页面排序算法研究

随着Internet的迅猛发展，网络信息呈爆炸式增长。Web信息检索是一个从Web海量数据中检索用户感兴趣信息的综合技术，它从一定程度上满足了用户对信息的需求，但返回页面的数量依然十分巨大。如何对搜索结果进行排序已成为影响搜索质量的一个重要问题。本文介绍了两种页面排序算法PageRank和HITS，并对网页排序算法的若干改进进行了讨论。     

弱链接文档搜索引擎研究

聚类技术能将大规模数据按照数据的相似性划分成用户可迅速理解的簇．从而使用户更快地了解大量文档中所包含的内容。因此．聚类技术成为搜索引擎中不可或缺的部分和研究热点。Web上的AJAX应用和PowerPoint文件等弱链接文档由于缺乏足够的超链接信息,导致搜索该类文档时．排序结果不佳。针对该问题．给出一个弱链接文档的搜索引擎框架,并重点描述一个基于网页搜索结果的弱链接文档排序算法．基于聚类的弱链接文档排序算法利用聚类算法从高质量的网页搜索结果中提取与查询相关的主题．并根据主题的相关网页的排名确定该主题的重要性．根据识别的带权重的主题计算弱链接文档的排序值。实验结果表明该算法能够为弱链接文档产生较好的排序结果．     

基于链接相似度和作弊系数的Spam网页识别算法

Spam网页主要通过链接作弊手段达到提高搜索排名而获利的目的,根据链接作弊的特征,引入链接相似度和作弊系数两个指标来判定网页作弊的可能性。借鉴BadRank算法思想,从Spam网页种子集合通过迭代计算链接相似度和作弊系数,并根据与种子集合的链接指向关系设置权重,将待判定的网页进行度量。最后选取Anti-Trust Rank等算法作对比实验,结果验证了本文算法在准确率和适应性方面优于对比算法。     

Web页面排序算法研究

随着Internet的迅猛发展,网络信息呈爆炸式增长。Web信息检索是一个从Web海量数据中检索用户感兴趣信息的综合技术,它从一定程度上满足了用户对信息的需求,但返回页面的数量依然十分巨大。如何对搜索结果进行排序已成为影响搜索质量的一个重要问题。本文介绍了两种页面排序算法PageRank和HITS，并对肉页排序算法的若干改进进行了讨论。     

数据挖掘技术在Web中的应用研究

随着信息技术的快速发展,特别是计算机技术的不断普及,使得“数据丰富而信息贫乏”这对矛盾显得日益突出,数据挖掘技术正是应了这一需求而结合了数理统计学、人工智能、神经网络和信息技术等多学科而出现的一项新技术,且在广大应用领域产生了和正在产生着巨大的作用。因特网在目前为一个分布式的、全球的、巨大的信息服务中心,每时每刻有海量数据产生于此,这无疑对数据挖掘这门新兴的学科提出了巨大的挑战。Web不仅由页面组成,而且还包含了由一个页面指向另一个页面的链接结构和用户使用记录,而大量的这些Web内容、链接结构和用户使用记录隐含了人们使用Web页面行为习惯、页面质量、用户类别等大量有趣信息,本文就Web挖掘技术的Web内容挖掘、Web结构挖掘、Web使用记录挖掘作了深入、详细的探讨。     

Web结构挖掘中HITS算法改进的研究

随着Internet技术的发展,Web网页成为人们获取信息的有效途径,Web数据挖掘逐渐成为国内外研究的热点。基于Web结构挖掘中HITS算法只考虑页面之间的链接关系而忽视了页面的具体内容,在这种情况下容易出现主题偏离[1]现象,影响了搜索结果,为了抑制主题偏离现象,本文把超链接信息检索方法与页面内容相结合,提出了一种改进的算法。实验结果证明改进的算法较原算法具有较好的效果,有效的抑制了主题偏离现象,具有一定的实用价值。     

基于非内容信息的网络关键资源有效定位

网络信息的爆炸式增长，使得当前任何搜索引擎都只可能索引到Web上一小部分数据，而其中又充斥着大量的低质量信息．如何在用户查询无关的条件下找到Web上高质量的关键资源，是Web信息检索面临的挑战．基于大规模网页统计的方法发现，多种网页非内容特征可以用于关键资源页面的定位，利用决策树学习方法对这些特征进行综合，即可以实现用户查询无关的关键资源页面定位．在文本信息检索会议（TREC）标准评测平台上进行的超过19G文本数据规模的实验表明，这种定位方法能够利用20％左右的页面覆盖超过70％的Web关键信息；在仅为全部页面24％的关键资源集合上的检索结果，比在整个页面集合上的检索有超过60％的性能提高．这说明使用较少的索引量获取较高的检索性能是完全可能的．