基于MapReduce虚拟机的Deep Web数据源发现方法

为了提高Deep Web爬虫发现和搜集数据源的效率,提出了一种融合MapReduce和虚拟化技术实现DeepWeb海量数据挖掘的并行计算方法。基于MapReduce架构提出了一个Deep Web爬虫模型,通过链接过滤分类、页面过滤分类、表单过滤分类等3个MapReduce过程找到Deep Web数据源接口,并利用虚拟机构建单机集群进行性能测试。实验结果显示该方法可以实现大规模数据的并行处理,有效提高爬虫数据源发现的效率,避免网络及物理资源的浪费,验证了云计算技术在Deep Web数据挖掘方面的可行性。     

基于本体和贝叶斯网络的Deep Web集成系统研究

Deep Web指无法简单地通过搜索引擎或网络爬虫能够检索到的隐藏在后台数据库中,而往往这些内容具有丰富的信息和数据.获取Deep Web所蕴含的丰富信息的有效方法是构建Deep Web集成框架,而查询接口作为Deep Web的唯一访问接口,所以Deep Web集成系统的关键就是构建Deep Web集成接口.研究的目标是通过自动构建特定领域的本体来表示Deep Web接口信息,从而能够自动识别该领域Deep Web接口来建立索引,提取数据库中丰富的资源.在没有人为干预的情况下展开整个过程.本文的方法能完全自动地提取Deep Web接口信息并派生领域本体,并通过本体贝叶斯网络识别新Deep Web接口,进行匹配.在特定领域,通过一种新的自动从Deep Web接口中提取属性方法,通过WordNet构建成本体语义树,运用得到的领域语义本体树结合贝叶斯网络完成领域分类,并在分类后进行查询接口与集成接口的模式匹配.本文提出的方法通过对比人工提取属性构成的语义树在分类和模式匹配的结果进行对比,验证了该方法的可用性和适用性.     

基于查询接口特征的Deep Web数据源自动分类

搜索引擎可以很好地搜索出大部分可索引页面，然而，Internet上有大量的页面是由后台数据库动态产生的．传统的搜索引擎搜索不出这部分页面，我们称之为Deep Web。其中大部分Deep Web是结构化的，它提供结构化的查询接口和结构化的结果。把这些结构化的Deep Web数据源按所属领域进行组织可以方便用户浏览这些有价值的资源．并且这也是大规模Deep Web集成搜索的一个关键步骤。提出了一种基于查询接口特征的Deep Web数据源自动分类方法．并通过实验验证该方法是非常有效的。     

查询自动生成器在Web数据库发现中的应用

为了帮助用户获得一个统一的访问途径来自动地获取利用自由分布在整个万维网上的Deep Web中丰富的信息.Deep Web数据集成受到了越来越多的关注,这其中也包含若干问题急待解决.提出了在Deep Web数据集成领域中解决Web数据库的发现的一种试探性方法,并模拟了该方法的使用场景,介绍了它采用的学习方法.     

基于维基百科和网页相似度分析的主题爬行策略

针对当前常用爬虫爬行策略的不足,提出结合维基百科和网页相似度分析的主题爬行策略。利用维基百科分类树的结构对主题进行描述;下载网页后对网页进行相应处理,结合文本相关性和Web链接分析来计算候选链接的优先级。实验表明,该爬虫搜索结果与主题相关度明显高于传统爬虫,爬虫爬全率有一定提高。该主题爬虫主题描述方法和爬行策略有一定的推广价值,尤其在转基因生物领域中,该爬虫中有一定的创新性。     

一种Deep Web数据源质量评估模型

分析了影响Deep Web数据源质量评估的若干因素,提出了一种Deep Web数据源质量评估模型.该模型从浏览器、Web数据库、Web服务器和用户四个方面对数据源进行质量评估.通过在真实的Deep Web数据源上进行实验验证,说明该方法是有效和可行的.     

一种面向Deep Web数据源的重复记录识别模型

重复记录是指描述现实世界中同一实体的不同的记录信息。由于从同一个领域的不同Deep Web数据源中抽取的记录信息通常存在许多重复记录,本文针对半结构化的重复记录的识别进行研究。在已知全局模式和全局模式与各Deep Web数据源查询接口映射关系的基础上,提出了一种重复记录识别模型。 基于从Deep Web中抽取出的半结构化的数据,采用查询探测方法确定所抽取数据所匹配的属性,通过分析抽取的实例数据确定属性重要度,结合多种相似度估算器和多种算法计算记录间的相似度,进而识别重复记录。实验表明,该重复记录识别模型在Deep Web环境下是可行且有效的。     

基于K-近邻算法的Deep Web数据源的自动分类

针对Deep Web的查询需求,提出了一种基于K-近邻算法的Deep Web数据源的自动分类方法。该算法在对Deep Web网页进行表单特征提取及规范化的基础上,基于距离对Deep Web网页所属的目标主题进行判定。实验结果表明:基于K-近邻分类算法可以较有效地进行DeepWeb数据源的自动分类,并得到较高的查全率和查准率。     

可定制的聚焦网络爬虫

网络资源信息的爆炸式增长、用户越来越个性化的需求,使得针对特定主题的搜索引擎越来越受到青睐.聚焦网络爬虫是主题搜索引擎的重要组成部分,它从Web上下栽针对某一主题的文档.可定制的聚焦网络爬虫是具有主题的可选择性、可定制性的主题爬虫.文中介绍了一套更加有效的爬虫算法,它具有高效(优先下栽主题相关度高的资源)、资源占用少(减少URL队列长度)、主题易移植(主题的可定制性)等特点.     

Web网站死链检测方法

网站作为大规模的信息集合体,包含了大量的Web链接．有些Web链接经过一段时间之后,因种种原因而失效或者出现错误,从而形成死链．本文提出一种Web网站死链检测方法．根据Web链接的调度过程,自动获取网站链接信息;根据Web链接的结构特点和网页检索操作,对死链进行分析和检测;针对链接的相互引用问题和用户体验与页面深度的关系,对采集的数据进行预处理．实验结果表明,该方法能有效地提高死链的检测覆盖率和处理效率．