搜索引擎的Web Robot技术与优化

针对目前如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求,文中对搜索引擎作了概述,重点阐述了搜索引擎的Web Robot搜索器的搜索策略、文档提取以及搜索优化措施,提出了改进搜索引擎的Web Robot的方法,改进后的Web Robot能够更有效地发现和搜集信息.为搜索引擎进行信息搜集,高效、稳定的Web Robot保证了为用户提供的网上信息的全面性和实时性.     

基于访问内容类型统计的Web Robot检测算法

随着搜索引擎的广泛使用,由此而引起的网络机器人（Web Robot）对于Web站点的访问所产生的影响必须引起重视。该文分析了网络机器人的访问行为特点,提出了一个基于访问内容类型统计的检测算法。经实验验证,该算法可以有效地检测未知的和不遵守网络机器人排斥标准的Rohot。     

Web信息自动搜索系统的设计与研究

介绍了Robot技术的基本原理 ;提出了一种完整的搜索引擎信息采集系统的设计方案 ,描述了其设计思想、组成和工作流程 ,并以RobotAgent系统为实例讨论了智能搜索代理模式 ;最后阐述了Web信息自动搜索技术的研究热点。     

国内信息导航系统中搜索引擎Robot的设计与实现

本文讨论了信息导航系统中搜索引擎Robot的不同搜索策略,根据各种策略的不同特点及国内信息导航系统的信息搜索要求,给出一种适用于国内信息导航系统的搜索策略及其具体实现方法,并指出了在实现Robot时应引起注意的一些问题。     

可配置Web Robot的研究与实现

针对个性化搜索需要多种Web Robot支持工作的需求,在分析Web Robot工作原理的基础上,利用面向对象的分析设计方法,提出了一种可实现增量开发的Web Robot的系统模型,并经过了充分的实验验证。实验结果表明应用此模型可以灵活控制Web Robot的搜索策略,通过合理扩展可适用于不同类型的Web资源搜索,能够根据不同的个性化搜索需求灵活定制相应的Web Robot,有效地节约了开发Web Robot的各项成本。     

可配置Web Robot的研究与实现

针对个性化搜索需要多种Web Robot支持工作的需求,在分析Web Robot工作原理的基础上,利用面向对象的分析设计方法,提出了一种可实现增量开发的Web Robot的系统模型,并经过了充分的实验验证。实验结果表明应用此模型可以灵活控制Web Robot的搜索策略,通过合理扩展可适用于不同类型的Web资源搜索,能够根据不同的个性化搜索需求灵活定制相应的Web Robot,有效地节约了开发Web Robot的各项成本。     

详解网络爬虫与Web安全

网络爬虫概述网络爬虫(Web Crawler),又称网络蜘蛛(Web Spider)或网络机器人(Web Robot),是一种按照一定的规则自动抓取万维网资源的程序或者脚本,已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源,通过相应的索引技术组织这些信息,提供给搜索用户进行查询。随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取     

基于网页内容块策略的主题爬行

因特网的迅速发展对传统的爬行器和搜索引擎提出了巨大的挑战。各种针对特定领域、特定人群的搜索引擎应运而生。Web主题信息搜索系统（网络蜘蛛）是主题搜索引擎的最主要的部分,它的任务是将搜集到的符合要求的Web页面返回给用户或保存在索引库中。Web 上的信息资源如此广泛,如何全面而高效地搜集到感兴趣的内容是网络蜘蛛的研究重点。提出了基于网页分块技术的主题爬行,实验结果表明,相对于其它的爬行算法,提出的算法具有较高的效率、爬准率、爬全率及穿越隧道的能力。     

图解搜索引擎发展与现状

正1990年,加拿大麦吉尔大学的一帮师生开发出名为Archie的应用,定期搜集散放在FTP服务器上的文件信息供用户搜索,拉开了现代搜索引擎的序幕,而那时,万维网(Web)还没有诞生。1990年底,第一个Web服务器(nxoc01.cern.ch)开始运行,而直到1993年第一个基于Web的搜索     

中文搜索引擎Robot搜索策略的研究

随着搜索引擎种类的增多,Robot的搜索策略也在不断的增加,不同类型的搜索引擎也都选择最适合自己的搜索策略。本文针对中文网络资源的特点,结合几种常用的搜索策略并加以改进,提出4种适用于中文搜索引擎Robot的搜索策略。     

WWW上的信息发现与搜索引擎技术

随着Ｉｎｔｅｒｎｅｔ在我国逐步得到普遍应用以及ＷＷＷ上中文信息量的不断增长，迫切需要研制适合我国国情的中英文Ｗｅｂ索引和检索服务系统。ＷＷＷ的信息发现和搜索引擎又称ｒｏｂｏｔ负责搜索物获取指定范围内的有关数据。本文对Ｗｅｂ搜索引擎的工作原理和关键技术进行讨论和分析，并分析了我们在研制中英文Ｗｅｂ索引和检索服务器方面所做的工作，包括系统总体结构和汉语分词技术等。     

Tuning up the search engine

Advances in Internet search engine technology may not help you blast Klingons into outer space, but they should help you find them more quickly on the Web. The whole arena for Internet searching has become rather interesting. Search engines appear poised to make some serious breakthroughs in relevancy ranging and personalization that promise to increase the accuracy and reliability of search. On the ether hand, data suggests that users are becoming increasingly disenchanted with search engines that don't actually search the Web, but rather search records of the Web sites their robots have visited. Some online merchants (Victoria's Secret, for example) don't even enable keyword searches on their sites. The Web's increasingly dynamic nature complicates searching. New pages created on the fly using personalization information, and even static content, with dynamically inserted sidebars, navigation bars, advertising and commentary, can present a rapidly changing picture for any robot to discover. And as indexes grow larger, search system performance becomes a significant problem     

Web挖掘在电子商务货源搜索中的应用

在电子商务环境下,货源信息的质量将直接影响企业业务经营水平。该文对电子商务环境下的货源信息搜索问题进行分析,提出以万维网为信息源,采用Web挖掘和信息检索技术设计实现货源搜索机器人的方法。该机器人内置元搜索引擎,可以扩大搜索范围,通过对搜索信息进行分析处理,从中发现有价值的货源相关信息。     

WISE: a World Wide Web resource database system

The paper describes the World Wide Web Index and Search Engine (WISE) for Internet resource discovery. The system is designed around a resource database containing meta information about WWW resources and is automatically built using an indexer robot, a special WWW client agent. The resource database allows users to search for resources based on keywords, and to learn about potentially relevant resources without having to directly access them. Such capabilities can significantly reduce the amount of time that a user needs to spend in order to find the information of his/her interest. We discuss WISE's main components: the resource database, the indexer robot, the search engine, and the user interface, and through the technical discussions, we highlight the research issues involved in the design, the implementation and the evaluation of such a system     

基于结构挖掘的排序算法研究综述

随着Internet的迅猛发展,Web成为了人们获取信息的重要途径。但是,网页数量的与日剧增,信息量的爆炸式增长,也为人们的信息查询带来了不便。Web数据挖掘技术的引入提高了检索质量,特别是Web结构挖掘在搜索引擎中的应用,很好地帮助用户快速从搜索结果中锁定对自己真正有用的信息。本文对基于结构挖掘的排序算法进行了大量搜集分析,并进行了归纳总结。     

基于用户日志挖掘的搜索引擎广告效果分析

随着搜索引擎市场的飞速发展,竞价排名广告以其有效、低风险、灵活等特点逐渐受到中小企业用户的青睐,成为搜索引擎稳定的收益增长点。然而竞价排名广告是否会影响用户体验,从而削弱其宣传效果并且影响用户对于搜索引擎的忠实度成为了企业及搜索引擎所担忧的问题。该文从网络用户日志中挖掘出网络用户对于广告的实际交互行为,并给出了各大搜索引擎竞价排名广告方面的统计数据。对于企业用户如何更有效地利用竞价排名广告以及搜索引擎如何平衡广告的经济效益和用户体验之间的关系都有较高的指导意义。     

结果页面信息的提取和结果筛选算法的研究

Web搜索引擎是Internet上非常有用的信息检索工具.但是,目前搜索引擎检索出的信息量庞大.如何能够快速和精确地在这种海洋信息中检索到用户所需信息已成为重要的研究课题.提出基于元搜索引擎理论上的专业课程信息搜索系统,着重研究结果页面信息的提取技术和向量空间模型算法.     

搜索引擎系统中网页抓取模块研究

如今互联网资源迅速膨胀,搜索引擎能够从浩如烟海的杂乱信息中抽出一条清晰的检索路径,让用户获得自己需要的信息.由蜘蛛程序实现的网页抓取模块是搜索引擎系统提供服务的基础,从资源的角度决定了整个系统的成败.鉴于此,介绍搜索引擎系统的基本工作原理,分析网页抓取模块的工作流程,研究开源网络蜘蛛Heritrix的几个关键组件,在充分了解Heritrix构架的基础上扩展Extractor组件,成功实现个性化的抓取逻辑.     

一个基于MAS的搜索引擎模型

在巨大的Internet/Web信息中很难积极地搜索到准确的信息,搜索引擎技术解决了用户检索Web信息困难的问题,而现有的搜索引擎返回的信息却并不总令用户满意。文中在对MAS理论调研的基础上,提出一个基于MAS的搜索引擎的模型,并将其与著名的Google搜索引擎作比较和分析。     

SISE:一个基于机器学习的中文专题搜索引擎

随着Internet的迅速发展，专题搜索引擎以其可以准确且快速提交贴切用户专题信息的特殊性能而越来越受到广大Internet用户，的欢迎。然而，维护和更新这些专题搜索引擎却要费去太多时间，该文简要介绍了一个基于机器学习的智能中文专题搜索引擎SISE（Stock InfoSearch Engine)的设计和实现，SISE充分利用机器学习机制，设计出一个仅迫踪股票信息的智能网络机器人和文本分类器，从而加快信息的检索与更新，并且具有很高的查全率和查准率。