节点对等Web Spider设计与实现 |
| |
引用本文: | 张林才,张燕,王红霞.节点对等Web Spider设计与实现[J].计算机技术与发展,2010,20(3):195-198,202. |
| |
作者姓名: | 张林才 张燕 王红霞 |
| |
作者单位: | 1. 辽宁石油化工大学,计算机与通信工程学院,辽宁,抚顺,113001 2. 北京青年政治学院,计算机系,北京,100102 |
| |
摘 要: | 由于互联网具有海量信息并且快速增长,提高搜索引擎的信息采集器WebSpider的数据采集和更新速度有重要意义。受计算资源限制,单机多线程WebSpider的采集速率不高。带中心节点的分布式并行webSpider又容易产生中心节点瓶颈问题。利用ProActive网格网络并行分布计算中间件提供的主动对象技术、网络并行计算技术、自动部署机制等设计和实现了一个名为P—Spider2.0的节点对等的分布式并行WebSpider,并设计了一个基于Raibin算法的URL去重算法。实验表明该WebSpider方便管理和部署,并且比单机多线程webSpider具有更高的采集速率。
|
关 键 词: | 网络爬虫 ProActive 并行 分布式 节点对等 |
Design and Realization of Peer-to-Peer Web Spider |
| |
Abstract: | |
| |
Keywords: | ProActive |
本文献已被 维普 万方数据 等数据库收录! |
|