| 基于专业信息深度挖掘的搜索引擎Spider的设计与实现 |
| |
| 引用本文： | 赵恒永,沈坚,山岚. 基于专业信息深度挖掘的搜索引擎Spider的设计与实现[J]. 计算机工程与科学, 2009, 31(6) |
| |
| 作者姓名： | 赵恒永 沈坚 山岚 |
| |
| 作者单位： | 北京化工大学信息科学与技术学院,北京,100029;北京化工大学信息科学与技术学院,北京,100029;北京化工大学信息科学与技术学院,北京,100029 |
| |
| 摘 要： | 本文针对专业全文搜索引擎的特点,设计并实现了一种网络机器人。通过二维矢量工作队列实现站点式深度优先搜索,采用页面站点加权算法动态控制站点的处理时间。完成了网络上与专业相关信息的集中收集和处理,并探讨了网络机器人对专业的侧重性以及向通用全文搜索引擎网络机器人转换的可行性。
|
| 关 键 词： | 搜索引擎 网络机器人 工作队列 加权算法 任务平衡 |
Design and Implementation of a Full Text Search Engine Spider Based on Specific Information Mining |
| |
| ZHAO Heng-yong,SHEN Jian,SHAN Lan. Design and Implementation of a Full Text Search Engine Spider Based on Specific Information Mining[J]. Computer Engineering & Science, 2009, 31(6) |
| |
| Authors: | ZHAO Heng-yong SHEN Jian SHAN Lan |
| |
| Affiliation: | School of Information Science and Technology;Beijing University of Chemical Technology;Beijing 100029;China |
| |
| Abstract: | The paper designs and implements a full text search engine Spider based on specific information mining,carries out site depth-first search by two-dimensional vector workload queue,uses a page-site weighted algorithm to dynamically control the tenure of site processing,accomplishes a concentrative collection and processing of specialization-related information from the Internet,and discusses the inclination of Spider to the specializations and the transformation for a universal full text search engine. |
| |
| Keywords: | search engine spider workload queue weighted algorithm task balance |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
