| 基于主题相关概念和网页分块的主题爬虫研究 |
| |
| 引用本文： | 黄 仁,王良伟.基于主题相关概念和网页分块的主题爬虫研究[J].计算机应用研究,2013,30(8):2377-2380. |
| |
| 作者姓名： | 黄 仁 王良伟 |
| |
| 作者单位： | 重庆大学 计算机学院,重庆,400044 |
| |
| 基金项目： | 国家自然科学基金资助项目 （71102065） |
| |
| 摘 要： | 针对传统主题爬虫的不足, 提出一种基于主题相关概念和网页分块的主题爬虫。先通过主题分类树获取主题相关概念集合, 然后结合主题描述文档构建主题向量来描述主题; 下载网页后引入网页分块来穿越“灰色隧道”; 采用文本内容和链接结构相结合的策略计算候选链接优先级, 并在HITS算法的基础上提出了R-HITS算法计算链接结构对候选链接优先级的贡献。实验结果表明, 利用该方法实现的主题爬虫查准率达66%、信息量总和达53%, 在垂直搜索引擎和舆情分析应用方面有更好的搜索效果。
|
| 关 键 词： | 主题爬虫 主题相关概念 网页分块 优先级计算 R-HITS |
Research on focused crawler based ontopic-related concept and page segmentation |
| |
| HUANG Ren,WANG Liang-wei.Research on focused crawler based ontopic-related concept and page segmentation[J].Application Research of Computers,2013,30(8):2377-2380. |
| |
| Authors: | HUANG Ren WANG Liang-wei |
| |
| Affiliation: | College of Computer Science, Chongqing University, Chongqing 400044, China |
| |
| Abstract: | |
| |
| Keywords: | focused crawler topic-related concept page segmentation priority computation relevant hyperlink-induced topic search |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算机应用研究》浏览原始摘要信息 |
|
点击此处可从《计算机应用研究》下载全文 |
|
