基于多数据源的论文数据爬虫技术的实现及应用

在使用单个数据源进行论文数据采集的过程中,存在着数据全面性不足、数据采集速度因网站访问频率限制而受限等问题。针对这些问题,提出了一个基于多数据源的论文数据爬虫技术。首先,以知网、万方数据、维普网、超星期刊四大中文文献服务网站为数据源,针对检索关键词完成列表页数据的爬取与解析;然后通过任务调度策略,去除各数据源之间重复的数据,同时进行任务的均衡;最后采用多线程对各数据源进行论文详情信息的抓取、解析与入库,并构建网页进行检索与展示。实验表明,在单个网页爬取与解析速度相同的情况下,该技术能够更加全面、高效地完成论文信息采集任务,证实了该技术的有效性。     

HDP主题模型的用户意图聚类

为了实现对网络搜索中用户意图的进一步理解,提出采用hierarchical dirichlet process (HDP)的方法来完成用户意图的聚类. 动词能够较好地体现用户意图,因此,完成动词的聚类就可以获得更好的用户意图的聚类. 提出用与动词具有依存关系的名词和与其共现的名词来表示动词文档. 实验结果表明,加入文档层的HDP模型具有比潜在狄雷克来分配模型和狄雷克来混合模型(DPMM)更好的聚类性能.