主流开源爬虫框架比较与分析

网络爬虫是搜索引擎与信息检索的基础工具,在信息采集、信息过滤等场景中有着广泛的应用。本文首先介绍了URL链接库、文档内容模块、文档解析模块等爬虫基础概念,然后对比分析了Nutch、Heritrix、Larbin、Scrapy等主流开源爬虫框架。     

基于集成DBN的肺部肿瘤计算机辅助诊断模型研究

针对目前肺部肿瘤计算机辅助诊断模型存在的识别精度不高和漏诊率、误诊率降低困难等问题,提出一种基于集成深度信念网络(DBN)的肺部肿瘤计算机辅助诊断模型。首先,探讨不同的隐层数和隐层节点数对DBN识别性能的影响,从而确定合适的网络结构,并以该网络结构在三个模态(CT,PET,PET/CT)肺部图像构成的样本空间构建三个单一DBN个体分类器(CT-DBN,PET-DBN,PET/CT-DBN);然后,探讨输入图像大小、RBM学习率、训练批次大小、反向传播次数对DBN识别性能的影响,从而确定合适的参数训练三个单一DBN个体分类器;最后,采用"相对多数投票法"对三个DBN个体分类器进行集成,得到该模型的最终结果。实验结果表明,基于集成DBN的肺部肿瘤计算机辅助诊断模型的整体性能优于三个单一DBN个体分类器。     

蜂窝异构网络中的最优频谱分配算法

异构网络通过在宏基站的覆盖范围内密集地部署低功率的节点,使小区得到分化,提升信道增益。但由于频谱资源有限,资源分配在带有中继节点的蜂窝异构网络中变得较为复杂。为改善信道的频谱效率,研究在带有中继节点异构网络中的最优频谱分配策略以及对应的用户接入策略,提出一个基于乘子法的高效算法,通过在乘子法迭代中寻找一组有限的频谱复用模式,得到最优的频谱分配和用户接入策略,实现最优的比例公平性。数值仿真结果表明,该算法可有效利用有限的频谱资源,相对于传统的频谱分配策略,网络性能明显提升。