主流开源爬虫框架比较与分析

网络爬虫是搜索引擎与信息检索的基础工具,在信息采集、信息过滤等场景中有着广泛的应用。本文首先介绍了URL链接库、文档内容模块、文档解析模块等爬虫基础概念,然后对比分析了Nutch、Heritrix、Larbin、Scrapy等主流开源爬虫框架。     

认知社会物联网中能量感知的编码机会路由协议

社会物联网是一种集合人与物关系的新型物联网形式。针对物联网频谱资源匮乏的问题,提出基于认知无线电技术的社会物联网——认知社会物联网(CR-SIoT)。认知社会物联网中频谱资源的动态性、设备的移动性和社会性及业务流的多样性,给路由机制的设计带来更大的挑战。机会路由充分利用无线信道的广播特性机会地传输数据,进而提高网络性能。因此,提出一种面向多业务的能量感知的编码机会路由。路由度量标准考虑了认知社会物联网中的社会属性及能量问题,提出基于拍卖模型的双层候选节点集选择算法和基于博弈论的信道分配算法。同时,为了加快数据传输进程,在所选候选节点传输数据时,采用网络编码技术进行"批量"传输。通过仿真实验验证了该机会路由的有效性。     

基于集成DBN的肺部肿瘤计算机辅助诊断模型研究

针对目前肺部肿瘤计算机辅助诊断模型存在的识别精度不高和漏诊率、误诊率降低困难等问题,提出一种基于集成深度信念网络(DBN)的肺部肿瘤计算机辅助诊断模型。首先,探讨不同的隐层数和隐层节点数对DBN识别性能的影响,从而确定合适的网络结构,并以该网络结构在三个模态(CT,PET,PET/CT)肺部图像构成的样本空间构建三个单一DBN个体分类器(CT-DBN,PET-DBN,PET/CT-DBN);然后,探讨输入图像大小、RBM学习率、训练批次大小、反向传播次数对DBN识别性能的影响,从而确定合适的参数训练三个单一DBN个体分类器;最后,采用"相对多数投票法"对三个DBN个体分类器进行集成,得到该模型的最终结果。实验结果表明,基于集成DBN的肺部肿瘤计算机辅助诊断模型的整体性能优于三个单一DBN个体分类器。