基于Scrapy框架的分布式网络爬虫的研究与实现

针对网络爬虫开发时面临的攻防、去重和爬取效率等问题,通过着重分析基于Scrapy框架的分布式知乎网络爬虫的工作原理和实现方式以及一些关于分布式运行原理、反爬虫、去重算法、Redis数据库、MongoDB数据库等方面的技术,设计和实现了基于Scrapy框架的分布式网络爬虫.最后通过对该爬虫的对比测试分析,得出了如何提高爬虫的爬取效率和避免网站反爬的应对策略.     

自适应Tent混沌搜索的人工蜂群算法

为了有效改善人工蜂群算法(artificial bee colony algorithm,ABC)的性能,结合Tent混沌优化算法,提出自适应Tent混沌搜索的人工蜂群算法.该算法使用Tent混沌以改善ABC的收敛性能,避免陷入局部最优解,首先应用Tent映射初始化种群,使得初始个体尽可能均匀分布,其次自适应调整混沌搜索空间,并以迄今为止搜索到的最优解产生Tent混沌序列,从而获得最优解.通过对6个复杂高维的基准函数寻优测试,仿真结果表明,该算法不仅加快了收敛速度,提高了寻优精度,与其他最近改进人工蜂群算法相比,其性能整体较优,尤其适合复杂的高维函数寻优.     

区域标记在碎米率检测中的研究

碎米率是大米品质检测的一个重要因素。通过运用形态学理论及数字图像处理与分析技术来获取自动检测碎米率的方法。依照国家标准,提出了利用形态学开运算校正光照不均和去除图像中的噪声,运用改进的最大类间方差法来自动确定图像分割阈值,使用区域标记算法统计大米数量和面积。实验结果表明：该方法可以提高识别碎米的准确度和效率。     

一种带软时间窗的物流配送路径优化遗传算法

本文在建立物流配送路径优化问题模型的基础上,采用最佳保留的轮盘赌复制法、最大保留交叉法、交叉率和变异率自适应调整等技术,设计了基于自然数编码的遗传算法,并进行了实验计算。结果表明,用该算法进行带软时间窗的非满载车辆调度优化问题,可以方便有效地求得满意解。     

基于多策略人工蜂群的多序列比对算法

多序列比对是生物信息学中最重要和最具挑战性的任务之一.基于多序列比对是NP 完全组合优化问题,引入Tent 混沌初始化种群策略、不同蜂种的邻域搜索策略和锦标赛选择策略等,提出一种基于多策略人工蜂群的多序列比对算法.该算法应用Tent混沌初始化种群策略以使初始个体多样化并获取较好初始解;针对不同蜂种的特性设计不同的邻域搜索策略以平衡算法的全局探索和局部开发能力.同时引入序列比对的蜜源编码方法以适应多序列比对的离散性.实验结果表明,所提出算法的鲁棒性较强,能获取较好的比对性能和生物特性.     

数据挖掘技术在医疗大数据中的应用研究

医疗行业的发展扩大了医疗数据信息种类与数量,这将直接影响医院医疗水平与服务水平和医院核心竞争力。本文以医疗大数据为研究对象,提出了基于遗传算法的K-means 改进聚类方法,并以医疗费用数据为例展开分析,为提高医疗服务质量提供有效数据信息。     

广义动态模糊神经网络及在轴承故障诊断中的应用

提出一种结合小波包分解和广义动态模糊神经网络的故障诊断方法,该方法首先采用小波包分解与重构提取各频带的能量作为故障特征向量,并以此向量作为输入,再利用广义动态模糊神经网络建立轴承故障诊断模型,该模型不仅能对模糊规则而且能对输入变量的重要性做出评价,使每个输入变量和模糊规则都可根据误差减少率进行修正。实验结果表明:该方法对识别和预测轴承的状态具有较高的精度和效率。     

基于EWB仿真软件的电子技术教学系统设计与实践

针对电子技术课程教学与实验教学存在的一些问题,提出了一种基于EWB仿真软件来辅助电子技术教学的解决方案,并结合具体实例介绍了基于EWB系统的电路分析与仿真操作方法。     

基于数据恢复实训的企业场景模拟教学

针对实训课程教学与企业实际业务流程存在严重脱节,无法真正提高学生职业能力达到"零"距离就业的现状。以数据恢复实训课程为例,提出基于企业场景模拟的实训课程改革思路和方案。说明该方法能激发学生学习兴趣和自主学习的积极性,提高教学质量,使学生在扮演企业角色时,体验到真实的工作场景、工作过程和相关制度等,为教师最终评价学生提供有力依据。     

基于改进人工蜂群算法的用电异常检测方法

为全面有效分析和检测数据和用电异常,提高异常用电报警准确率和电量管理水平。从两个方面研究用电异常检测:一是通过用户用电异常防止意外,保障用户安全,如检测到用户负荷长期居高不下,则提醒用户可能存在电器漏电;二是防止非技术性电能损失或用户窃电,如检测到用户连续异常负荷骤降,提醒稽查人员到现场检测用户是否存在窃电。通过改进人工蜂群算法自动提取电力负荷曲线进行关联对比,实现上述行为的判断。实验结果表明,基于改进人工蜂群的异常检测算法具有较好的适应性和较高的异常检测精度。