高性能网络爬虫:研究综述

网络爬虫是一种自动下载网络资源的程序,是搜索引擎的基础构件之一.系统地介绍了网络爬虫的工作原理和发展现状,详细地阐述了一个高性能、可伸缩、分布式的网络爬虫的系统架构和所面临的关键问题.     

BP网络在Web Crawler中的应用

本文介绍了Web Crawler和BP网络的基本原理,在此基础上,应用BP网络对网页变化的时间间隔进行建模,通过BP算法训练得到一个预测模型,预测出各网页的变化时间间隔,通过与实际采集的时间间隔相比较判断网页是否发生变化.实验证明,BP网络能够有效预测网页变化的时间间隔,指导增量更新.     

搜索引擎系统中网页抓取模块研究

如今互联网资源迅速膨胀,搜索引擎能够从浩如烟海的杂乱信息中抽出一条清晰的检索路径,让用户获得自己需要的信息.由蜘蛛程序实现的网页抓取模块是搜索引擎系统提供服务的基础,从资源的角度决定了整个系统的成败.鉴于此,介绍搜索引擎系统的基本工作原理,分析网页抓取模块的工作流程,研究开源网络蜘蛛Heritrix的几个关键组件,在充分了解Heritrix构架的基础上扩展Extractor组件,成功实现个性化的抓取逻辑.     

一种新型网络爬虫的设计与实现

网络爬虫是当今网络实时更新和搜索引擎技术的共同产物。文中深入探讨了如何应用网络爬虫技术实现实时更新数据和搜索引擎技术。在对网络爬虫技术进行深入分析的基础上,给出了一种用网络爬虫技术实现局域网内服务器和客户端之间网络通信的解决方案。     

重载爬壁吸附行走机构的设计与研究

吸附行走机构是各种用途爬壁机器人的核心部件,机构的吸附可靠性和行走灵活性是影响爬壁机器人的重要因素。首先总结分析了吸附行走机构工作原理及设计的关键点,针对吸附行走机构基本设计要求,介绍了一种液压控制的重载爬壁吸附行走机构,阐述了重载爬壁吸附行走机构的永磁吸附履带机构、动力驱动单元等组成部分设计和技术参数,通过对其受力分析得出了重载吸附行走机构动力驱动单元的关键动力参数,并介绍了配套的液压系统与控制系统的功能元件选型和控制模块设计,在不同的转向半径和吸附对象上进行了运行试验,分析了重载吸附行走机构转向能力与液压动力的关系,研究吸附对象厚度参数对重载吸附行走机构吸附能力的影响,经过试验分析表明,设计的重载爬壁吸附行走机构具有较好的稳定性、液压控制吸附行走机构的重载负载能力强。     

基于规则库和网络爬虫的漏洞检测技术研究与实现

Web技术是采用HTTP或HTTPS协议对外提供服务的应用程序,Web应用也逐渐成为软件开发的主流之一,但Web应用中存在的各种安全漏洞也逐渐暴露出来,如SQL注入、XSS漏洞,给人们带来巨大的经济损失.为解决Web网站安全问题,文章通过对Web常用漏洞如SQL注入和XSS的研究,提出了一种新的漏洞检测方法,一种基于漏洞规则库、使用网络爬虫检测SQL注入和XSS的技术.网络爬虫使用HTTP协议和URL链接来遍历获取网页信息,通过得到的网页链接,并逐步读取漏洞规则库里的规则,构造成可检测出漏洞的链接形式,自动对得到的网页链接发起GET请求以及POST请求,这个过程一直重复,直到规则库里的漏洞库全部读取构造完毕,然后继续使用网络爬虫和正则表达式获取网页信息,重复上述过程,这样便实现了检测SQL注入和XSS漏洞的目的.此方法丰富了Web漏洞检测的手段,增加了被检测网页的数量,同时涵盖了HTTP GET和HTTP POST两种请求方式,最后通过实验验证了利用此技术对Web网站进行安全检测的可行性,能够准确检测网站是否含有SQL注入和XSS漏洞.     

面向主题的WWW信息挖掘系统

1 概述 WWW正以令人难以置信的速度飞速地发展,逐渐成为人们发布和获取信息的主要平台。虽然人们可以从WWW上获得大量信息,但由于WWW上的信息是无结构的、动态的、分散的,因此如何从WWW上高效地提取有用的信息仍是一个很有挑战性的课题。搜索引擎(如Excite、Google、Alta Vista)的广泛应用,使人们检索信息的效率大大提高。搜索引擎的工作原理是:由一个爬行器(Crawler)尽可能多地收     

智能履带式矿车及其路径跟踪研究

针对目前矿山巷道内的矿物运输劳动强度大、投资成本高等问题,设计了一种适合在复杂巷道内自由行走的智能履带式矿车。首先应用SolidWorks软件建立了矿车的三维结构模型,然后建立并分析了其运动学模型。在此基础上,采用模糊PID对矿车的路径跟踪进行了研究,通过MATLAB/SIMULINK仿真环境,对直线路径、曲线路径的跟踪进行模拟仿真。从仿真结果可看出：矿车在开始阶段有较大的偏差,但通过模糊PID控制器的在线整定,偏差很快被减小,矿车迅速向期望路径靠拢。该种智能履带式矿车的研究对提高矿物运输效率,降低矿物运输成本具有重要意义。     

基于ADAMS宏命令的薄煤层工作面巡检机器人建模与仿真

为了实现履带式巡检机器人虚拟仿真和实际运动情况相符合,在ADAMS软件中用宏指令建立了各条履带的仿真模型,并对履带块间的衬套力、接触力及求解器等参数进行了合理设置,对巡检机器人越障过程进行了虚拟仿真,得到了电机驱动力矩变化规律,最后对巡检机器人试验样机进行了越障性能试验,所设计的巡检机器人越障性能指标达到了设计要求。     

步履式顶推法的平衡控制技术研究与应用

随着国家建设的不断推进,跨线桥及跨江河域桥日益增多,对于组合结构桥梁,因其钢结构部分多为薄壁结构,有一定受力局限性,施工过程中的结构应力与线性控制难度大,为满足施工快速、安全可靠、质量完好等要求,步履式顶推法施工是较好的施工工艺。通过以昆明南连接线高速公路五标段跨线桥步履式顶推法施工为背景,针对施工过程中控制方案和控制流程进行详细设计和研究,设计出一套平衡控制策略,解决了因重心偏载、轴线偏移及底部多曲线梁的施工难题,为桥梁施工的顺利进行提供了保障,并阐述了其在工程上的应用情况。