基于网络爬虫与页面代码行为的XSS漏洞动态检测方法

XSS漏洞是攻击Web应用程序、获取用户隐私数据的常见漏洞.传统的XSS漏洞检测工具并没有对AJAX Web应用程序进行针对性的检测,在检测精度方面与实际情况存在巨大差距.针对这种情况,对AJAX技术下XSS漏洞的特点进行了分析,提出了一种基于网络爬虫与页面代码行为的动态检测方法.实验结果表明,提出的方法在节省人力、时间成本与漏洞检测方面有较好的表现.     

Web应用中XSS攻击的分析和防御

随着Web应用在互联网中的迅速发展,出现了大量的Web安全漏洞,其中最为突出的是跨站脚本（XSS）漏洞攻击.为了对Web应用中的XSS漏洞进行有效的检测和防御,通过分析XSS漏洞的特征及原理,总结出产生该漏洞攻击的几大主要原因,结合目前常用漏洞检测方法提出几种XSS漏洞攻击的防御方法,可有效识别和防范XSS漏洞攻击,对Web应用具有较高的实用性.     

基于指令集随机化的XSS检测和防御系统

针对Web遭受跨站脚本攻击越来越严重的问题,设计了一个基于指令集随机化的服务器端XSS检测和防御模型,并在PhpBB网络论坛系统中进行了实现,通过对实验结果的分析可知,本系统可以很好地检测和防御反射型XSS攻击和存储型XSS攻击,同时能检测和防御因网络或操作系统层漏洞导致的网页篡改和网页挂马等恶意攻击行为。     

基于网络爬虫的跨站检测改进方法研究

跨站攻击通常产生在用户与动态网站交互的输入接口,用于危害网络计算机系统安全和窃取用户隐私。为了防止这种攻击可采用基于网络爬虫的跨站检测方法,对于用户访问的网站进行检测,查看是否具有跨站漏洞或恶意代码。通过对现有跨站漏洞检测工具的工作原理及性能的分析,提出一种基于词汇动态加权重组的跨站漏洞检测方法,称为LDWR-XD。该方法在网页抓取,攻击代码检测等模块比以往工具都有明显的改进。最后,对系统的测试结果表明,系统具有一定的可行性与实用性。     

基于网络爬虫的教学系统恶意篡改检测系统设计

针对传统的教学系统恶意篡改检测系统存在的误报率较高的问题,开展了基于网络爬虫的教学系统恶意篡改检测系统的设计.通过对硬件设备的合理选择,设计检测系统中用户注册、登陆页面,将系统中功能模块划分成数据收集、存储模块及网络爬虫调度模块三个模块,设计网络爬虫模块的工作流程.将软件模块中收集的用户信息及网页关键数据按照不同结构分配至数据库中不同表中.采用对比实验,验证文章设计的检测系统具备的有效性,提升教学系统在应用过程中的安全性.     

针对XSS攻击的监控预警系统

XSS,即跨站脚本攻击(Cross Site Script)是Web程序中最常见的漏洞之一,针对XSS攻击众多学者也提出了许多检测与防御方法。文中试着从一个新的角度,借助HTML5的一些新特性,提出一套纯前端脚本实现的在线预警系统,在可疑XSS攻击发生时能及时修复漏洞。在文章最后,还将该系统与HTML5自身的XSS解决方案CSP(Content Security Policy)进行对比,分析其优劣。     

XSS攻击分析与防御机制研究

XSS(跨站脚本)漏洞是一种Web应用程序安全漏洞,常被黑客用来对Web用户发起攻击。本文主要介绍了XXS漏洞产生原理,分析了XXS攻击的三种类型,然后针对XSS攻击的防御方法进行了介绍,主要介绍了基于特征的防御、基于代码修改的防御和客户端分层防御三种防御方法,最后简要介绍了XSS防御的发展趋势。     

应用程序漏洞类型的分布情况

网络应用程序中的总体流行度 在网络应用程序中,按总体发生率来计算,跨站脚本（XSS）仍然是最为流行的漏洞类型,占数据集中所有漏洞的57％,比前期提高了4％.排在XSS之后的3个漏洞类型：回车/换行注入、信息泄漏和SQL注入的排名情况与过去3期报告相比稍有改变.回车/换行注入和信息泄漏互换了位置,而SQL注入取代加密问题排在了第4位.然而,所有这些改变都是小幅度的,而且影响也较小,如下图所示.     

大数据时代的反爬虫系统应用研究

当前网络技术的应用在给人们带来巨大便利的同时,也让人们处在网络安全隐患威胁当中。尤其是随着计算机技术和网络技术应用范围的不断扩大,网络安全方面存在的漏洞越来越多。在大数据时代,为了满足人们从互联网上快速、便捷地获取信息的需求但不被恶意应用,反爬虫系统能够在网络安全维护方面起到十分积极的作用。鉴于此,对大数据时代的数据爬取问题进行了分析,并对如何解决恶意爬虫进行了分析和探讨。     

基于大数据技术的片上网络静态漏洞检测系统研究

为减轻静态漏洞体对计算机片上网络造成的序列化运行危害,设计一种基于大数据技术的片上网络静态漏洞检测系统。利用Hadoop检测框架,定向规划片上网络漏洞处理模块、静态漏洞评估模块的物理运行位置,实现新型检测系统的硬件运行环境搭建。在此基础上,采集漏洞信息的入侵行为,并以此为标准编写大数据检测函数,在相关组织设备的促进下,构建片上网络的静态漏洞行为链,实现新型检测系统的软件运行环境搭建。结合基础硬件条件,完成基于大数据技术的片上网络静态漏洞检测系统研究。对比实验结果显示,与hook系统相比,应用新型漏洞检测系统后,计算机片上网络的平均容错率达到90%,单位时间内出现的漏洞总量不超过3.0×109TB,序列化运行危害得到有效缓解。     

基于云平台的通信漏洞检测方法研究

网络的不安全性给社会带来了不良的影响,甚至威胁到用户使用的稳定性,对网络进行有效的评估和预防至关重要,传统漏洞检测方法很难满足当前社会的需要,针对此背景提出基于云平台的通信漏洞检测方法研究,对其进行实验分析,经过试验验证、与传统检测方法进行对比,证明检测方法符合规定的要求。     

主流开源爬虫框架比较与分析

网络爬虫是搜索引擎与信息检索的基础工具,在信息采集、信息过滤等场景中有着广泛的应用。本文首先介绍了URL链接库、文档内容模块、文档解析模块等爬虫基础概念,然后对比分析了Nutch、Heritrix、Larbin、Scrapy等主流开源爬虫框架。     

基于Libra爬虫技术的Web漏洞检测方法研究

在互联网时代,Web服务涉及到用户生活、工作及学习等各个领域,如果不能够有效检测和修补漏洞,广大用户将面临多类潜在安全威胁。在讨论Libra爬虫技术优点的基础上,对如何运用该技术检测Web漏洞进行分析,结果表明:通过构建完善URL列表以及攻击向量生成库,爬取效率和准确率都可得到保障;Libra爬虫技术可以对Web操作行为进行动态抓取,从而改善漏洞检测效果。对改善Web漏洞修补效率、提升Web产品用户体验有一定参考价值。     

一种分布式的跨站脚本漏洞检测方法

针对现有的跨站脚本检测技术尚未对漏洞注入点进行充分研究,且漏洞检测率相对较低的问题,为了提升检测效果,提出一种基于分布式系统的跨站脚本动态检测方法。通过综合考虑字符串长度、字符类型等因素对攻击向量进行了分类与变形,根据输入点、输出点类型自动生成攻击向量与合法向量。采用基于PhantomJS的网络爬虫对网站进行更为全面的漏洞注入点分析,并使用Gearman来实现分布式任务调度,提高检测效率。采用PHP语言设计并实现了分布式自动化跨站脚本检测系统,进一步通过实验和其他相关工具对比分析,表明所提方法能够有效挖掘出Web应用中的跨站脚本漏洞。     

一种爬虫监控系统的设计与实现

随着互联网爆炸式的发展,网络爬虫的重要性越来越重要.一个搜索引擎搜索结果的数量以及质量在一定程度上取决于网络爬虫爬取结果的质量,而如何能更好的组织这些爬虫也成了一件能影响爬虫效率的事情.随着在服务器上部署爬虫的增加,对一个能够有效管理爬虫监控系统的需求也就越来越紧迫.本文对爬虫监控系统的设计和实现将会给爬虫的管理带来很大的方便.     

基于云平台的分布式高性能网络爬虫的研究与设计

随着大数据时代的到来,数据成为最宝贵的资源,而网络爬虫技术作为外部数据采集的重要手段,已然成为数据分析的标配.介绍了一种高性能、灵活和便捷的基于云平台的爬虫架构设计和实现.从爬虫的整体架构、分布式设计以及各模块的设计等角度进行了详细的阐述.爬虫各模块用Docker封装,Kubernetes做集群的资源调度和管理,在性能优化上采用了MD5去重树算法、DNS优化和异步I/O等多种策略组合的形式.实验表明,对比未优化的方案,爬虫在性能上具有较明显的优势.     

Web安全问答（6）

问：网站被XSS攻击了,该怎么办？答：XSS攻击可以让黑客获得攻击任意一个访问受害网站页面的用户,虽然不直接危害网站的安全,但一方面影响网站声誉,另一方面如果网站管理者误访问恶意页面,也有权限泄漏的可能。如果确认网站被XSS攻击,首先要将黑客添加的恶意脚本清除,其次需要针对这些存在XSS漏洞的地方进行源码级修改或采用专业的安全硬件产品如入侵防御产品。     

基于Nutch的分布式爬虫的优化研究

网络爬虫是互联网运行服务的重要组成部分,并为整个互联网、企业内部网和大型门户网站提供搜索和索引.为解决现有爬虫方法在效率方面的问题,本文介绍了Nutch分布式爬虫工作流程及机制,通过分析Hadoop下的Nutch网络爬虫,在Nutch分布式爬虫的参数方面、Hadoop的I/O模型和Nutch分布式爬虫小文件问题三个方面做了相关优化.实验结果表明,优化后的网络爬虫能更有效的爬取网络资源,能在较大程度上提升网络爬虫效率.     

一种分布式的舆情分析系统架构

随着互联网数据的快速增长,针对如何对互联网数据进行有效的收集和分析,提出一种基于分布式平台的系统架构。该架构包括爬虫模块、Web模块以及分布式平台三大模块,其中爬虫模块负责数据的收集,Web模块负责简单任务的处理以及分析结果的可视化展示,分布式平台提供数据的存储以及复杂任务的计算功能,3个模块的结合为网络上海量数据的爬取、存储与分析提供了一个很好的解决方案。最后,针对社交网站新浪微博的应用案例验证了该分布式舆情分析系统架构的可用性。