基于Java7语言提取网站内部URL的算法

对于一个网站的信息检索或者是拓扑结构研究,首要的问题就是提取整个网站内部的URL.本文给出了一种实用有效的提取网站内部URL的方法.     

基于异常特征的钓鱼网站URL检测技术

典型的网络钓鱼是采用群发垃圾邮件,欺骗用户点击钓鱼网站URL地址,登录并输入个人机密信息的一种攻击手段。文章通过分析钓鱼网站URL地址的结构和词汇特征,提出一种基于异常特征的钓鱼网站URL检测方法。抽取钓鱼网站URL地址中4个结构特征、8个词汇特征,组成12个特征的特征向量,用SVM进行训练和分类。对PhishTank上7291条钓鱼网站URL分类实验,检测出7134条钓鱼网站URL,准确率达到97.85%。     

基于数据挖掘的钓鱼网站URL预测研究

钓鱼网站的主要手段是采用群发垃圾文件,欺骗用户在钓鱼网站URL地址,登陆并输入个人机密信息的一种攻击手段。本文通过分析钓鱼网站URL地址的结构和词汇特征,对出现异常的钓鱼网站URL进行预测。将钓鱼网站URL地址中抽取的结构特征,词汇特征等,采用数据挖掘的方法进行预测。本文使用四种分类算法,决策树、随机森林、KNN、SVM算法对数据进行分类预测。     

基于用户HTTP行为分析的网站分类研究

为了降低网站分类处理的计算量和使分类结果能够反映用户的行为规律,将URL前缀相同的网页合并为一个处理单位,并从用户的HTTP访问行为中提取用于网站分类的特征,最后针对省级区域性网络数据规模大的特点,采用可伸缩性决策树算法,从河南省教育科研计算机网用户访问的网站中提取出新闻类网站、资源共享类网站和通讯类网站.该方法与传统的网站分类方法相比,不需要逐个分析网页内容,适合处理大规模数据.     

基于贝叶斯和支持向量机的钓鱼网站检测方法

随着电子商务和在线交易的不断发展,钓鱼网站已成为目前最难处理的网络安全难题之一。提出了一种基于贝叶斯和不平衡支持向量机的钓鱼网站检测方法,首先提取待检测网站的URL特征,采用改进贝叶斯方法进行分类检测,如果不能明确分类,则提取该网站的页面特征,并采用不平衡支持向量机方法进行分类检测。实验结果表明,与现有方法相比,方法所需的检测时间少且能达到较高的检测准确度。     

基于URL特征检测的违法网站识别方法

为高效识别违法网站,提出一种基于URL特征检测的识别方法。基于报文请求行信息中用户访问路径的分级特点,构建基于路径相似度的网站相似度计算模型,并使用Python编程语言实现模型的分布式计算。采用Fast Unfolding算法进行网站聚类并抽取违法网站的URL特征,从中筛选出准确率高、具有特定含义的特征作为有效的违法网站特征,并通过检测未知网站是否具有违法网站的URL特征识别出违法网站。实验结果证明,该方法能有效度量同类网站间的关联程度,结合Fast Unfolding算法能有效区分不同类型的网站。与基于URL词法特征、HTM L、语义特征的违法网站识别方法相比,其F-M easure值最高。     

基于非对称资源消耗的应用层攻击方法

通过网络爬虫技术分析目标Web网站页面信息,提取其中消耗Web服务器资源较大网页的URL特征,并据此生成攻击URL集;利用正常用户访问行为训练得到访问行为模型参数,根据参数模拟用户访问,并实现攻击总强度弱、但单次攻击请求即能引起目标服务器较大资源消耗的攻击。实验结果显示了该方法的可行性。     

用ASP.NET实现URL重写

阐述了URL重写（URL Rewriting）的用处：使URL简单易记，防止黑客攻击，满足搜索引擎需要，提高网站可移植性，防止盗链，使URL支持“可删节”的需求。分析了ASP．NET实现URL重写的机制，并重点论述了用ASP．NET进行URL重写的技术实现。     

基于AdaCostBoost算法的网络钓鱼检测

针对日益严重的网络钓鱼攻击, 提出机器学习的方法进行钓鱼网站的检测和判断. 首先, 根据URL提取敏感特征, 然后, 采用AdaBoost算法进行训练出分类器, 再用训练好的分类器对未知URL检测识别. 最后, 针对非平衡代价问题, 采用了改进后的AdaBoost算法--AdaCostBoost, 加入代价因子的计算. 实验结果表明, 文中提出的网络钓鱼检测方法, 具有较优的检测性能.     

基于半脆弱水印的网络钓鱼主动防御技术

文章以复制著名站点的钓鱼网站为对象,基于半脆弱水印提出一种新的网络钓鱼主动防御技术,将融合域名、URL、Logo等网站身份特征的半脆弱水印,利用等价标记算法嵌入在网页中;检测时,比较可疑网站产生的水印与提取的水印,当两者不一致,可疑网站为钓鱼网站。文章首先分析主动防御的有效性,并验证融合网站特征的半脆弱水印性能。模拟网络钓鱼攻击实验表明,该方法能有效地检测出钓鱼者通过下载合法网站网页,进行少量修改后的钓鱼网站.     

Web安全测试中URL参数重写检测框架

Web站点中URL参数重写会对Web安全测试的准确性造成较大影响。针对该问题,设计URL参数重写检测框架,构造多个测试URL并提交请求,通过基于3种差异分析方法的随机URL取样验证策略,识别出URL中的伪路径,从而提取重写规则、并实现URL参数重写检测。应用C#语言实现的URL参数重写检测爬虫验证了该框架的有效性。     

拒绝复杂网址—简化URL

简化URL,就是将复杂的长域名进行简化,便于记忆和使用。系统会自动将简化的域名翻译成实际的域名,并自动重定向到真实的URL页面上。 首先进入http://makeashorterlink.com/这个网站。 网站的界面很简单(如图1)。     

基于异构图神经网络的半监督网站主题分类

互联网网站数量快速增长使现有方法难以准确分类特定网站主题,如基于URL的方法无法处理未反映在URL中的主题信息,基于网页内容的方法受到数据稀疏性和语义关系捕捉的限制。为此,提出一种基于异构图神经网络的半监督网站主题分类方法HGNN-SWT。该方法不仅利用网站文本特征来弥补仅使用URL特征的不足,还利用异构图对网站文本和词语的稀疏关系进行建模,通过处理图中的节点和边关系来提高分类性能。同时引入基于随机游走的邻居节点采样方法,考虑节点的局部特征和全局图结构,并提出特征融合策略,捕捉网站文本数据的上下文关系和特征交互。通过在自制的Chinaz Website数据集上的实验,证明了HGNN-SWT方法在网站主题分类任务中相较于现有方法具有更高的准确率。     

基于字符串随机率特征和随机森林算法的改进钓鱼网站检测系统

本文结合URL字符串随机率和URL字符特征，通过Wrapper方法筛选出一组新特征。通过对比不同机器学习算法的准确率，回归率等四个不同的指标，确定以随机森林算法构建了基于URL随机率和随机森林的钓鱼网站检测系统。本系统在实验测试集上表现出的准确率为96.49%，在全体实验数据集上表现的准确率为99.19%。实验相关结果表明，方案改进了钓鱼网站检测的准确率。     

一种快速的基于URL的垃圾邮件过滤系统

垃圾邮件是当前Internet上关注一个焦点问题,随着垃圾邮件的伪装技术的不断更新,以前主要的几种垃圾邮件过滤技术面临着新的挑战。针对目前垃圾邮件大都含有要宣传网站的URL地址的特点,我们构建了一个基于URL的垃圾邮件过滤系统,通过查询邮件中是否含有URL黑名单中的URL地址,来识别垃圾邮件。在URL地址查询过程中,采用Hplf散列函数来加速查询。通过试验测试,该系统能有效地减少垃圾邮件的数量。     

基于URL主题的查询分类方法

互联网上很多资源蕴含人类群体智慧.分类网站目录人工地对网站按照主题进行组织.基于网站目录中具有主题标注的URL设计URL主题分类器,结合伪相关反馈技术以及搜索引擎查询日志,提出了自动、快速、有效的查询主题分类方法.具体地,方法为2种策略的结合.策略1通过计算搜索结果中URL的主题分布预测查询主题,策略2基于查询日志点击关系,利用具有主题标注的URL,对查询进行标注获取数据并训练统计分类器预测查询主题.实验表明,方法可获得比当前最好算法更好的准确率,更好的在线处理效率并且可基于查询日志自动获取训练数据,具有良好的可扩展性.     

网站信息采集器

简单分析了一般网站的信息显示方式，针对没有COOKIES和SESSIONS验证的网站．提出了一种采用直接通过URL地址获取信息的方法。     

基于数字校园URL书签应用的设计与实现

为了解决传统的网络书签应用依赖于特定的浏览器以及安全存取问题,根据校园网结构和运行特点,提出了URL书签应用的实现模型。通过在客户端守护进程中非混杂模式捕获数据包的方法解决了提取URL时浏览器的多样性问题,并通过分析HTTP协议规范提出了用户访问Web页时完整URL的提取算法。最后说明了通过用户注册实现URL书签C/S应用的存取方法。     

URL重写技术在动态网站优化中的应用研究

本文分析了动态URL地址在搜索引擎收录方面存在的问题,提出了URL地址重写的优化方案。文中探讨了ISAPI_Rewrite组件进行重写的应用,并给出了解决重写导致的事件回传错误的方法。设计了一个用于生成静态地址的URL地址工厂类,实现了网站中所有的动态地址的统一转换。     

基于威胁情报平台的恶意URL检测研究

互联网应用已经渗透到人们日常生活的方方面面,恶意URL防不胜防,给人们的财产和隐私带来了严重威胁。当前主流的防御方法主要依靠黑名单机制, 难以检测 黑名单以外的URL。因此,引入机器学习来优化恶意URL检测是一个主要的研究方向,但其主要受限于URL的短文本特性,导致提取的特征单一,从而使得检测效果较差。针对上述挑战,设计了一个基于威胁情报平台的恶意URL检测系统。该系统针对URL字符串提取了结构特征、情报特征和敏感词特征3类特征来训练分类器,然后采用多分类器投票机制来判断类别,并实现威胁情报的自动更新。实验结果表明,该方法对恶意URL进行检测 的准确率 达到了96%以上。