基于关联规则的Web日志数据分析系统

本文旨在研究基于Web环境下利用关联规则对Web日志挖掘的数据分析系统。把关联规则的概念引入到Web日志挖掘中,将用户的访问路径以关联规则的形式表现出来,其目的在于从用户访问超文本系统的行为中发现用户的访问模式。然后在Apriori挖掘算法思想的基础上,对其改造,给出了适合挖掘用户访问频繁路径的类Apriori算法。最后设计开发了一个Web日志数据分析系统。此系统主要包含三个功能模块:数据预处理模块、智能分析模块和基本分析模块     

基于Web日志文件的关联规则挖掘模块的实现

在对Web应用挖掘的基本步骤作系统性研究的基础上,设计了一个基于Web日志文件的关联规则挖掘模块。该系统应能够对用户访问Web时服务器方留下的访问记录进行挖掘,从中得出用户的访问模式和访问兴趣。为了识别用户浏览模式,实现了利用关联规则挖掘算法Apriori对Web应用挖掘过程中预处理阶段所产生的用户会话文件进行挖掘的模块,该模块针对用户选定的若干页面产生满足最小支持度和最小置信度的页面之间的强关联规则,并以文本的形式显示挖掘的结果。     

基于关联规则的Web日志数据分析系统

本文旨在研究基于Web环境下利用关联规则对Web日志挖掘的数据分析系统。把关联规则的概念引入到web日志挖掘中,将用户的访问路径以关联规则的形式表现出来,其目的在于从用户访问超文本系统的行为中发现用户的访问模式。然后在砷riori挖掘算法思想的基础上,对其改造,给出了适合挖掘用户访问频繁路径的类Apriori算法。最后设计开发了一个Web日志数据分析系统。此系统主要包含三个功能模块：数据预处理模块、智能分析模块和基本分析模块     

基于筛选压缩的类Apriori算法的研究

该文根据用户的Web访问路径应用关联规则和类Apriori算法挖掘出该用户的频繁访问路径,通过对Apriori算法和目前针对提高该算法效率的各种优化技术的详细分析和研究,对类Apriori算法进行了改进,提出了基于筛选压缩的类Apriori挖掘算法,并进行了模拟实验,比较结果显示基于筛选压缩的类Apriori挖掘算法挖掘用户频繁遍历路径的效率高于类Apriori算法,最终可获取用户的频繁遍历路径。     

面向Web关联规则挖掘的快速Apriori算法

本文通过对Web日志的处理,应用关联规则方法对用户访问行为进行挖掘,来发现资源间的关联性.通过对Apriori方法的分析,运用对事务集和候选项目集有效约减的方法,提出了基于Apriori算法的改进的快速Web资源关联规则挖掘算法FApriori方法.通过对KDDcup2000数据的验证,证明算法的有效性和正确性.     

基于Apriori算法的网络取证设计

传统的计算机取证在事后收集证据,证据的法律效率低.网络取证把入侵发生后的被动调查转为事件发生之前的主动防御.基于Apriori算法的网络取证系统挖掘各种犯罪事件的关联,建立犯罪特征库.系统在获取、过滤网络数据包后,对原始数据进行协议分析,挖掘数据包间的关联信息,提取关联规则记录,再根据当前用户行为记录与犯罪特征规则的匹配结果来判定当前用户行为是否非法.为保证证据更具有原始性、完整性和法律效率,系统对获得原始数据进行加密传输,使用基于SSL的加密认证安全设计,防止证据泄露和被伪造.模拟实验表明,Apriori算法的应用提高了非法入侵检测效率,可识别新的犯罪行为,系统完整地重构犯罪过程.     

基于关联规则的日志分析系统的研究与设计

日志文件作为系统和网络用户行为的记录管理工具,对保护系统安全,方便调查系统故障,监控系统运行状况起着极其重要的作用。该文提出了一个基于关联规则的日志分析系统,将数据挖掘技术运用在日志分析中,并针对挖掘的数据特点对Apriori算法进行了改进。日志分析系统可以利用关联规则对日志进行分析获取其中所蕴合的重要信息。     

网络访问行为关联规则提取的研究与设计

首先介绍了用户网络访问行为分析系统的框架,然后针对系统需要解决的提取用户访问模式信息中的多维多值关联规则的问题,对传统的关联规则挖掘方法进行了扩充和改进.改进后的方法能够结合系统设计的属性参数及概念划分要求,提取有价值的关联规则,有效反映用户的访问行为模式.     

基于灰色关联分析的Apriori算法的研究及应用

关联分析是一种重要的数据挖掘技术。本文结合房地产行业的特点,将关联分析方法应用于对消费者购房行为的研究中。传统的关联规则挖掘算法——Apriori算法在实际应用中存在着计算量大、挖掘效率低、产生大量不相关的关联规则等问题。为了减少计算量、提高挖掘效率、发现有价值的关联规则,提出了一种灰色关联度分析算法和Apriori算法结合的研究方法。首先采用灰色关联度分析算法得出影响消费者购房需求和偏好的关键因子,然后采用Apriori算法对关键因子和目标因子之间进行关联规则挖掘。以某市问卷调查的消费者信息记录进行建模,结果表明该关联分析方法具有较高的挖掘效率并且研究结果具有合理性和准确性。     

基于特定模式树的用户行为关联规则挖掘算法

Apriori算法是关联规则挖掘的通用算法,它能满足绝大多数的应用,但是在某些方面,如入侵检测中挖掘用户活动记录等具有特定模式的记录时,计算最大频繁集会产生大量冗余的、无趣的规则.论文在Apriori算法的基础上针对上述情况提出了一种基于特定模式树的算法,消除无趣项的产生,通过递归挖掘模式树获得最大频繁集.整个过程只需要扫描一次数据库,进一步提高了算法效率.     

正负关联规则挖掘在电子商务中的应用研究

如何根据用户当前的访问行为,预测他下一个感兴趣的商品,做出针对性的推荐成为电子商务的一个重要研究内容。文章提出了一种不需产生大量非频繁项集的关联规则挖掘算法,该算法利用相关性很好的改善了经典Apriori算法中存在大量冗余规则问题。最后通过实验证明了算法的有效性。     

基于规则约束制导的入侵检测研究

入侵特征值识别和发现算法是误用入侵检测中的关键技术。采用数据挖掘技术从主机和网络的数据中发现入侵特征值,建立入侵行为和正常行为规则库,已经广泛用于入侵检测技术中。针对数据挖掘中经典的Apriori和AprioriTid算法中存在项集生成瓶颈问题,提出了一种基于规则约束制导的Apriori算法,考虑到强规则事件并不一定是有趣事件并且大部分入侵行为都是基于已有入侵模式基础上变异得到,加入兴趣度约束和递减支持度约束。通过实验演示,结果表明该算法可大幅提高效率并在入侵检测漏报率上有很好的改善。     

一种基于IPV6的私网地址复用方案分析

随着移动互联网ctwap业务迅猛发展,原有的一个A类地址空间不能满足激增业务量的需要.针对私网地址紧缺现象,从而提出一种基于IPV 6的私网地址复用方案.该方案在AAA服务器上布署策略,通过ctwap用户复用10网段私网地址、私网DNS、综合承载网元进行NAT转换等技术手段,实现将复用的私网地址转换成能够跨省互访的本省地址,实现跨省互访.     

基于Hadoop的多维关联规则挖掘算法研究及应用

传统的Apriori算法要多次扫描数据集,随着数据量的快速增长,传统的Apriori算法已经不能很好地适用于大数据分析,针对该情况设计了IPApriori算法。首先通过剪枝策略设计了一种适用于多维数据的IApriori算法,再将IApriori算法与Hadoop分布式框架相结合,实现了多维关联规则挖掘算法的并行化。将IPApriori算法运用到手机用户行为预测关联分析中,分析影响手机用户行为的一些主要因素,挖掘出手机用户行为与年龄维度、性别维度、时间维度、地点维度和手机品牌维度属性之间可能存在的某种关联。最后通过实验证明,算法的并行化和建立结构的方法可以降低系统的I/O负荷,提高算法的执行效率。     

Towards personalized recommendation by two-step modified Apriori data mining algorithm

In this paper a new method towards automatic personalized recommendation based on the behavior of a single user in accordance with all other users in web-based information systems is introduced. The proposal applies a modified version of the well-known Apriori data mining algorithm to the log files of a web site (primarily, an e-commerce or an e-learning site) to help the users to the selection of the best user-tailored links. The paper mainly analyzes the process of discovering association rules in this kind of big repositories and of transforming them into user-adapted recommendations by the two-step modified Apriori technique, which may be described as follows. A first pass of the modified Apriori algorithm verifies the existence of association rules in order to obtain a new repository of transactions that reflect the observed rules. A second pass of the proposed Apriori mechanism aims in discovering the rules that are really inter-associated. This way the behavior of a user is not determined by “what he does” but by “how he does”. Furthermore, an efficient implementation has been performed to obtain results in real-time. As soon as a user closes his session in the web system, all data are recalculated to take the recent interaction into account for the next recommendations. Early results have shown that it is possible to run this model in web sites of medium size.     

面向主干网的DNS流量监测

面对ISP主干网,为了检测威胁其管理域内用户安全的僵尸网络、钓鱼网站以及垃圾邮件等恶意活动.本文实时监测流经主干网边界的DNS交互报文,并从域名的“依赖性”和“使用位置”两个方面刻画DNS活动行为模式,而后基于有监督的多分类器模型,提出一个面向ISP主干网的上层DNS活动监测算法DAOS（BinaryClassifier For DNS Activity Observation System）.其中“依赖性”从用户角度观察域名的外在使用情况,而“使用位置”则关注区域文件中记录的域名内部资源配置.实验结果表明,该算法在不依赖先验知识的前提下,经过两小时的DNS活动观测,可以达到90.5%的检测准确率,以及2.9%的假阳性和6.6%的假阴性.若持续观察一周,准确率可以上升到93.9%,假阳性和假阴性也可以下降到1.3%和4.8%.     

考虑多粒度属性约简的关联规则挖掘研究

大数据时代，人们获取所需信息的困难度提高，而数据挖掘是当下解决此问题的关键技术。Apriori算法作为数据挖掘中的常用算法，通过挖掘数据背后的潜在关联规则。考虑到传统Apriori算法执行过程中，数据扫描频繁、候选集获取繁琐等问题，提出采用加权Apriori算法，即将冗余记录存储一次，并将记录的重复次数占全部记录数的比值作为权重，压缩空间；采用二进制的布尔矩阵替代原有数据集，通过矩阵内部“与运算”，获取最大频繁集，降低时间复杂度。考虑到原始数据冗余性以及粗糙集属性约简的不精确性，在提取关联规则前，提出采用多粒度粗糙集的属性约简算法，通过知识粒度细化属性值来提高约简精度，降低空间复杂度。最后，将所提方法与基于频繁矩阵的Apriori算法以及原始Apriori算法进行比较，验证所提方法的实用性和有效性。     

将WEB挖掘技术应用于教学网站之实践

该文在研究Web挖掘系统、关联规则的基础上,提出了一种采用关联规则的方法解决网络拥塞问题,通过对服务器的访问日志进行挖掘,得到用户访问序列的关联规则,将这些规则应用到客户浏览,把用户随后最有可能访问的网页预先传送到用户本地,来提高访问速度。论述了该方法的实现方案、算法、运行的环境以及对该方法的分析。     

将WEB挖掘技术应用于教学网站之实践

该文在研究Web挖掘系统、关联规则的基础上,提出了一种采用关联规则的方法解决网络拥塞问题,通过对服务器的访问日志进行挖掘,得到用户访问序列的关联规则,将这些规则应用到客户浏览,把用户随后最有可能访问的网页预先传送到用户本地,来提高访问速度。论述了该方法的实现方案、算法、运行的环境以及对该方法的分析。     

多值属性关联规则挖掘的Q-Apriori算法

针对Apriori算法进行多值属性关联规则挖掘时效率低下的问题,提出量化Apriori算法.利用多值属性数据特点改变项集存储格式,采用类似矩阵的数据结构存储项集,提高遍历数据库时统计计数的速度,使用类似矩阵的加法运算改进连接操作,减少无效候选项集的产生.实验结果表明,相比Apriori算法,该算法执行效率有较大提高.