特殊网络通信行为的数据挖掘与分析

为了挖掘可疑通信的行为模式,定位发生了可疑通信行为的上网账户,本文首先分析了可疑通信行为特点。然后针对已有关联规则挖掘算法不能同时满足多层次数据挖掘和加权关联规则挖掘的问题,分析对比两种典型的基本关联规则算法,以FP-tree为基础,提出了ML-WFP多层次加权关联规则挖掘算法。针对算法中数据项权重的确定问题,由用户设置数据项间的重要性比较关系,借鉴模糊一致矩阵的概念,利用模糊层次分析法计算数据项的权重。最后将该算法应用于可疑通信行为的挖掘。实验测试结果表明可疑通信行为挖掘方案合理有效。     

基于Apriori算法的协同过滤算法改进研究

针对协同过滤算法推荐结果存在受噪音数据影响严重的问题,提出了一种基于用户项目间的关联规则集的协同过滤算法.利用经典的Apriori算法进行频繁项集合关联规则集的挖掘,利用挖掘的关联规则集进行用户间的相似度计算,相比于pearson相似等方法,基于关联规则集相似可以提高改进算法对噪音数据的抵抗力,最后进行最近邻居集计算并产生更适合用户的推荐结果.改进算法和传统算法在MovieLens数据集上的实验表明,基于Apriori算法的协同过滤算法较传统算法进一步提高了推荐准度和覆盖率.     

空间关联规则的增量维护

为了得到有趣且有效的空间关联规则通常需要多次执行挖掘操作,可以使用增量维护算法来提高挖掘效率。然而,能够直接使用空间数据的关联规则增量更新算法尚属空白。为解决这一问题,对挖掘阈值改变和空间数据集更新后通过筛选或增量挖掘等方法实现规则维护的策略进行了分析,并提出适用于支持度阈值减小和空间图层增加这两类情况的增量挖掘算法——ISA。ISA算法不依赖于空间事务表的构建与更新,可以直接使用空间图层作为输入数据。在基于实际数据的实验中,采用ISA算法所得结果与类Apriori算法一致,耗时则相对缩短20.0%至71.0%;此外,对1372772条规则进行了基于筛选的更新,耗时低于0.1s。实验结果表明,所提出的空间关联规则增量维护策略和算法是可行、正确且高效的。     

基于相似度和信任度的关联规则微博好友推荐

针对关联规则个性化好友推荐中规则挖掘效率及推荐有效性不高的问题,首先提出基于散列及位图的改进关联规则算法BHA。该算法通过引入散列技术,减少了频繁2项集挖掘所需的时间;利用位图及相关性质,压缩无关候选项,减少了数据集所需的遍历次数。另外,在BHA的基础上,提出基于相似度及信任度的推荐算法STA,利用出、入相似度定义信任度,有效解决了新浪微博未提供显示信任关系的问题,同时弥补了相似度推荐未考虑用户间远近层次关系的缺陷。采集新浪微博用户数据进行实验,在关联规则挖掘效率的对比上,BHA挖掘所需的平均时间仅为改进AprioiriTid算法的47%;在好友推荐的有效性上,推荐算法STA较SNFRBOAR算法在准确率及召回率上分别提升了15.2%和9.8%。实验结果表明,STA能够有效降低规则挖掘所需的平均时间,并使实际好友推荐的有效性得到提升。     

基于扩展自然序树的概化关联规则增量挖掘方法

概化关联规则挖掘作为数据挖掘领域一个重要的拓展性研究课题,首先提出了一种概化扩展自然序树(generalized extended canonical-order tree,GECT)结构及其增量挖掘算法GECT-IM.该算法对原始分类事务数据库只扫描一次,就可以将所有交易信息映射至一棵压缩格式的GECT,然后通过对更新交易数据集扫描得到更新数据集中各项集的计数,结合相关性质及运算就可以发现大部分更新后的概化频繁项集;其次,针对GECT规模较大以及GECT-IM 算法仍然可能需要遍历初始GECT树的局限,在界定数据库更新和重构概念的基础上,基于一种可量化度量的准最小支持度阈值,提出了一种改进的准频繁概化扩展自然序树(pre-large generalized extended canonical-order tree,PGECT)结构及其增量挖掘算法PGECT-IM.由于有效避免了对初始GECT进行遍历的情形,从而进一步提升了概化关联规则增量挖掘效率.实验证明,提出的概化关联规则增量挖掘算法 GECT-IM 及其优化算法PGECT-IM,比现有增量挖掘算法具有更高的挖掘效率和更好的扩展性.     

加权增量关联规则挖掘在通信告警预测中的应用

针对通信网络告警预测中预测精度不高、模型训练效率较低等缺陷,提出告警权值确定方法和基于自然序树（Can-tree）的加权增量关联规则挖掘的通信网络告警预测方案。首先,对告警数据进行预处理,确定告警数据权值并压缩到Can-tree结构中;其次,应用增量关联规则挖掘算法对Can-tree进行挖掘,生成告警关联规则;最后,使用模式匹配的方法对实时告警信息进行预测,并对结果进行优化整理。实验结果表明,基于Can-tree的加权增量关联规则挖掘算法是高效的,利用前次挖掘的结果和信息提高了挖掘的效率,网络告警数据的权值分配方案能够合理地区分告警数据的重要程度,有助于将重要程度高的告警关联规则挖掘出来,并加快过时告警关联规则的淘汰,提高预测的准确度和精度。     

Apriori算法在DNS记录挖掘中的应用与研究

DNS访问记录体现了网络用户的访问意图,通过Apriori关联规则挖掘算法处理这些记录,生成关联规则用以发现网络用户的访问行为模式,从而满足用户识别、用户分析等应用需求。该文详细分析了Apriori关联规则挖掘算法,针对其不足进行改进,应用于DNS访问记录挖掘中,对产生的关联规则进行了分析,得到相关用户的一些访问行为模式。     

一种基于FP-树的最大频繁模式增量更新挖掘算法

挖掘关联规则是数据挖掘领域的一个重要研究方向,人们已经提出了许多用于发现数据库中关联规则的算法,但对关联规则的增量维护问题的研究较少.深入分析了增量更新情况,使用了目前较高效的最大频繁模式挖掘算法FP-Max,并对其进行改进.基本思想:①基于FP-树;②考虑了数据集中,数据增加情况下FP-树的更新;③对FP-Max算法进行改进来更新、维护已经挖掘出来的最大频繁模式.     

基于模糊日历约束的时序关联规则挖掘

基于日历约束的时序关联规则挖掘由于其实用性,越来越受到研究者的关注。由于现实中用户很难对时间模式进行精确描述,因此基于模糊日历的时序关联规则挖掘更有现实意义。借助模糊概念和模糊运算,对时间区间的描述很容易实现。对于用户指定的日历模式,不同的时间区间可根据它们的隶属度具有不同的权重。在模糊日历代数的基础上,结合增量挖掘和累进计数的思想,本文提出了一种基于模糊日历约束的关联规则挖掘方法,理论分析和实验结果均表明,该算法是高效可行的。     

基于加权关联规则的个性化推荐研究

关联规则是个性化推荐系统中最重要的技术手段之一.传统的基于关联规则的个性化推荐认为,每个项目都具有相同的重要性,在实际应用中缺乏一定的针对性.在New-Apriori算法的加权支持度基础上结合Fp-growth算法思想,提出了基于Fp-树的加权关联规则算法.在实验中采用网页被用户选择的频率作为权重值,在个性化推荐系统中对该算法进行了实现.实验结果表明该算法具有较高的准确性和效率.     

移动计算环境下远程用户体验数据挖掘方法研究

在移动计算环境下,通过对远程用户的体验数据优化挖掘,满足远程用户的个性化需求,提高对远程用户QoS服务质量;传统的数据挖掘方法采用显著特征关联信息提取算法,当远程用户体验数据之间的差异性特征不明显时,挖掘的准确性不好;提出一种基于关联用户自适应链路跟踪补偿的移动计算环境下远程用户体验数据挖掘模型,进行远程用户体验数据挖掘模型的总体设计和数据结构特征分析,对采集的远程用户体验数据进行非线性时间序列分解,对数据序列通过自相关特征匹配和特征压缩实现挖掘数据的指向性信息优化提取,采用关联用户自适应链路跟踪补偿方法实现对数据挖掘误差的控制和补偿,提高了数据挖掘的准确性和有效性;仿真结果表明,采用该挖掘方法进行移动计算环境下远程用户体验数据挖掘的准确度高,实时性较好,满足了移动远程用户的个性化需求,提高了对用户服务的针对性。     

综合社区与关联序列挖掘的电子政务推荐算法

个性化推荐作为一种有效的信息获取手段已成功应用于电商、音乐和电影等领域。已有研究多数聚焦于推荐的精度,缺乏对推荐结果的多样性考虑,忽略了应用领域中被推荐项目的流程特性（如"互联网+政务"中办事项的推荐）。为此提出一种综合用户社区与关联序列挖掘（CAS-UC）的电子政务推荐算法,优先向用户推送利益关联最大的办事项。首先,对用户和办事项的静态基本属性以及动态行为属性分别进行特征建模;其次,基于用户的历史办事记录和属性相似度进行用户社区发现,预筛选出与目标用户最为相似的用户集,提高推荐结果的多样性,减少核心推荐过程的计算量;最后,办事项的关联序列挖掘充分考虑了电子政务的业务特性,加入时间维度的办事项序列挖掘,进一步提高了推荐结果的精度。以芜湖市易户网为平台载体,基于Spark计算平台对用户脱敏后的信息进行仿真,实验结果表明,CAS-UC适用于被推荐项目具有序列或流程特性领域的推荐,与传统推荐算法如协同过滤推荐、矩阵分解以及基于语义相似度的推荐算法相比,具有更高的推荐精度,用户的多社区归属因素增加了推荐结果的多样性。     

基于改进关联规则算法的警情数据分析

针对传统Apriori算法挖掘警情数据的缺点，提出一种改进的Apriori算法。该算法首先在关联规则发现阶段引入权值参数，设计支持度阈值函数，以挖掘不常发生的重大案情发生规律；然后提出一种压缩矩阵优化算法，将数据压缩存储在只有0或1的矩阵中，并用2个数组来记录矩阵中每一行及每一列1的总数，可多次压缩矩阵，提升挖掘效率；最后将改进的算法用于实际的警情数据挖掘分析，给出关联规则挖掘结果。实验表明，改进算法不仅执行效率较传统算法有所提升，且针对警情数据的挖掘结果准确性也有所提高。     

动态特征选择算法对恶意行为检测的优化研究

针对互联网中存在的恶意行为,特别是社交网络应用中的在线恶意行为,通常使用基于用户多维特征的聚类分析算法进行检测.提出一种动态特征选择算法(DFSA),使用具有特征加权熵的模糊C均值目标函数,首先为参数构建一个学习模式,自动计算每个特征权重,并剔除权重小于阈值的特征,动态选择重要的特征,迭代地更新隶属函数、簇中心和特征权...     

基于情景感知与约束的移动用户序列行为研究

行为研究是为用户推送个性化服务的关键问题之一。针对移动环境下用户行为的情景敏感性,以及前一行为与后续行为之间的关联性、序列性特征,提出一种以情景感知和情景约束为基础的移动用户序列行为挖掘方法;实验表明了该方法在用户序列行为挖掘的有效性和准确性。     

基于实例加权方法的概念漂移问题研究

数据流上的漂移概念发现已成为数据挖掘领域的研究热点之一。针对存在概念漂移的数据流分类问题,提出一种基于实例加权方法的数据流分类算法（EWAMDS）,根据基分类器在训练实例上的分类结果调整该实例的权值,以增强漂移实例在新分类器中的影响,同时引入动态的权值修改因子以提高算法的适应性。实验结果表明,动态地调整实例的权值时算法的适应性更强;与weighted-bagging相比,EWAMDS的时间开销显著降低、分类正确率显著提高。     

基于用户偏好特征挖掘的个性化推荐算法

为了提升社交网络个性化推荐能力,结合用户行为分布进行个性化推荐设计,文中提出基于用户行为特征挖掘的个性化推荐算法,构建社交网络的用户行为信息特征挖掘模型,采用显著数据分块检测方法对社交网络用户特征的行为信息进行融合处理,提取反映用户偏好的语义信息特征量。从情感、关键词和结构等方面根据用户行为特征组,结合模糊信息感知方法进行社交网络个性化推荐过程中的信息融合处理,在关联规则约束控制下,构建社交网络用户偏好特征的混合推荐模型,实现用户偏好特征挖掘,根据语义分布和用户的行为偏好实现社交网络的个性化信息推荐。仿真结果表明,采用所提方法进行社交网络个性化推荐的特征分辨能力较好,对用户行为特征的准确识别能力较强,提高了社交网络推荐输出的准确性。     

面向用户的空间拓扑关联规则挖掘

在挖掘空间拓扑关联规则时,由于现有挖掘算法不能够提取满足用户特定需求的空间拓扑关联规则,若使用传统约束性关联规则挖掘算法,则存在大量的重复计算和冗余候选项;提出一种面向用户的空间拓扑关联规则挖掘算法,其适合在多空间关系模式下,挖掘满足用户特定需求的拓扑关联。该算法通过拓扑关系编码法将空间关系事务转换成整数,用非目标自由空间对象类的集合序列数值递增的方法,索引构建候选频繁项,并用布尔运算计算支持数。在挖掘满足用户特定需求的空间拓扑关联规则时,该算法是快速而有效的。     

Application of particle swarm optimization to association rule mining

In the area of association rule mining, most previous research had focused on improving computational efficiency. However, determination of the threshold values of support and confidence, which seriously affect the quality of association rule mining, is still under investigation. Thus, this study intends to propose a novel algorithm for association rule mining in order to improve computational efficiency as well as to automatically determine suitable threshold values. The particle swarm optimization algorithm first searches for the optimum fitness value of each particle and then finds corresponding support and confidence as minimal threshold values after the data are transformed into binary values. The proposed method is verified by applying the FoodMart2000 database of Microsoft SQL Server 2000 and compared with a genetic algorithm. The results indicate that the particle swarm optimization algorithm really can suggest suitable threshold values and obtain quality rules. In addition, a real-world stock market database is employed to mine association rules to measure investment behavior and stock category purchasing. The computational results are also very promising.