基于随机相遇的频繁项集挖掘方法

频繁项集挖掘是关联规则挖掘的重要内容,而现有的频繁项集挖掘算法在数据库扫描和复杂数据结构构建方面消耗过多的时间,效率较低。为克服现有频繁项集挖掘算法的不足,提出了基于随机相遇的频繁项集挖掘算法。在随机相遇过程中,不断从原始事务集中随机挑选两条事务,将其交集作为新事务集中的元素,通过计算新事务集中最小支持度与原事务集中最小支持度的关系,将在原事务集上的频繁项集挖掘转化为在新事务集上的频繁项集挖掘,算法的时间复杂度和空间复杂度大大降低。由于随机样本蕴含原始数据集的主要统计特性,新事务集具有原事务集的统计特性,通过调整参数,算法在新事物集上挖掘结果的准确度可以得到保证。并利用一个零售超市的交易数据对该算法的有效性进行了测试。测试结果表明,该算法能将挖掘速度提升数十倍,同时挖掘结果的准确度和其它算法相差不大。     

一种基于标签传播的重叠社区发现算法

针对COPRA算法因在标签更新过程采用随机策略而导致的重叠社区划分结果不稳定问题,本文对COPRA算法进行了改进,提出了一种简单的重叠社区发现算法.该算法仍采用同步的方式传播标签,但只在以边缘节点为中心的桥梁节点群内进行标签传播,以此提升发现重叠社区的速度.该算法还引入了节点连接社区强度,利用其降低标签更新过程中的随机...     

同构Hadoop环境作业执行时间计算方法

执行时间是作业调度的重要参考因素之一。通过分析Hadoop MapReduce环境作业的执行特征,提出了以map任务和reduce任务执行时间为输入,估算作业执行时间的方法。该方法在一定假设条件下,借助作业预执行来获取map任务和reduce任务的执行时间。实验结果表明,该方法估算作业执行时间的误差率小于7%。     

基于相干性的多聚焦图像融合算法

为提高多聚焦图像的融合效果,提出一种基于相干性的融合算法。该算法对源图像进行离散小波变换,利用高频小波系数构造结构张量矩阵,通过矩阵特征值定义反映局部几何信息的相干性并建立融合策略。实验结果表明,该算法得到的融合图像在主观视觉效果和客观量化指标方面均有良好的表现,提高了融合的视觉效果。     

基于用户池的网格资源管理模型的研究及应用

本文提出了基于用户池的网格资源管理模型。用户池运行在资源端．它可以容纳若干用户代理,并负责协调多个用户代理对资源的使用。该模型在资源和用户之间构建了一条数据虚通道,负责用户和资源的实时交互和数据传输。     

Spark下BP神经网络并行化算法研究

BP算法(反向传播算法)以其良好的非线性逼近能力、泛化能力以及实用性成为了人工神经网络训练算法中应用最为广泛的算法.但同时使用BP算法又存在收敛速度较慢、易陷入局部极小值等问题.为了将BP算法用于大规模数据分类问题,采用MapReduce思想,将大数据集切分成若干小的数据集来并行加速处理,同时引入Bagging算法的思想来综合并行结果,提高分类的准确率.通过在各个节点上根据子数据集独立地训练各个BP神经网络,直至各网络收敛,再将各节点上的网络收集起来进行集成,形成最终的分类器.基于Spark平台的实验表明,本文提出的算法具有良好的并行加速性能,且具有较高的分类准确率.     

一种优化的标签传播方法

社区发现是复杂网络分析领域的一项重要研究内容,而标签传播算法因在分析复杂网络时具有时间复杂度低等优点,获得广泛关注.但标签传播算法中的随机策略降低社区划分结果的稳定性和效率.为解决随机策略引起的问题,提出了一种优化的标签传播方法.该方法引入标签权重,并与标签一起组成二元组,根据标签二元组、节点间的联系度等因素为节点分配初始化标签;同时,在标签传播过程中,根据节点间的联系度等因素进行标签更新.实验结果证明了该方法的有效性和有用性.     

决策树C4.5算法的优化与应用

C4.5算法作为目前最具影响力的决策树分类算法,仍存一些不足之处。针对C4.5算法在对连续值属性离散化处理过程中比较耗时的缺点,基于Fayyad和Irani的边界定理,在连续属性离散化之后使用Gini指标代替信息熵对算法进行了化简。针对决策树算法中的过度拟合问题,基于Occam’s razor,采用再带入估计,对算法进行了改进。将上述思想应用于金融借贷数据,实验结果表明,改进的C4.5算法在保证准确率的前提下,执行时间平均降低8.74%,模型复杂度平均降低6.26%,表明了该算法的有效性。     

Hadoop作业执行时间在线计算方法

在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在Hadoop-0.20.2中实现,并在一个包含19个节点的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2%.     

VIG2．0映射构建的实现

本文从资源获取、数据重组和建模、图形化映射构建界面以及从图形中抽取映射值等方面介绍了VIG2．0中映射构建模块的实现。在资源获取过程中，采用三阶段资源获取方法；在图形化界面的设计中，采用了数据和显示模式分离的方法。