一种基于Spark的不确定数据集频繁模式挖掘算法

如何在海量不确定数据集中提高频繁模式挖掘性能是目前研究的热点.传统算法大多是以期望、概率或者权重等单一指标为数据项集支持度，在大数据背景下，同时考虑概率和权重支持度的算法难以兼顾其执行效率.为此，本文提出一种基于Spark的不确定数据集频繁模式挖掘算法（UWEFP），首先，为了同时兼顾数据项的概率和权重，计算一项集的最大概率权重值并进行剪枝；然后，为了减少对数据集的多次扫描，结合Spark框架的优点，设计了一种具有FP-tree特征的新颖的UWEFP-tree结构进行模式树的构建及挖掘；最后在Spark环境下，以UCI数据集进行实验验证.实验结果表明本文的方法在保证挖掘结果的同时，提高了效率.     

基于Relief-F特征加权的模糊支持向量机的分类算法

传统基于样本与类中心的欧氏距离构造模糊支持向量机隶属度函数的方法将所有特征同等对待,并未考虑不同特征对样本与类中心距离的影响。针对这一问题,提出基于Relief-F特征加权的模糊支持向量机分类算法。首先通过Relief-F算法计算各特征权重并剔除权重较小的特征;然后应用特征权重计算样本到所属类中心的加权欧氏距离;最后,基于加权欧氏距离构造隶属度函数。该方法在考虑到特征重要性对分类效果影响的同时,通过权重阈值剔除权重较小的特征,从而将数据降维,提高了分类准确度和训练效率。实验结果表明:与支持向量机和传统基于距离构造隶属度的模糊支持向量机相比,基于Relief-F特征加权的模糊支持向量机具有更高的训练效率和分类准确率。     

大学毕业生就业质量测评管理系统设计与实现

高校毕业生就业质量测评对高校就业工作具有重要的参考和指导作用,基于此提出了可用的、安全与性能兼备的大学毕业生就业质量测评管理系统的设计方案和实现方法,采用PHP+My SQL为服务器的B/S架构解决方案,前端采用HTML5、Java Script、CSS3进行开发。系统采用了Ajax、j Query等Web网站应用技术,通过XSS验证过滤和引入会话控制提高了网站的安全性。并用软件工程的方法详细介绍其设计与实现。通过该系统的使用,高校毕业生就业质量测评管理的信息化和自动化程度提升,极大地方便了测评单位对测评工作的正常开展。     

增强伸缩性的主被动集成访问控制模型

基于任务分类和角色层次的三步授权机制集成了主被动两种访问控制模式,但任务间重复授权、多种角色层次上的任务继承冲突、任务约束重复表达等问题严重影响了有关模型的伸缩性。为此提出一种增强的主被动集成访问控制模型。通过可扩展的角色层次划分细化了主/被动任务的分类,可以灵活地简化多种任务分配关系;引入基于任务泛化的授权继承和约束覆盖机制,可以有效减少任务之间的重复授权和约束;通过一组正确和完备的语义覆盖规则,为自动约束化简等提供了依据。最后给出多粒度权限激活机制和动态互斥的冗余检测算法,以消除不必要的访问检查开销,降低伸缩增强带来的效率损失。     

一种基于Spark的频繁项集快速挖掘算法

如何在海量数据集中提高频繁项集的挖掘效率是目前研究的热点.随着数据量的不断增长,使用传统算法产生频繁项集的计算代价依然很高.为此,提出一种基于Spark的频繁项集快速挖掘算法（fast mining algorithm of frequent itemset based on spark,Fmafibs）,利用位运算速度快的特点,设计了一种新颖的模式增长策略.该算法首先采用位串表达项集,利用位运算来快速生成候选项集;其次,针对超长位串计算效率低的问题,考虑将事务垂直分组处理,将同一事务不同组之间的频繁项集通过连接获得候选项集,最后进行聚合筛选得到最终频繁项集.算法在Spark环境下,以频繁项集挖掘领域基准数据集进行实验验证.实验结果表明所提方法在保证挖掘结果准确的同时,有效地提高了挖掘效率.     

基于关联规则和拓扑序列的分类器链方法

在分类器链方法中, 如何确定标签学习次序至关重要, 为此, 提出一种基于关联规则和拓扑序列的分类器链方法(TSECC). 首先结合频繁模式设计了一种基于强关联规则的标签依赖度量策略; 接下来通过标签间依赖关系构建有向无环图, 对图中所有顶点进行拓扑排序; 最后将得到的拓扑序列作为分类器链方法中标签的学习次序, 对每个标签的分类器依次迭代更新. 特别地, 为减少无标签依赖或标签依赖度较低的“孤独”标签对其余标签预测性能的影响, 将“孤独”标签排在拓扑序列之外, 利用二元关联模型训练. 在多种公共多标签数据集上的实验结果表明, TSECC能够有效提升分类性能.     

基于强化学习的多样性文档排序算法

在排序学习方法中,通过直接优化信息检索评价指标来学习排序模型的方法,取得了很好的排序效果,但是其损失函数在利用所有排序位置信息以及融合多样性排序因素方面还有待提高。为此,提出基于强化学习的多样性文档排序算法。首先,将强化学习思想应用于文档排序问题,通过将排序行为建模为马尔可夫决策过程,在每一次迭代过程中利用所有排序位置的信息,不断为每个排序位置选择最优的文档。其次,在排序过程中结合多样性策略,依据相似度阈值,裁剪高度相似的文档,从而保证排序结果的多样性。最后,在公共数据集上的实验结果表明,提出的算法在保证排序准确性的同时,增强了排序结果的多样性。     

基于正则化的半监督弱标签分类方法

针对多标签学习中实例标签的缺失补全和预测问题,本文提出一种基于正则化的半监督弱标签分类方法(简称SWCMR),方法同时兼顾实例相似性和标签相关性.SWCMR首先根据标签相关性对弱标签实例的缺失标签进行初步预估,然后利用弱标签实例和无标签实例构造邻域图,从实例相似性和标签相关性角度构建基于平滑性假设的正则化项,接下来利用预估后的弱标签实例结合无标签实例训练半监督弱标签分类模型.在多种公共多标签数据集上的实验结果表明,SWCMR提高了分类性能,尤其是标签信息较少时,分类效果提升更显著.     

数据立方体与频繁项集的统一计算框架研究

数据立方体和频繁项集挖掘分别是数据仓库和数据挖掘领域的重要技术，已开展了大量的相关研究工作，取得了较好的进展.数据立方体和频繁项集挖掘依据各自的数据单元和项集构造了类似的代数格（Lattice）结构;数据立方体的等价类上界单元与频繁项集挖掘的闭项集也是相对应的.如果能够论证二者的统一性，则可以为彼此提供更广泛的研究思路，有利于两种技术的相互促进，如：在数据库中利用冰山立方体计算实现频繁项集挖掘来避免数据迁移、利用频繁项集挖掘算法优化数据立方体计算等.之前的工作没有将二者系统地结合起来研究，也没有建立二者之间较为完整的联系.本文在深入研究数据立方体的计算和频繁项集挖掘的过程后，将二者有效地结合在一起，提出了统一的计算框架，给出了二者众多计算性质和方法之间的映射关系，进行了相关概念泛化，具体地建立了冰山立方体、浓缩立方体和商立方体等主要数据立方体计算与相应频繁项集挖掘方法的对应关系.通过算法和实验进一步论证统一计算的有效性：（1）将频繁项集挖掘事务集导入关系数据库，用冰山立方体计算方式进行频繁项集挖掘，从而在数据库中用标准的或扩展的SQL可以实现对关系表进行频繁项集挖掘;（2）验证了浓缩立...     

不确定性信息条件下系统可靠性分析

在系统可靠性分析中,参数不确定性的正确表达是评价系统稳定与否的先决条件。然而,在实际情况中,影响系统可靠性的参数分布往往缺乏严格的规律性,即便参数大体符合某种分布,也存在漂移现象,采用传统方法处理这类不确定性,存在信息丢失问题。为此引入概率盒理论,提出一种新的不确定性信息条件下系统可靠性分析方法。首先对各个不确定参数进行概率盒建模;其次,将各参数概率盒等信度离散,结合系统可靠性方程计算笛卡尔积,进而得到系统可靠性概率盒模型;最后,以零点为边界划分出风险区和稳定区,并通过积分计算面积定量地分析系统的可靠性。实验以悬臂梁系统为分析对象,与传统方法进行对比分析,实验结果表明,该方法不仅有效而且提高了准确性。