基于协同训练的半监督学习研究

半监督学习,与传统的监督学习不同,能同时在少量的已标记数据和大量的未标记数据上进行学习,从而提高性能。协同训练是一种流行的半监督学习算法,已成为目前机器学习和模式识别领域中的一个研究热点。综述半监督学习协同训练的基本思想、研究现状、常用算法,分析目前存在的主要困难,并指出需进一步研究的几个问题。     

基于多分类器协同学习的卷积神经网络训练算法

卷积神经网络(CNN)是一类重要的深度神经网络,然而其训练过程需要大量的已标记样本,从而限制了其实际应用。针对这一问题,分析了CNN分类器的协同学习过程,给出了基于迭代进化的分类器协同训练算法CAMC。该算法结合了CNN和多分类器协同训练的优势,首先采用不同的卷积核提取出多种样本特征以产生不同的CNN分类器;然后利用少量的已标记样本和大量的未标记样本对多个分类器进行协同训练,以持续提高分类性能。在人脸表情标准数据集上的实验结果表明,相对于传统的表情特征识别法LBP和Gabor,CAMC能够在分类过程中利用未标记样本持续实现性能提升,从而具有更高的分类准确率。     

协同半监督的构造性学习方法

利用构造性学习（CML）算法训练分类器需要大量已标记样本,然而获取大量已标记的样本较为困难。为此,提出了一种协同半监督的构造性学习算法。将已标记样本等分为三个训练集,分别使用构造性学习算法训练三个单分类器,以共同投票的方式对未标记样本进行标记,从而依次扩充三个单分类器训练集直到不能再扩充为止。将三个训练集合并训练出最终的分类器。选取UCI数据集进行实验,结果表明,与CML算法、Tri-CML算法、NB算法及Tri-NB相比,该方法的分类更为有效。     

EM_kNN算法在文本分类中的应用

kNN算法是一种重要的文本分类算法,但其存在没有局外监测,类的某些相关信息无法利用的缺点,而且在许多文本分类中获得已标志的训练集相当昂贵,所以本文提出一种新的EM_kNN文本分类算法,此算法基于EM算法的思想,根据kNN文本分类模型,对文本进行分类,将已标志文档和未标志文档相结合对kNN文本分类算法进行发展。     

一种基于Tri-training的半监督多标记学习文档分类算法

多标记学习主要用于解决因单个样本对应多个概念标记而带来的歧义性问题,而半监督多标记学习是近年来多标记学习任务中的一个新的研究方向,它试图综合利用少量的已标记样本和大量的未标记样本来提高学习性能。为了进一步挖掘未标记样本的信息和价值并将其应用于文档多标记分类问题,该文提出了一种基于Tri-training的半监督多标记学习算法(MKSMLT),该算法首先利用k近邻算法扩充已标记样本集,结合Tri-training算法训练分类器,将多标记学习问题转化为标记排序问题。实验表明,该算法能够有效提高文档分类性能。     

基于Tri-DE-ELM的半监督模式分类方法研究

针对极限学习机（ELM）未充分利用未标注样本、训练精度受网络权值初值影响的问题,提出一种基于协同训练与差分进化的改进ELM算法（Tri-DE-ELM）。考虑到传统的ELM模式分类技术只利用了少量标注样本而忽视大量未标注样本的问题,首先应用基于Tri-Training算法的协同训练机制构建Tri-ELM半监督分类算法,利用少量的标记样本训练三个基分类器实现对未标记样本的标注。进一步针对基分类器训练中ELM网络输入层权值随机初始化影响分类效果的问题,采用差分进化（DE）算法对网络初值进行优化,优化目标及过程同时包括网络权值和分类误差两方面的因素,以避免网络的过拟合现象。在标准数据集上的实验结果表明,Tri-DE-ELM算法能有效地利用未标注数据,具有比传统ELM更高的分类精度。     

基于Tri-training的入侵检测算法

半监督的双协同训练要求划分出的2个数据向量相互独立,不符合真实的网络入侵检测数据特征。为此,提出一种基于三协同训练(Tri-training)的入侵检测算法。使用大量未标记数据,通过3个分类器对检测结果进行循环迭代训练,避免交叉验证。仿真实验表明,在少量样本情况下,该算法的检测准确度比SVM Co-training算法提高了2.1%,并且随着循环次数的增加,其性能优势更加明显。     

协同训练算法在滚动轴承故障诊断中的应用

针对单个分类器方法在滚动轴承故障诊断中精度较低、故障样本标记稀缺、特征空间维度高等问题，提出一种将协同训练与集成学习相结合的Co-Forest轴承故障诊断算法。Co-Forest是半监督学习中的协同训练算法，包含多个基分类器，通过投票实现协同训练中的置信度估算。从滚动轴承的振动信号中提取时域、频域特征指标。利用少量带标签和大量未标记样本重复地训练基分类器。集成基分类器，实现对滚动轴承故障的诊断。实验结果表明，与同类型的协同训练算法（Co-Training、Tri-Training）相比，Co-Forest算法在轴承故障诊断中具有更高的正确率，与当前针对特征向量高维、标记样本稀缺问题的ISS-LPP算法，SS-LLTSA算法相比，Co-Forest算法在保持很高诊断正确率的情况下，不需要降维、参数设置简单，具有一定的实际应用价值。     

基于多学习器协同训练模型的人体行为识别方法

人体行为识别是计算机视觉研究的热点问题,现有的行为识别方法都是基于监督学习框架.为了取得较好的识别效果,通常需要大量的有标记样本来建模.然而,获取有标记样本是一个费时又费力的工作.为了解决这个问题,对半监督学习中的协同训练算法进行改进,提出了一种基于多学习器协同训练模型的人体行为识别方法.这是一种基于半监督学习框架的识别算法.该方法首先通过基于Q统计量的学习器差异性度量选择算法来挑取出协同训练中基学习器集,在协同训练过程中,这些基学习器集对未标记样本进行标记;然后,采用了基于分类器成员委员会的标记近邻置信度计算公式来评估未标记样本的置信度,选取一定比例置信度较高的未标记样本加入到已标记的训练样本集并更新学习器来提升模型的泛化能力.为了评估算法的有效性,采用混合特征来表征人体行为,从而可以快速完成识别过程.实验结果表明,所提出的基于半监督学习的行为识别系统可以有效地辨识视频中的人体动作.     

一种直推式多标记文档分类方法

真实世界的文档往往同时属于多个类别,因此,利用多标记学习技术进行文档分类是一个重要的研究方向,现有多标记文档分类方法需要利用大量有正确分类标记的文档才能获得好的分类性能,然而,在实际应用中往往只能得到少量的有标记文档作为分类所需的训练文档.出于利用未标记文档的想法,提出一种基于随机游走的直推式多标记文档分类方法,可以利用大量的未标记文档来辅助提高分类性能,实验结果表明,该方法的性能优于现有直推式多标记分类方法CNMF.     

一种优化的关联规则增量更新算法

针对PFUP算法存在扫描多次数据库这个瓶颈问题,提出一种优化的关联规则增量更新算法MIFUP(Mixed Improve Fast Updating).该算法提出了两种优化策略:借鉴事务压缩原理和用数组存放一阶非频繁项集个数.实验仿真说明,MIFUP算法效率明显优于PFUP算法.     

基于遗传神经网络的MADA

宏观质量决策方案的评价与选择,需要能准确给出各影响因素的权重系数,文中在分析了多属性决策问题及现有方法之后,提出子用遗传神经网络建立权重分配模型,从而改进多属性决策的方法,使权重的确定较为客观准确,并具有自学习功能,实践表明,效果良好。     

一种防火墙规则冲突快速检测算法

目前,在防火墙规则冲突检测算法中,效率问题一直没有很好的解决,当防火墙规则数目较大时,检测规则冲突的速度很难满足客户的需要。为了能够快速地检测出防火墙中的规则冲突,在目前使用较多的ASBV算法上提出一种规则冲突检测算法(DBBV算法)。该算法采用的方法是使用位向量和分治技术,该设计在检测规则冲突的时候,设计的算法只是进行了一次位运算。同时该算法采用的是范围形式的规则集。经过对算法详细的分析,以及通过实验方法的验证,改进的DBBV算法的规则冲突检测效率明显高于ASBV算法。     

一种关于蛋白质模体的自动识别算法

随着生物信息学的发展，模体识别已经成为一种能够从生物序列中提取有用生物信息的方法。文中介绍了有关模体的一些概念，讨论了模体识别算法(MEME)的基础，即EM(expectation maximization)算法，由于MEME算法是建立在EM算法的基础上的，所以又由此引出了MEME算法，并对MEME算法的一些基本问题比如时间复杂度、算法性能等进行了详细讨论，对算法的局限性和有待改进的地方作了说明。实践证明，MEME是一个较好的模体识别算法，它能够识别出蛋白质或者DNA序列中单个或多个模体，具有很大的灵活性。     

改进的蝴蝶优化聚类算法

针对当前算法在求解聚类问题时存在精度低、速度慢及鲁棒性差等问题,提出一种改进的蝴蝶优化聚类算法,借鉴精英策略思想重新定义蝴蝶优化算法的局部搜索迭代公式,然后融合遗传算法的选择、交叉和变异操作.在1个人工数据集和5个UCI数据集上的测试结果表明所提出算法的性能,且与其他算法相比具有一定优势.     

一种适合于大数据集处理的混合EM算法

EM算法的计算强度较大，且当数据集较大时，计算效率较低。为此，提出了基于部分E步的混合EM算法，降低了算法的计算强度，提高了算法对数据集大小的适应能力，并且保持了EM算法的收敛特性。最后通过将算法应用于大的数据集，验证了该算法能减少计算强度。     

智能优化算法的应用研究

优化问题广泛存在于各个领域,对该问题的求解问题从没停止过.自从优化问题提出以来,人们提出了各种各样的智能优化算法.文中简要介绍了遗传算法、蚁群算法、模拟退火算法3种智能优化算法,并简述其优缺点及应用研究的使用情况.     

一种基于小波理论的LMS算法研究

基于LMS算法原理和MALLAT算法,提出了小波自适应算法,并对算法进行了理论分析和仿真研究,仿真结果表明,小波自适应算法在非线性系统辩识中表现出了良好的性能。     

基于仿生理论的几种优化算法综述

简要介绍了目前比较流行的三种新型仿生优化算法,即人工鱼群算法、免疫算法和禁忌搜索算法,就这些算法的特点和异同进行了分析,并对它们的发展进行了进一步的阐述,提出了今后的研究方向。     

加密算法在共享软件加密中的简单应用

在共享软件设计开发过程中,利用不同的加密算法实现对软件注册、软件系统文件、用户权限等进行加密保护,实现了简单的软件加密,有效保护了共享软件的传播和软件系统自身安全。