结合Tri-training半监督学习和凸壳向量的SVM主动学习算法*

为解决监督学习过程中难以获得大量带有类标记样本且样本数据标记代价较高的问题,结合主动学习和半监督学习方法,提出基于Tri-training半监督学习和凸壳向量的SVM主动学习算法.通过计算样本集的壳向量,选择最有可能成为支持向量的壳向量进行标记.为解决以往主动学习算法在选择最富有信息量的样本标记后,不再进一步利用未标记样本的问题,将Tri-training半监督学习方法引入SVM主动学习过程,选择类标记置信度高的未标记样本加入训练样本集,利用未标记样本集中有利于学习器的信息.在UCI数据集上的实验表明,文中算法在标记样本较少时获得分类准确率较高和泛化性能较好的SVM分类器,降低SVM训练学习的样本标记代价.     

生成样本对抗训练的图半监督学习

给定一个由少量标记节点和大量未标记节点组成的图,图半监督学习的目标是为图中的未标记节点分配标签。生成对抗网络已经在半监督学习中展示了强大的能力,但基于生成对抗网络的图半监督学习的研究工作较少,目前的工作主要关注在低密度区域生成未标记样本削弱子图之间的信息传播,从而使决策边界更清晰,但在这类方法中,标记样本过少仍是其面临的主要挑战。针对这个问题,提出了一种基于生成样本对抗训练的图半监督学习算法。该算法基于生成对抗网络,分别生成服从真实样本分布的标记样本和与真实样本分布不同的未标记样本,其中生成的标记样本扩充了监督信息,生成的未标记样本减少了密度间隙中邻近节点的影响,从而提高了图半监督分类效果。相比现有的方法,提出的算法全面考虑了标记样本和未标记样本对图半监督学习的影响,使其分类能力更强。同时在不同的数据集上进行了大量的实验,验证了该方法的有效性。     

基于近邻传播学习的半监督流量分类方法

准确的流量分类是进行网络管理、安全检测以及应用趋势分析的基础.针对完全监督和无监督分类的缺陷, 提出了一种基于近邻传播学习的半监督流量分类方法.通过引入近邻传播聚类机制构建分类模型, 使得分类器实现过程简单、运行高效. 应用半监督学习的思想, 抽象出少量已标记样本流约束和流形空间先验信息, 定义了流形相似度的距离测度, 既降低了标记流量样本的复杂度, 又提高了流量分类器的性能.理论分析和实验结果表明:算法具有较高的分类准确性和较好的凝聚性.     

基于拉普拉斯回归主动学习的大数据流分类算法

实时数据流中标记样本所占比例较小,并且存在大量的噪声数据和冗余数据,导致数据流的实时分类准确率较低。针对这种情况,提出基于拉普拉斯回归主动学习的大数据流分类算法。为分类器设计相对支持度差异函数作为分类的决策方法,通过阈值判断当前数据流的标记样本量。设计基于约束规则的半监督主动学习算法,从无标记样本集选择信息量最丰富的样本。采用拉普拉斯正则最小二乘回归模型作为半监督学习的回归模型,迭代地扩展数据流的标记样本量。仿真结果表明,该算法有效地提高了数据流的分类准确率,并且满足实时性的需求。     

半监督深度学习图像分类方法研究综述

作为人工智能领域近十年来最受关注的技术之一,深度学习在诸多应用中取得了优异的效果,但目前的学习策略严重依赖大量的有标记数据.在许多实际问题中,获得众多有标记的训练数据并不可行,因此加大了模型的训练难度,但容易获得大量无标记的数据.半监督学习充分利用无标记数据,提供了在有限标记数据条件下提高模型性能的解决思路和有效方法,在图像分类任务中达到了很高的识别精准度.首先对于半监督学习进行概述,然后介绍了分类算法中常用的基本思想,重点对近年来基于半监督深度学习框架的图像分类方法,包括多视图训练、一致性正则、多样混合和半监督生成对抗网络进行全面的综述,总结多种方法共有的技术,分析比较不同方法的实验效果差异,最后思考当前存在的问题并展望未来可行的研究方向.     

基于组合半监督的增量支持向量机学习算法*

增量支持向量机(ISVM)由于在每次增量学习过程中无法选择最有效的增量样本,导致模型的泛化性能较差.针对此问题,文中提出基于组合半监督方式的增量支持向量机学习算法(ICS³VM).通过将大量的无标记样本分批进行组合标记以选择最优的增量样本,即每次选择位于分类间隔内部的最有价值样本加入训练集,以此修正模型.同时选择分类间隔最大的一组标记作为最终标记,确保标记的准确性.在标准数据集上的实验表明,ICS³VM能以较高的学习效率提高模型的泛化性能.     

基于半监督生成对抗网络的恶意代码家族分类实现

随着互联网的发展,恶意代码呈现海量化与多态化的趋势,恶意代码家族分类是网络空间安全面临的挑战之一。将半监督生成对抗网络与深度卷积学习网络相结合,构建半监督深度卷积生成对抗网络,提出了一种恶意代码家族分类模型,通过恶意代码家族特征分析,对恶意代码进行特征提取,转化为一维灰度图像;然后基于一维卷积神经网络1D-CNN,构建半监督生成对抗网络SGAN,形成恶意代码家族分类模型SGAN-CNN。从特征提取优化、半监督生成对抗训练算法优化等方面进行恶意代码家族分类能力提升。为了验证SGAN-CNN模型的分类效果,在Microsoft Malware Classification Challenge数据集上进行实验。5折交叉验证测试显示,本文提出的模型在样本标注标签占80%的情况下,分类的平均准确率达到98.81%;在样本标注标签仅有20%的情况下,分类的平均准确率达到98.01%,取得了较好的分类效果。在小样本数量情况下,也能取得不错的分类准确率。     

图像对抗样本检测综述

深度神经网络是人工智能领域的一项重要技术, 它被广泛应用于各种图像分类任务. 但是, 现有的研究表明深度神经网络存在安全漏洞, 容易受到对抗样本的攻击, 而目前并没有研究针对图像对抗样本检测进行体系化分析. 为了提高深度神经网络的安全性, 针对现有的研究工作, 全面地介绍图像分类领域的对抗样本检测方法. 首先根据检测器的构建方式将检测方法分为有监督检测与无监督检测, 然后根据其检测原理进行子类划分. 最后总结对抗样本检测领域存在的问题, 在泛化性和轻量化等方面提出建议与展望, 旨在为人工智能安全研究提供帮助.     

基于半监督深度学习法的网络大数据集成挖掘

传统的数据集成挖掘方法在集成与挖掘两个步骤之间存在较大误差,导致大数据出现乱码问题,数据显示不全.为解决上述问题,提出基于半监督深度学习法的大数据集成挖掘方法.利用有监督与无监督深度学习间的机器学习,组成半监督深度学习.利用支持向量数据组建立超球体.依据超球体结合标记样本,组建半监督深度学习数据检测模型,筛选样本特征词,利用半监督深度学习方法训练单分类SVDD模型,实现网络大数据集成挖掘.仿真结果证明,所提方法能够高精度、高效的对大数据完成集成挖掘,具有理想的应用性能.     

对抗攻击威胁基于卷积神经网络的网络流量分类

深度学习算法被广泛地应用于网络流量分类,具有较好的分类效果,应用卷积神经网络不仅能大幅提高网络流量分类的准确性,还能简化其分类过程.然而,神经网络面临着对抗攻击等安全威胁,这些安全威胁对基于神经网络的网络流量分类的影响有待进一步的研究和验证.文中提出了基于卷积神经网络的网络流量分类的对抗攻击方法,通过对由网络流量转换成的深度学习输入图像添加人眼难以识别的扰动,使得卷积神经网络对网络流量产生错误的分类.同时,针对这种攻击方法,文中也提出了基于混合对抗训练的防御措施,将对抗攻击形成的对抗流量样本和原始流量样本混合训练以增强分类模型的鲁棒性.文中采用公开数据集进行实验,实验结果表明,所提对抗攻击方法能导致基于卷积神经网络的网络流量分类方法的准确率急剧下降,通过混合对抗训练则能够有效地抵御对抗攻击,从而提高模型的鲁棒性.     

基于半监督学习的JPEG图像通用隐写检测方法

目前,JPEG图像的通用隐写检测是基于监督学习的,其关键技术包括图像特征提取和分类器的设计.首次提出了运用半监督学习中的EM算法来进行分类器的设计,该方法利用大量未标记样本辅助少量有标记样本进行分类器的学习.针对经典的JPEG隐写方法:Outguess和F5,用监督学习与文中半监督学习方法进行实验对比,结果表明,在缺少大量标记样本的情况下,文中方法能得到较好的分类性能,从而提高了JPEG图像通用隐写检测方法的实用性.     

基于u-wordMixup的半监督深度学习模型

当标注样本匮乏时,半监督学习利用大量未标注样本解决标注瓶颈的问题,但由于未标注样本和标注样本来自不同领域,可能造成未标注样本存在质量问题,使得模型的泛化能力变差,导致分类精度下降.为此,基于wordMixup方法,提出针对未标注样本进行数据增强的u-wordMixup方法,结合一致性训练框架和Mean Teacher模型,提出一种基于u-wordMixup的半监督深度学习模型(semi-supervised deep learning model based on u-wordMixup,SD-uwM).该模型利用u-wordMixup方法对未标注样本进行数据增强,在有监督交叉熵和无监督一致性损失的约束下,能够提高未标注样本质量,减少过度拟合.在AGNews、THUCNews和20 Newsgroups数据集上的对比实验结果表明,所提出方法能够提高模型的泛化能力,同时有效提高时间性能.     

半监督SVM分类算法的交通视频车辆检测方法

针对交通场景运动车辆检测中车辆数目统计准确率不高、自适应性不强等问题,提出了一种基于半监督支持向量机(SVM)分类算法的交通视频车辆检测方法。利用人工标记的少量样本,分别训练2个基于方向梯度直方图(HOG)特征与基于局部二值模式(LBP)特征的不同核函数的SVM分类器;结合半监督算法的思想,构建SVM的半监督分类方法(SEMI-SVM),标记未知样本并加入到原样本库中,该方法支持样本库动态更新,避免了繁重的人工标记样本的工作,提高了自适应性;最后,通过三帧差分法提取运动区域,加载分类器在该区域进行多尺度检测,标记检测出来的运动车辆,统计车辆数目。实验结果表明:该方法在具有一定的自适应性的同时,有较高的车辆检测准确率,即使在复杂交通情况下,对运动车辆依然有很好的检测效果。     

甲状腺超声影像的元优化多级对抗域适应网络

目的 计算机辅助诊断是临床诊断中一种重要的辅助手段。然而在多机型超声影像的应用现状中,单一深度卷积神经网络面临难以从不同数据源中提取样本特征的问题,导致模型在区分多源数据方面性能欠佳。为提升单一深度模型在多源数据的泛化能力,本文提出一种无监督域自适应网络。方法 将深度对抗域适应方法应用于多源甲状腺超声影像分类任务,通过生成对抗思想提取源域图像与目标域图像的域不变特征,提出一种多级对抗域自适应网络(multi-level adversarial domain adaptation network, MADAN)。将元优化(meta-optimized)策略引入对抗域适应的学习中,将域对齐目标和样本分类目标以协调的方式联合优化,提升了模型对无标记目标域数据的分类性能。结果 在包含4种域的甲状腺超声影像数据集上实验,与7种经典域自适应方法比较。实验结果表明,MADAN在全部迁移任务中取得90.141%的目标域样本平均分类准确率,优于残差分类网络和多种经典域自适应分类网络。融合元优化训练策略后的MADAN在目标域的测试平均准确率提升约1.67%。结论 本文提出的元优化多级对抗域适应网络一方面通...     

基于半监督学习的数据流混合集成分类算法

当前已有的数据流分类模型都需要大量已标记样本来进行训练,但在实际应用中,对大量样本标记的成本相对较高。针对此问题,提出了一种基于半监督学习的数据流混合集成分类算法SMEClass,选用混合模式来组织基础分类器,用K个决策树分类器投票表决为未标记数据添加标记,以提高数据类标的置信度,增强集成分类器的准确度,同时加入一个贝叶斯分类器来有效减少标记过程中产生的噪音数据。实验结果显示,SMEClass算法与最新基于半监督学习的集成分类算法相比,其准确率有所提高,在运行时间和抗噪能力方面有明显优势。     

基于交叉熵的安全Tri-training算法

半监督学习方法通过少量标记数据和大量未标记数据来提升学习性能.Tri-training是一种经典的基于分歧的半监督学习方法,但在学习过程中可能产生标记噪声问题.为了减少Tri-training中的标记噪声对未标记数据的预测偏差,学习到更好的半监督分类模型,用交叉熵代替错误率以更好地反映模型预估结果和真实分布之间的差距,并结合凸优化方法来达到降低标记噪声的目的,保证模型效果.在此基础上,分别提出了一种基于交叉熵的Tri-training算法、一个安全的Tri-training算法,以及一种基于交叉熵的安全Tri-training算法.在UCI(University of California Irvine)机器学习库等基准数据集上验证了所提方法的有效性,并利用显著性检验从统计学的角度进一步验证了方法的性能.实验结果表明,提出的半监督学习方法在分类性能方面优于传统的Tri-training算法,其中基于交叉熵的安全Tri-training算法拥有更高的分类性能和泛化能力.     

融合主动学习的改进贝叶斯半监督分类算法研究

半监督学习是人工智能领域一个重要的研究内容;在半监督学习中,如何有效利用未标记样本来提高分类器的泛化性能,是机器学习研究的热点和难点;主动学习可解决未标记样本有效利用的问题,将主动学习引入到半监督分类中,并改进贝叶斯算法,提出了一种基于改进贝叶斯算法的主动学习与半监督学习结合算法;实验结果表明,该方法取得了较好的分类效果。     

结合均值漂移的基于图的半监督图像分类

针对基于图的半监督流形正则化图像分类算法需要大量无标记样本训练分类器,空间和时间复杂度高,甚至不能处理大规模图像,且对背景或目标复杂的图像分类错误率较高的问题,提出了结合均值漂移（mean shift）的基于图的半监督流形正则化图像分类算法。该方法对基于图的半监督流形正则化分类算法的改进主要体现在两方面,首先是通过mean shift算法对图像进行了平滑,以平滑后的图像作为分类对象;其次不是利用所有无标记样本,而是只采用少量无标记样本。实验结果表明:图像的平滑使得目标和背景区域的特征更为一致,从而利用较少的样本就可以提高分类器的正确率;同时大大降低了算法的复杂度,使得基于图的半监督分类算法用于分类大规模图像成为可能。     

基于迁移学习的加密恶意流量检测方法

现有加密恶意流量检测方法需要利用大量准确标记的样本进行训练,以达到较好的检测效果。但在实际网络环境中,加密流量数据由于其内容不可见而难以进行正确标记。针对上述问题,提出了一种基于迁移学习的加密恶意流量检测方法,首次将基于ImageNet数据集预训练的模型Efficientnet-B0,迁移到加密流量数据集上,保留其卷积层结构和参数,对全连接层进行替换和再训练,利用迁移学习的思想实现小样本条件下的高性能检测。该方法利用端到端的框架设计,能够直接从原始流量数据中提取特征并进行检测和细粒度分类,避免了繁杂的手动特征提取过程。实验结果表明,该方法对正常、恶意流量的二分类准确率能够达到99.87%,加密恶意流量细粒度分类准确率可达到98.88%,并且在训练集中各类流量样本数量减少到100条时,也能够达到96.35%的细粒度分类准确率。     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。