基于负学习的样本重加权鲁棒学习方法

噪声标记学习方法能够有效利用含有噪声标记的数据训练模型,显著降低大规模数据集的标注成本。现有的噪声标记学习方法通常假设数据集中各个类别的样本数目是平衡的,但许多真实场景下的数据往往存在噪声标记,且数据的真实分布具有长尾现象,这导致现有方法难以设计有效的指标,如训练损失或置信度区分尾部类别中的干净样本和噪声样本。为了解决噪声长尾学习问题,提出一种基于负学习的样本重加权鲁棒学习(NLRW)方法。具体来说,根据模型对头部类别和尾部类别样本的输出分布,提出一种新的样本权重计算方法,能够使干净样本的权重接近1,噪声样本的权重接近0。为了保证模型对样本的输出准确,结合负学习和交叉熵损失使用样本加权的损失函数训练模型。实验结果表明,在多种不平衡率和噪声率的CIFAR-10以及CIFAR-100数据集上,NLRW方法相较于噪声长尾分类的最优基线模型TBSS(Two stage Bi-dimensional Sample Selection),平均准确率分别提升4.79%和3.46%。     

基于特征选择与鲁棒图学习的多视图聚类

现有的多视图聚类方法大多直接在原始数据样本上构建各视图的相似图,而原始数据中的冗余特征和噪声会导致聚类精度下降。针对该问题,基于特征选择和鲁棒图学习提出多视图聚类算法FRMC。在自适应选择不同视图特征时降低数据维度,减少冗余特征,同时利用自表示学习获取数据的表示系数,滤除噪声影响并得到数据样本的全局结构,从而去除样本中的噪声和离群点。在此基础上,通过自适应近邻学习构造样本鲁棒图,利用鲁棒图矩阵的加权和构建最终的亲和图矩阵,提出一种基于增广拉格朗日乘子的交替迭代算法对目标函数进行优化。在6个不同类型的标准数据集上进行实验,与SC、RGC、AWP等算法的对比结果表明,FRMC算法能够有效提升聚类精度且具有较好的收敛性与鲁棒性。     

基于相机感知距离矩阵的无监督行人重识别

在跨场景、跨设备的行人重识别中虽然增加了可利用的行人数据,但由于行人姿态不同、部分遮挡现象,难以避免引入样本噪声,在聚类过程中易生成错误的伪标签,造成标签噪声,影响模型的优化。为减弱噪声影响,应用相机感知的距离矩阵对抗相机偏移引起的样本噪声问题,利用对噪声鲁棒的动态对称对比损失减少标签噪声,提出基于相机感知距离矩阵的无监督行人重识别算法。在聚类前通过更改度量行人特征相似度的距离矩阵,利用相机感知距离矩阵来增强类内距离度量准确性,减少由于拍摄视角不同对聚类效果造成的负面影响。同时,结合噪声标签学习方法,进行损失设计,提出动态对称对比损失函数,联合损失训练,不断精炼伪标签。在DukeMTMC-reID和Market-1501两个数据集上进行实验,验证了提出方法的有效性。     

基于对比学习的标签带噪图像分类

标签噪声会极大地降低深度网络模型的性能. 针对这一问题, 本文提出了一种基于对比学习的标签带噪图像分类方法. 该方法包括自适应阈值、对比学习模块和基于类原型的标签去噪模块. 首先采用对比学习最大化一幅图像的两个增强视图的相似度来提取图像鲁棒特征; 接下来通过一种新颖的自适应阈值过滤训练样本, 在模型训练过程中根据各个类别的学习情况动态调整阈值; 然后创新性地引入基于类原型的标签去噪模块, 通过计算样本特征向量与原型向量的相似度更新伪标签, 从而避免标签中噪声的影响; 在公开数据集CIFAR-10、CIFAR-100和真实数据集ANIMAL10上进行对比实验, 实验结果表明, 在人工合成噪声的条件下, 本文方法实验结果均高于常规方法, 通过计算图像鲁棒的特征向量与各个原型向量的相似度更新伪标签的方式, 降低了噪声标签的负面影响, 在一定程度上提高模型的抗噪声能力, 验证了该模型的有效性.     

基于M-estimator的鲁棒宽度学习系统

宽度学习系统(BLS)是最近提出的一种准确且高效的新兴机器学习算法,已在分类、回归等问题中展现出优越的学习性能.然而,传统BLS以最小二乘作为学习准则,易受到离群值的干扰从而生成不准确的学习模型.鉴于此,提出一种基于M-estimator的鲁棒宽度学习系统(RBLS).与BLS不同, RBLS在学习模型中使用具有鲁棒特性的M-estimator代价函数替代传统的最小二乘代价函数,并采用拉格朗日乘子法和迭代加权最小二乘方法进行优化求解.在迭代学习过程中,正常样本和离群值样本将根据其训练误差的大小而被逆向赋予不同的权重,从而有效地抑制或消除离群值误差对学习模型的不利影响.实验结果表明,作为一种统一的鲁棒学习框架, RBLS可以融合使用不同的M-estimator加权策略,且能够取得更好的泛化性能和鲁棒性.     

基于最大相关熵准则的鲁棒度量学习算法

度量亦称距离函数,是度量空间中满足特定条件的特殊函数,一般用来反映数据间存在的一些重要距离关系.而距离对于各种分类聚类问题影响很大,因此度量学习对于这类机器学习问题有重要影响.受到现实存在的各种噪声影响,已有的各种度量学习算法在处理各种分类问题时,往往出现分类准确率较低以及分类准确率波动大的问题.针对该问题,本文提出一种基于最大相关熵准则的鲁棒度量学习算法.最大相关熵准则的核心在于高斯核函数,本文将其引入到度量学习中,通过构建以高斯核函数为核心的损失函数,利用梯度下降法进行优化,反复测试调整参数,最后得到输出的度量矩阵.通过这样的方法学习到的度量矩阵将有更好的鲁棒性,在处理受噪声影响的各种分类问题时,将有效地提高分类准确率.本文将在一些常用机器学习数据集（UCI）还有人脸数据集上进行验证实验.     

基于单标注样本的多损失学习与联合度量视频行人重识别

为解决行人重识别标注成本巨大的问题,提出了基于单标注样本的多损失学习与联合度量视频行人重识别方法.针对标签样本数量少,得到的模型不够鲁棒的问题,提出了多损失学习(MLL)策略:在每次训练过程中,针对不同的数据,采用不同的损失函数进行优化,提高模型的判别力.其次,在标签估计时,提出了一个联合距离度量(JDM),该度量将样...     

减少噪声对数据污染的一种鲁棒算法

利用聚类对噪声干扰的抵抗能力和对好的样本进行强化学习的思想,引入了聚类分析和鲁棒因子,提出一种新颖的鲁棒学习算法（包括了选择不同鲁棒因子而构成的鲁棒算法１ 和鲁棒算法２）,并对三维曲面和混合噪音进行了仿真实验研究。仿真结果表明,该算法在鲁棒性、收敛性方面明显优于普通的ＢＰ算法。     

RBF网络的鲁棒最小二乘学习算法

首先,针对径向基函数(RBF)神经网络参数学习中最小二乘法(LS)难以获得较高鲁棒性的问题,假定训练数据扰动上界可知,并基于鲁棒最小二乘原理,提出一种RBF网的最优鲁棒参数学习算法;然后分析指出,扰动上界可依据训练数据集自适应学习估计;最后通过实验分析结果表明了所提算法具有较高的参数鲁棒学习能力.与LS相似,新算法无额外参数,易于实际应用.     

一种半监督对抗鲁棒模型无关元学习方法

元学习期望训练所得的元模型在学习到的“元知识”基础上利用来自新任务的少量标注样本，仅通过较少的梯度下降步骤微调模型就能够快速适应该任务。但是，由于缺乏训练样本，元学习算法在元训练期间对现有任务过度训练时所得的分类器决策边界不够准确，不合理的决策边界使得元模型更容易受到微小对抗扰动的影响，导致元模型在新任务上的鲁棒性能降低。提出一种半监督对抗鲁棒模型无关元学习（semi-ARMAML）方法，在目标函数中分别引入半监督的对抗鲁棒正则项和基于信息熵的任务无偏正则项，以此优化决策边界，其中对抗鲁棒正则项的计算允许未标注样本包含未见过类样本，从而使得元模型能更好地适应真实应用场景，降低对输入扰动的敏感性，提高对抗鲁棒性。实验结果表明，相比ADML、R-MAML-TRADES等当下主流的对抗元学习方法，semi-ARMAML方法在干净样本上准确率较高，在MiniImageNet数据集的5-way 1-shot与5-way 5-shot任务上对抗鲁棒性能分别约提升1.8%和2.7%，在CIFAR-FS数据集上分别约提升5.2%和8.1%。     

Label flipping attacks against Naive Bayes on spam filtering systems

Label flipping attack is a poisoning attack that flips the labels of training samples to reduce the classification performance of the model. Robustness is used to measure the applicability of machine learning algorithms to adversarial attack. Naive Bayes (NB) algorithm is a anti-noise and robust machine learning technique. It shows good robustness when dealing with issues such as document classification and spam filtering. Here we propose two novel label flipping attacks to evaluate the robustness of NB under label noise. For the three datasets of Spambase, TREC 2006c and TREC 2007 in the spam classification domain, our attack goal is to increase the false negative rate of NB under the influence of label noise without affecting normal mail classification. Our evaluation shows that at a noise level of 20%, the false negative rate of Spambase and TREC 2006c has increased by about 20%, and the test error of the TREC 2007 dataset has increased to nearly 30%. We compared the classification accuracy of five classic machine learning algorithms (random forest(RF), support vector machine(SVM), decision tree(DT), logistic regression(LR), and NB) and two deep learning models(AlexNet, LeNet) under the proposed label flipping attacks. The experimental results show that two label noises are suitable for various classification models and effectively reduce the accuracy of the models.

     

Hybrid robust convolutional autoencoder for unsupervised anomaly detection of machine tools under noises

Anomaly detection of machine tools plays a vital role in the machinery industry to sustain efficient operation and avoid catastrophic failures. Compared to traditional machine learning and signal processing methods, deep learning has greater adaptive capability and end-to-end convenience. However, challenges still exist in recent research in anomaly detection of machine tools based on deep learning despite the marvelous endeavors so far, such as the necessity of labeled data for model training and insufficient consideration of noise effects. During machine operation, labeled data is often difficult to obtain; the collected data contains varying degrees of noise disturbances. To address the above challenges, this paper develops a hybrid robust convolutional autoencoder (HRCAE) for unsupervised anomaly detection of machine tools under noises. A parallel convolutional distribution fitting (PCDF) module is constructed, which can effectively fuse multi-sensor information and enhance network robustness by training in parallel to better fit the data distribution with unsupervised learning. A fused directional distance (FDD) loss function is designed to comprehensively consider the distance and angle differences among the data, which can effectively suppress the influence of noises and further improve the model robustness. The proposed method is validated by real computer numerical control (CNC) machine tool data, obtaining better performance of unsupervised anomaly detection under different noises compared to other popular unsupervised improved autoencoder methods.     

基于p阶最大相关熵准则损失函数的鲁棒极限学习机

当前对于短期负荷预测的研究主要针对影响因素的分析以及模型的改进,很少有对模型的鲁棒性进行研究.以极限学习机(extreme learning machine,ELM)作为研究对象,针对ELM模型的鲁棒性问题进行了深入的研究,并将其应用到短期负荷预测问题中.ELM模型的鲁棒性受损失函数的影响,当前ELM模型在处理含异常点样本时,鲁棒性差、预测精度较低.针对该问题,提出了一种基于p阶最大相关熵准则的损失函数,并将该损失函数应用到ELM模型中,以提高其在短期负荷预测问题中的鲁棒性.提出了一种估计实际样本中异常点百分比的计算方法,在建立短期负荷预测模型之前,估计出实际负荷样本中的异常点百分比.仿真结果表明,在异常点超过12％的样本中,提出的算法模型具有更好的鲁棒性以及预测精度.     

一种鲁棒性的少样本学习方法

少样本学习是目前机器学习研究领域的一个热点,它能在少量的标记样本中学习到较好的分类模型.但是,在噪声的不确定环境中,传统的少样本学习模型泛化能力弱.针对这一问题,提出一种鲁棒性的少样本学习方法RFSL(Robust Few-Shot Learning).首先,使用核密度估计(Kernel Density Estimation,KDE)和图像滤波(Image Filtering)方法在训练集中加入不同的随机噪声,形成多个不同噪声下的训练集,并分别生成支持集和查询集.其次,利用关系网络的关系模块通过训练集端到端地学习多个基分类器.最后,采用投票的方式对各基分类器的最末Sigmoid层非线性分类结果进行融合.实验结果表明,RFSL模型可促进小样本学习快速收敛,同时,与R-Net以及其他主流少样本学习方法相比,RFSL具有更高的分类准确率,更强的鲁棒性.     

标签噪声学习算法综述

机器学习中,训练样本的标签质量严重影响着分类算法的最终效果.虽然干净的标签产生的效果相对来说比较好,但是采集和使用时却费时费力.因此为了节约成本,同时也为了使模型能够适应于一般情况,研究人员逐渐开始针对普通类数据进行学习,即带有标签噪声的数据.虽然近些年有些许著作专门针对标签噪声进行研究,但是缺乏对其的全面分析.基于此...     

噪声鲁棒的轻量级深度遥感场景图像分类检索

目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低。为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能。方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型。结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较。本文方法在AID（aerial image datasets）数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8%,在NWPU-RESISC45（benchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes）数据集上,分类精度比次优方法平均高出8.1%。在效率方面,本文方法的推理速度比CLEOT（classification loss with entropic optimal transport）方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5%。在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值（mean average precision,mAP）在3种不同哈希比特下比MiLaN（metric-learning based deep hashing network）方法平均提高了5.9%。结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性。     

Adaptive regularization of weight vectors

We present AROW, an online learning algorithm for binary and multiclass problems that combines large margin training, confidence weighting, and the capacity to handle non-separable data. AROW performs adaptive regularization of the prediction function upon seeing each new instance, allowing it to perform especially well in the presence of label noise. We derive mistake bounds for the binary and multiclass settings that are similar in form to the second order perceptron bound. Our bounds do not assume separability. We also relate our algorithm to recent confidence-weighted online learning techniques. Empirical evaluations show that AROW achieves state-of-the-art performance on a wide range of binary and multiclass tasks, as well as robustness in the face of non-separable data.     

基于两阶段学习的半监督支持向量机分类算法

提出了一种基于两阶段学习的半监督支持向量机(semi-supervised SVM)分类算法.首先使用基于图的标签传递算法给未标识样本赋予初始伪标识,并利用k近邻图将可能的噪声样本点识别出来并剔除;然后将去噪处理后的样本集视为已标识样本集输入到支持向量机(SVM)中,使得SVM在训练时能兼顾整个样本集的信息,从而提高SVM的分类准确率.实验结果证明,同其它半监督学习算法相比较,本文算法在标识的训练样本较少的情况下,分类性能有所提高且具有较高的可靠性.     

基于半监督学习和支持向量机的煤与瓦斯突出预测研究

针对支持向量机要求输入向量为已标记样本,而实际应用中已标记样本很难获取的问题,提出将半监督学习和支持向量机结合的煤与瓦斯突出预测方法;介绍了采用SVM预测煤与瓦斯突出的流程及其输入向量的选择;对半监督学习中的协同训练算法进行了改进:在同一属性集上训练2个不同分类器SVM和KNN,将2个分类器标记一致的样本加入训练集,从而充分利用未标记样本不断补充信息,更新训练集标记样本,达到强化训练集的目的。测试结果表明,改进后的算法比单独的支持向量机预测方法准确率更高。     

基于动态行为分析的网页木马检测方法

网页木马是一种在网页中插入攻击脚本,利用浏览器及其插件中的漏洞,使受害者的系统静默地下载并安装恶意程序的攻击形式.本文结合动态程序分析和机器学习方法,提出了基于动态行为分析的网页木马检测方法.首先,针对网页木马攻击中的着陆页上的攻击脚本获取行为,监控动态执行函数执行,包括动态生成函数执行、脚本插入、页面插入和URL跳转,并根据一套规则提取这些行为,此外提取与其相关的字符串操作记录作为特征.其次,针对利用堆恶意操作注入shellcode的行为,提出堆危险指标作为特征.最后从Alexa和VirusShare收集了500个网页样本作为数据集,用机器学习方法训练分类模型.实验结果表明：与现有方法相比,文中方法具有准确率高（96.94%）、能有效对抗代码混淆的干扰（较低的误报率6.1%和漏报率1.3%）等优点.