基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器（low-rank stacked semantic auto-encoder,LSSAE）。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。     

深度神经网络的小样本学习综述

随着最近深度学习技术的蓬勃发展,深度神经网络（DNN）在大规模的图像分类与识别任务中取得了突破性的进展,但其在解决小样本学习问题时仍面临巨大挑战。小样本学习（FSL）是指在少量有监督样本的情况下学习一个能解决实际问题的模型,在深度学习领域具有重要意义。这促使该系统梳理了已有的DNN下的小样本学习工作,根据它们在解决小样本学习问题时所采用的技术,将DNN下的小样本学习解决方案分为四种策略：数据增强、度量学习、外部记忆、参数优化。根据这些策略,对现有的DNN下的小样本学习方法进行了全面的综述,同时总结了每一种策略在相关基准上的表现。强调了现有技术存在的局限性并对其未来的发展方向进行了展望,为今后的研究工作提供参考。     

零样本学习综述

尽管自深度学习发展以来,减少大量人工标记样本的需求使得零样本学习取得了不错的进展,以至于已经拥有比较完善的理论体系。但是对于零样本学习应用的研究寥寥无几,如何有效地对应用领域进行梳理是现阶段急需解决的问题。对零样本的理论体系进行介绍,通过一个例子引出零样本学习的定义,继而与广义零样本、监督学习比较,再而列举4个关键问题以及现有的解决方案,给出文本、图像、视频三方面常用的数据集;按照关键技术（属性、嵌入以及生成模型）出现时间顺序,对13个典型模型如何进行零样本学习展开描述,并对优点、缺点、创新点、挑选数据集以及表现进行总结;从词、图像、视频3个维度详细介绍了零样本学习在各个领域的应用;提出了零样本学习过程中出现的挑战并给出了对应的潜在研究方向。     

基于Beta分布和半监督学习的非确定性知识图谱嵌入模型

近年来,面向确定性知识图谱的嵌入模型在知识图谱补全等任务中取得了长足的进展,但如何设计和训练面向非确定性知识图谱的嵌入模型仍然是一个重要挑战。不同于确定性知识图谱,非确定性知识图谱的每个事实三元组都有着对应的置信度,因此,非确定性知识图谱嵌入模型需要准确地计算出每个三元组的置信度。现有的非确定性知识图谱嵌入模型结构较为简单,只能处理对称关系,并且无法很好地处理假负(false-negative)样本问题。为了解决上述问题,该文首先提出了一个用于训练非确定性知识图谱嵌入模型的统一框架,该框架使用基于多模型的半监督学习方法训练非确定性知识图谱嵌入模型。为了解决半监督学习中半监督样本噪声过高的问题,我们还使用蒙特卡洛Dropout计算出模型对输出结果的不确定度,并根据该不确定度有效地过滤了半监督样本中的噪声数据。此外,为了更好地表示非确定性知识图谱中实体和关系的不确定性以处理更复杂的关系,该文还提出了基于Beta分布的非确定性知识图谱嵌入模型UBetaE,该模型将实体、关系均表示为一组相互独立的Beta分布。在公开数据集上的实验结果表明,结合该文所提出的半监督学习方法和UBetaE模型,不仅极大地缓解了假负样本问题,还在多个任务中明显优于UKGE等当前最优的非确定性知识图谱嵌入模型。     

结合面部动作单元感知的三维人脸重建算法

真实场景往往面临数据稀缺和数据动态变化的问题, 小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘. 已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器, 实现模型对于新数据的迁移和旧数据的抗遗忘. 但是少量数据的视觉特征往往难以建模一个类别的完整特征分布, 导致上述算法的泛化能力较弱. 相比于视觉特征, 图像类别描述的文本特征具有较好的泛化性和抗遗忘性. 因此, 在视觉语言模型的基础上, 研究基于文本知识嵌入的小样本增量学习, 通过在视觉特征中嵌入具有抗遗忘能力的文本特征, 实现小样本增量学习中新旧类别数据的有效学习. 具体而言, 在基础学习阶段, 利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述, 并通过文本编码器实现预训练视觉特征到文本空间的映射. 进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征. 在增量学习阶段, 提出类别空间引导的抗遗忘学习, 利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器, 实现新数据知识学习的同时复习旧知识. 在4个数据集(CIFAR-100, CUB-200, Car-196和 miniImageNet)上验证算法的有效性, 证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性.     

元迁移学习在少样本跨域图像分类中的研究

目的 现有基于元学习的主流少样本学习方法假设训练任务和测试任务服从相同或相似的分布,然而在分布差异较大的跨域任务上,这些方法面临泛化能力弱、分类精度差等挑战。同时,基于迁移学习的少样本学习方法没有考虑到训练和测试阶段样本类别不一致的情况,在训练阶段未能留下足够的特征嵌入空间。为了提升模型在有限标注样本困境下的跨域图像分类能力,提出简洁的元迁移学习（compressed meta transfer learning,CMTL）方法。方法 基于元学习,对目标域中的支持集使用数据增强策略,构建新的辅助任务微调元训练参数,促使分类模型更加适用于域差异较大的目标任务。基于迁移学习,使用自压缩损失函数训练分类模型,以压缩源域中基类数据所占据的特征嵌入空间,微调阶段引导与源域分布差异较大的新类数据有更合适的特征表示。最后,将以上两种策略的分类预测融合视为最终的分类结果。结果 使用mini-ImageNet作为源域数据集进行训练,分别在EuroSAT(EuropeanSatellite)、ISIC(InternationalSkinImagingCollaboration)、CropDiseas(Cr...     

基于深度聚类的无监督特征嵌入学习

为了提高无监督嵌入学习对图像特征的判别能力,提出一种基于深度聚类的无监督学习方法。通过对图像的嵌入特征进行聚类,获得图像之间的伪类别信息,然后最小化聚类损失来优化网络模型,使得模型能够学习到图像的高判别性特征。在三个标准数据集上的图像检索性能表明了该方法的有效性,并且优于目前大多数方法。     

多模态引导的局部特征选择小样本学习方法

深度学习模型取得了令人瞩目的成绩,但其训练依赖于大量的标注样本,在标注样本匮乏的场景下模型表现不尽人意.针对这一问题,近年来以研究如何从少量样本快速学习的小样本学习被提了出来,方法主要采用元学习方式对模型进行训练,取得了不错的学习效果.但现有方法:1)通常仅基于样本的视觉特征来识别新类别,信息源较为单一; 2)元学习的使用使得模型从大量相似的小样本任务中学习通用的、可迁移的知识,不可避免地导致模型特征空间趋于一般化,存在样本特征表达不充分、不准确的问题.为解决上述问题,将预训练技术和多模态学习技术引入小样本学习过程,提出基于多模态引导的局部特征选择小样本学习方法.所提方法首先在包含大量样本的已知类别上进行模型预训练,旨在提升模型的特征表达能力;而后在元学习阶段,方法利用元学习对模型进行进一步优化,旨在提升模型的迁移能力或对小样本环境的适应能力,所提方法同时基于样本的视觉特征和文本特征进行局部特征选择来提升样本特征的表达能力,以避免元学习过程中模型特征表达能力的大幅下降;最后所提方法利用选择后的样本特征进行小样本学习.在MiniImageNet、CIFAR-FS和FC-100这3个基准数...     

基于核保持嵌入的子空间学习

子空间学习是特征提取领域中的一个重要研究方向,其通过一种线性或非线性的变换将原始数据映射到低维子空间中,并在该子空间中尽可能地保留原始数据的几何结构和有用信息.子空间学习的性能提升主要取决于相似性关系的衡量方式和特征嵌入的图构建手段.文中针对子空间学习中的相似性度量与图构建两大问题进行研究,提出了一种基于核保持嵌入的子空间学习算法(Kernel-preserving Embedding based Subspace Learning,KESL),该算法通过自表示技术自适应地学习数据间的相似性信息和基于核保持的构图.首先针对传统降维方法无法挖掘高维非线性数据的内部结构问题,引入核函数并最小化样本的重构误差来约束最优的表示系数,以期挖掘出有利于分类的数据结构关系.然后,针对现有基于图的子空间学习方法大都只考虑类内样本相似性信息的问题,利用学习到的相似性矩阵分别构建类内和类间图,使得在投影子空间中同类样本的核保持关系得到加强,不同类样本间的核保持关系被进一步抑制.最后,通过核保持矩阵与图嵌入的联合优化,动态地求解出最优表示下的子空间投影.在多个数据集上的实验结果表明,所提算法在分类任务中的性能优于主流的子空间学习算法.     

基于核保持嵌入的子空间学习

子空间学习是特征提取领域中的一个重要研究方向,其通过一种线性或非线性的变换将原始数据映射到低维子空间中,并在该子空间中尽可能地保留原始数据的几何结构和有用信息.子空间学习的性能提升主要取决于相似性关系的衡量方式和特征嵌入的图构建手段.文中针对子空间学习中的相似性度量与图构建两大问题进行研究,提出了一种基于核保持嵌入的子空间学习算法(Kernel-preserving Embedding based Subspace Learning,KESL),该算法通过自表示技术自适应地学习数据间的相似性信息和基于核保持的构图.首先针对传统降维方法无法挖掘高维非线性数据的内部结构问题,引入核函数并最小化样本的重构误差来约束最优的表示系数,以期挖掘出有利于分类的数据结构关系.然后,针对现有基于图的子空间学习方法大都只考虑类内样本相似性信息的问题,利用学习到的相似性矩阵分别构建类内和类间图,使得在投影子空间中同类样本的核保持关系得到加强,不同类样本间的核保持关系被进一步抑制.最后,通过核保持矩阵与图嵌入的联合优化,动态地求解出最优表示下的子空间投影.在多个数据集上的实验结果表明,所提算法在分类任务中的性能优于主流的子空间学习算法.     

面向小样本数据的机器学习方法研究综述

小样本学习是面向小样本数据的机器学习,旨在利用较少的有监督样本数据去构建能够解决实际问题的机器学习模型。小样本学习能够解决传统机器学习方法在样本数据不充分时性能严重下降的问题,可以为新型小样本任务实现低成本和快速的模型部署,缩小人类智能与人工智能之间的距离,对推动发展通用型人工智能具有重要意义。从小样本学习的概念、基础模型和实际应用入手,系统梳理当前小样本学习的相关工作,将小样本学习方法分类为基于模型微调、基于数据增强、基于度量学习和基于元学习,并具体阐述这4大类方法的核心思想、基本模型、细分领域和最新研究进展,以及每一类方法在科学研究或实际应用中存在的问题,总结目前小样本学习研究的常用数据集和评价指标,整理基于部分典型小样本学习方法在Omniglot和Mini-ImageNet数据集上的实验结果。最后对各种小样本学习方法及其优缺点进行总结,分别从数据层面、理论研究和应用研究3个方面对小样本学习的未来研究方向进行展望。     

基于少样本学习的通用隐写分析方法

近年来,深度学习在图像隐写分析任务中表现出了优越的性能.目前,大多数基于深度学习的图像隐写分析模型为专用型隐写分析模型,只适用于特定的某种隐写术.使用专用隐写分析模型对其他隐写算法的隐写图像进行检测,则需要该隐写算法的大量载密图像作为数据集对模型进行重新训练.但在实际的通用隐写分析任务中,隐写算法的大量载密图像数据集是难以得到的.如何在极少隐写图像样本的情况下训练通用隐写分析模型是一个极大的挑战.对此,受少样本学习领域研究成果的启发,提出了基于转导传播网络的通用隐写分析方法.首先,在已有的少样本学习分类框架上改进了特征提取部分,设计了多尺度特征融合网络,使少样本分类模型能够提取到更多的隐写分析特征,使其可用于基于秘密噪声残差等弱信息的分类任务;其次,针对少样本隐写分析模型难收敛的问题,提出了预训练初始化的方式得到具有先验知识的初始模型;然后,分别训练了频域和空域的少样本通用隐写分析模型,通过自测和交叉测试,结果表明,检测平均准确率在80%以上;接着,在此基础上,采用数据集增强的方式重新训练了频域、空域少样本通用隐写分析模型,使少样本通用隐写分析模型检测准确率与之前相比提高到87%以上;最后,将得到的少样本通用隐写分析模型分别与现有的频域和空域隐写分析模型的检测性能进行比较,结果显示,空域上少样本通用隐写分析模型在常用的少样本环境下的检测准确率稍低于SRNet和ZhuNet,频域上少样本通用隐写分析模型在常见的少样本环境下的检测准确率已超越现有的频域隐写分析模型.实验结果表明,基于少样本学习的通用隐写分析方法对未知隐写算法的检测具有高效性和鲁棒性.     

小样本关系分类研究综述

关系分类作为构建结构化知识的重要一环,在自然语言处理领域备受关注.但在很多应用领域中(如医疗、金融等领域)收集充足的用于训练关系分类模型的数据十分困难.近年来,仅需要少量训练样本的小样本学习逐渐应用于关系分类研究中.该文对近期小样本关系分类模型与方法进行了系统的综述.根据度量方法的不同,将现有方法分为原型式和分布式两大...     

小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为了目前人们需要关注的问题.本文系统梳理了当前小样本学习的相关工作,具体介绍了基于模型微调、基于数据增强和基于迁移学习三大类小样本学习模型与算法的研究进展;本文将基于数据增强的方法细分为基于无标签数据、基于数据合成和基于特征增强三类,将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络三类.本文还总结了目前常用的小样本数据集,以及代表性的小样本学习模型在这些数据集上的实验结果,随后对小样本学习的现状和挑战进行了概述,最后展望了小样本学习的未来发展方向.     

基于随机近邻嵌入的判别性特征学习

特征学习是机器学习中的一项重要技术,研究从原始数据中学习后置任务所需的数据表示.目前,多数特征学习算法侧重于学习原始数据中的拓扑结构,忽略了数据中的判别信息.基于此,提出了基于随机近邻嵌入的判别性特征学习模型.该模型将对判别信息的学习与对拓扑结构的学习融合在一起,通过迭代求解的方式,同时完成对这两者的学习,从而得到原始...     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

Physics-informed few-shot learning for wind pressure prediction of low-rise buildings

This research proposes a physics-informed few-shot learning model to predict the wind pressures on full-scale specimens based on scaled wind tunnel experiments. Existing machine learning approaches in the wind engineering domain are incapable of accurately extrapolating the prediction from scaled data to full-scale data. The model presented in this research, on the other hand, is capable of extrapolating prediction from large-scale or small-scale models to full-scale measurements. The proposed ML model combines a few-shot learning model with the existing physical knowledges in the design standards related to the zonal information. This physical information helps in clustering the few-shot learning model and improves prediction performance. Using the proposed techniques, the scaling issue observed in wind tunnel tests can be partially resolved. A low mean-squared error, mean absolute error, and a high coefficient of determination were observed when predicting the mean and standard deviation wind pressure coefficients of the full-scale dataset. In addition, the benefit of incorporating physical knowledge is verified by comparing the results with a baseline few-shot learning model. This method is the first of its type as it is the first time to extrapolate in wind performance prediction by combining prior physical knowledge with a few-shot learning model in the field of wind engineering. With the benefit of the few-shot learning model, only a low-resolution of the measuring tap configuration is required, and the reliance on physical wind tunnel experiments can be reduced. The physics-informed few-shot learning model is an efficient, robust, and accurate alternate solution to predicting wind pressures on full-scale structures based on various modeled scale experiments.     

基于深度神经网络的少样本学习综述

如何从少数训练样本中学习并识别新的类别对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为数据增强方法、迁移学习方法、度量学习方法和元学习方法四种类别;对于每个类别,进一步将其分为几个子类别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后强调了现有方法的局限性,并指出了少样本学习研究领域未来的研究方向。     

基于卷积神经网络的低嵌入率空域隐写分析

近年来,基于深度学习的空域隐写分析研究在高嵌入率下已经取得了较好的成果,但是对低嵌入率的检测效果还不太理想.因此设计了一种卷积神经网络结构,使用SRM滤波器进行预处理来获取隐写噪声残差,采用3个卷积层并对卷积核大小进行合理设计,通过适当选择批量归一化操作和激活函数来提升网络的性能.实验结果表明：与现有方法相比,所提出的网络结构对WOW,S-UNIWARD和HILL这3种常见的空域内容自适应隐写算法取得了更好的检测效果,且在低嵌入率0.2bpp,0.1bpp和0.05bpp下的检测效果有非常明显的提升.还提出了逐步迁移（step by step）的迁移学习方法,进一步提升低嵌入率条件下的隐写分析效果.