基于变分自编码器潜变量语义提炼的样本生成方法

人工智能的逐步应用对行业的生产效率和技术变革影响显著, 传统行业因样本收集难度大、成本高、涉及个人隐私等原因, 进行深度学习时, 面临着小样本和不平衡数据问题. 现有的样本扩充方法存在着生成效果不能兼顾广泛性和合理性等问题. 为此, 提出一种基于变分自编码器潜变量语义提炼的样本扩充算法, 利用神经网络的权重作为输入特征...     

结合知识图谱的变分自编码器零样本图像识别

近年来,结合生成模型的零样本算法得到了广泛的研究,但此类方法通常仅使用属性注释,缺少类别语义,而单一信息对类别表征能力不够强,容易产生域偏移,影响知识迁移的效果,进而降低分类结果的准确率。为了解决此问题,提出一种结合知识图谱变分自编码器零样本识别算法（KG-VAE）,通过构建联合类别分级结构,类别文本描述和词向量的层次结构化知识图谱作为语义信息库,将知识图谱中丰富的语义知识结合到以变分自编码器为基础的生成模型中,使生成的潜在特征更好保留有效的判定性信息,减小域偏移,促进知识迁移。在四个公开的零样本数据集上进行了实验,对比基准方法 CADA-VAE,分类平均准确率有一定的提高;同时利用消融实验证明了知识图谱作为语义辅助信息的有效性。     

基于双通道变分自编码器的高光谱图像分类

针对现有高光谱图像变分自编码器（variational autoencoder,VAE）分类算法存在空间和光谱特征利用效率低的问题,提出一种基于双通道变分自编码器的高光谱图像深度学习分类算法。通过构建一维条件变分自编码器（conditional variational autoencoder,CVAE）特征提取框架和二维循环通道条件变分自编码（channel-recurrent conditional variational autoencoders,CRCVAE）特征提取框架分别提取高光谱图像的光谱特征和空间特征,将光谱特征向量和空间特征向量叠加形成空谱联合特征向量,将联合特征送入Softmax分类器中进行分类。在Indian pines和Pavia University两种高光谱数据集上进行了分析验证,实验结果显示,与其他算法相比,提出的算法在总分类精度、平均分类精度和Kappa系数等评价指标上至少提高了3.40、2.75和3.57个百分点,结果显示提出的算法得到了最高的分类精度和更好的可视化效果。     

基于变分自编码器的交互式旋律生成方法

现有的交互式神经音乐生成方法主要存在控制模式不灵活、数据标注困难以及模型难以优化等问题。针对这些问题,提出了一种基于变分自编码器(VAE)的无监督交互式旋律生成方法。通过为VAE引入显式的旋律轮廓条件推理学习,实现了对生成旋律局部与全局特征的灵活控制。实验表明,该方法易于优化且具有良好的旋律局部与全局特征的控制能力。通过对大量生成样本的分析,证明了模型从音乐数据中学习到了有用的音乐知识。     

基于变分自编码器的不平衡样本异常流量检测

随着机器学习技术的快速发展,越来越多的机器学习算法被用于攻击流量的检测与分析,然而攻击流量往往只占网络流量中极小的一部分,在训练机器学习模型时存在训练集正负样本不平衡的问题,从而影响模型训练效果.针对不平衡样本问题,文中提出了一种基于变分自编码器的不平衡样本生成方法,其核心思想是在对少数样本进行扩充时,不是对全部进行扩...     

基于变分自编码器的谣言立场分类算法

针对当前谣言检测任务中社交媒体推特平台的推文数据分布复杂且不均衡的特点,提出基于变分自编码器（VAE）的谣言立场分类算法VAE-LSTM。对数据进行预处理后,利用word2vec模型提取推文词向量并输入VAE中进行训练,得到符合简单概率分布的深度特征序列再从中采样获取有效特征,以避免数据量较大的推文类别影响特征向量。在此基础上,使用长短时记忆（LSTM）网络处理向量序列数据进而实现分类。理论分析和实验结果表明,VAE-LSTM算法无须手动提取或添加特征,训练过程简单高效,同时能缓解类间不平衡问题,其应用于实际场景准确率和F1得分分别为0.800和0.494,与时序注意力机制算法、Turing算法、霍克斯过程算法等相比分类性能更好,且较SVM等早期机器学习方法节省了大量数据预处理时间。     

基于变分自编码器的人脸图像修复

基于卷积神经网络的人脸图像修复技术在刑事侦破、文物保护及影视特效等领域有着重要的应用.但现有方法存在着图像修复结果不够清晰以及结果多样化不足等缺点,为此,提出了一种基于变分自编码器的人脸图像修复方法.首先设计了一种变分自编码器的变种网络,通过引入生成对抗网络解决修复人脸图像不清晰的问题,同时对变分自编码器中的隐变量进行约束,使得其中各个维度相互独立,实现特征解耦操作;最后通过动态规划获得最佳分割边界,利用泊松图像编辑得到无缝融合的结果.在CelebA数据集上的实验结果表明,该方法获得了良好的图像修复结果,同时,通过显式地控制隐变量的不同维度,展现了不同属性的人脸图像修复结果.     

基于变分自编码器的评分预测模型

深度学习模型具有鲁棒性差的局限性,常见的如在图片中增加特定的噪声会影响到图片的分类和预测结果。近期有学者将深度学习引入到推荐系统中,因此在推荐系统中也存在噪声对推荐精度影响的问题。针对深度推荐模型的鲁棒性问题,基于变分自编码器（Variational Auto-Encoder,VAE）提出了新的评分预测模型REVAE （REcommender Variational Auto-Encoder）。该模型为了训练模型对噪声干扰的鲁棒性,在传统的VAE上增加了一层隐层表示,利用后验分布对隐层表示进行约束,并在该隐层上增加了噪声,通过重构输入数据,训练得到具有抗噪能力的推荐算法模型。在公开的Movielens数据集上进行的实验结果表明,REVAE可以有效降低噪声对模型的干扰,使得整个模型更具有健壮性,相比其他评分预测算法具有更好的推荐效果。     

变分自编码器对甲基化缺失数据的填补

针对高通量测序技术因各种原因导致的DNA甲基化测序数据中包含部分缺失值的问题。提出一种基于变分自编码器的DNA甲基化缺失数据填补模型VAE-MethImp。VAE-MethImp是一种深度隐含空间生成模型,由编码层、隐含层和解码层组成,拥有强大的重构输入数据能力。编码层进行均值和方差的推断;隐含层是通过编码层输出的均值和方差计算出的输入数据的专属正态分布;解码层对隐含层包含的特征进行解码生成重构后的数据。通过在肺癌和乳腺癌上的填补实验证明,VAE-MethImp提取的特征更具信息性。在填补精度上,VAE-MethImp比对照方法（均值（Mean）、最近邻（KNN）、主成分分析（PCA）和奇异值分解（SVD））中最优的SVD提升了4.8%。生存分析实验结果显示VAE-MethImp填补的数据具有更好的预测性,同时也证明DNA甲基化与癌症的生存存在直接关联。     

基于变分自编码器的生成式文本摘要研究

从单文档中生成简短精炼的摘要文本可有效缓解信息爆炸给人们带来的阅读压力。近年来,序列到序列(sequence-to-sequence,Seq2Seq)模型在各文本生成任务中广泛应用,其中结合注意力机制的Seq2Seq模型已成为生成式文本摘要的基本框架。为生成能体现摘要的特定写作风格特征的摘要,在基于注意力和覆盖率机制的Seq2Seq模型基础上,在解码阶段利用变分自编码器(variational auto-encoder,VAE)刻画摘要风格特征并用于指导摘要文本生成;最后,利用指针生成网络来缓解模型中可能出现的未登录词问题。基于新浪微博LCSTS数据集的实验结果表明,该方法能有效刻画摘要风格特征、缓解未登录词及重复生成问题,使得生成的摘要准确性高于基准模型。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

基于自编码器的特征迁移算法

近年来,栈式自编码网络（stacked auto-encoder,SAE）在大规模数据集上表现出优异的图像分类性能。相对于其他图像分类方法中手工设计的低级特征,SAE的成功归因于深度网络能够学习到丰富的中级图像特征。然而,估计上百万个网络参数需要非常庞大的带标签的图像样本数据集。这样的性质阻止了SAE在小规模训练数据上的许多应用。在这篇文章中,提出的算法展示如何将SAE在大规模数据集上学习到的图像表示有效地迁移到只有有限训练数据的视觉识别任务中。实验部分设计了一个方法来复用在MNIST数据集上训练得到的隐藏层,以此计算在MNIST-variations数据集上的中级图像表示。实验结果展示了尽管两个数据集之间存在差异,但是被迁移的图像特征能够使得模型的分类性能得到极大的提升。     

融入变分自编码网络的文本生成三维运动人体

目的 针对现有动态三维数字人体模型生成时不能改变体型、运动固定单一等问题,提出一种融合变分自编码器（variational auto-encoder,VAE）网络、对比语言—图像预训练（contrastive language-image pretraining,CLIP）网络与门控循环单元（gate recurrent unit,GRU）网络生成运动三维人体模型的方法。该方法可根据文本描述生成相应体型和动作的三维人体模型。方法 首先,使用VAE编码网络生成潜在编码,结合CLIP网络零样本生成体型与文本表述相符的人体模型,以解决蒙皮多人线性（skinned multi-person linear,SMPL）模型参数不合理而生成不符合正常体型特征的人体模型问题;其次,采用VAE网络与GRU网络生成与文本表述相符的变长时间三维人体姿势序列,以解决现有运动生成方法仅生成事先指定的姿势序列、无法生成运动时间不同的姿势序列问题;最后,将体型特征与运动特征结合,得到三维运动人体模型。结果 在HumanML3D数据集上进行人体生成实验,并与其他3种方法进行比较,相比于现有最好方法,R精度的Top1、Top2和Top3分别提高了0.031、0.034和0.028,弗雷歇初始距离（Fréchet inception distance,FID）提高了0.094,多样性提高了0.065。消融实验验证了模型的有效性,结果表明本文方法对人体模型生成效果有提升。结论 本文方法可通过文本描述生成运动三维人体模型,模型的体型和动作更符合输入文本的描述。     

基于改进型变分自编码器的不确定性空间信息重建方法

不确定性空间信息在众多科学领域得到了广泛应用。然而目前用于不确定性空间信息重建的方法需要多次对训练图像（TI）进行扫描,再通过复杂的概率计算获得模拟结果,导致这些方法的效率较低,且模拟过程复杂。针对这一问题,提出了将费雪信息量和变分自编码器（VAE）结合应用于不确定性空间信息的重建。首先,通过编码器神经网络对空间信息的结构特征进行学习,并训练得到空间信息的均值和方差;然后,进行随机采样,根据采样结果和空间信息的均值、方差重建中间结果,并将编码器神经网络的优化函数与费雪信息量相结合来优化网络;最后,将中间结果输入解码器神经网络中,以对空间信息进行解码重建,并将解码器的优化函数与费雪信息量结合对重建结果进行优化。通过比较各方法重建结果与训练数据的多点连通曲线、变差函数、孔隙分布和孔隙度表明,所提方法的重建质量比其他方法的更好。具体来说,该方法重建结果的平均孔隙度为0.171 5,与其他方法重建结果的平均孔隙度更接近训练数据的孔隙度0.170 5。且相较于传统方法,其平均CPU利用率从90%下降到25%,平均内存占用下降了50%,说明该方法的重建效率更高。而通过重建质量和重建效率两个方面的对比,说明了该方法的有效性。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

深度学习在遥感影像分类中的研究进展

随着遥感技术和计算机技术的不断发展,传统的遥感影像分类方法已不能满足如今遥感影像分类的需求。近年来,随着深度学习方面研究成果的不断涌现,它给遥感影像的分类提供了一种新的思路和方法。首先概述了遥感影像分类的发展和深度学习的基本概念,然后重点介绍了基于深度置信网、卷积神经网络和栈式自动编码器等深度学习模型在遥感影像分类中的研究进展,最后提出了目前研究中存在的问题及遥感影像分类的发展趋势。     

基于深度自编码网络的运动目标检测

针对从动态背景中提取前景效果较差的问题,提出了一种基于深度自编码网络的运动目标检测方法。首先,用一个三层的深度自编码网络从视频图像中提取不包含运动目标的背景图像,将背景图像作为变量构造了深度自编码网络的代价函数;然后,构造了一个分离函数得到了输入图像的背景图像,再用另一个三层的深度自编码网络学习提取出的背景图像;为了使深度自编码网络的学习能够在线地提取运动目标,还提出了一种在线学习算法,通过寻找对代价函数敏感度较低的权重进行合并,从而能够对更多的视频图像进行处理。实验结果表明,所提方法在从动态背景中提取出前景运动目标上相比Lu等的前景检测的工作(LU C, SHI J, JIA J. Online robust dictionary learning. Proceeding of the 2013 IEEE Conference on Computer Vision and Pattern Recognition, Piscataway: IEEE Press, 2013:415-422)检测的准确率提高了6%,并且误报率降低了4.5%。在实际的应用中,能够获得更好的前景背景分离效果,为视频分析等方面的研究奠定更好的基础。     

基于深度信息的特征学习与动作识别方法

为了进行复杂交互动作识别,提出基于深度信息的特征学习方法,并使用两层分类策略解决相似动作识别问题.该方法从频域的角度分析深度图像动作序列,提取频域特征,利用VAE对特征进行空间特征压缩表示,建立HMM模拟时序变化并进行第一层动作识别.为了解决相似动作识别问题,引入三维关节点特征进行第二层动作识别.实验结果表明,两种特征在动作数据集SBU-Kinect上能够有效地表示姿态含义,策略简单有效,识别准确率较高.     

深度自编码与自更新稀疏组合的异常事件检测算法

基于深度学习的异常检测算法输入通常为视频帧或光流图像,检测精度和速度较低。针对上述问题,提出了一种以运动前景块为中心的卷积自动编码器和自更新稀疏组合学习(convolutional auto-encoders and self-updating sparse combination learning, CASSC)算法。首先,采用自适应混合高斯模型(gaussian mixture model, GMM)提取视频前景,并以滑动窗口的方式根据前景像素点占比过滤噪声;其次,构建3个卷积自动编码器提取运动前景块的时空特征;最后,使用自更新稀疏组合学习对特征进行重构,依据重构误差进行异常判断。实验结果表明,与现有算法相比,该方法不仅有效地提高了异常事件检测的准确性,且可以满足实时检测需求。