人脸图像超分辨率的自适应流形学习方法

样本规模与使用方法是基于学习的超分辨率中的一个重要问题.面向人脸图像超分辨率重建,提出一种基于局部保持投影(LPP)的自适应流形学习方法.由于能够揭示隐含在高维图像空间中的非线性结构,LPP是一种可以在局部人脸流形上分析其内在特征的、有效的流形学习方法.通过在LPP特征子空间中动态搜索出与输入图像块最相似的像素块集合作为学习样本,实现了自适应样本选择,并且利用动态样本集合通过基于像素块的特征变换方法有效地恢复出低分辨率人脸图像中缺失的高频成分.实验结果证实:通过在局部人脸流形上自适应地选择学习样本,文中方法可以仅使用相对少量的样本来获得很好的超分辨率重建结果.     

基于局部保持投影的人脸超分辨率方法研究

通常,人脸图像能够看作是嵌入到高维空间中的低维流形的点的集合。流形学习被用于很多降维方法中,局部保持投影（LPP）便是其中的一种。针对局部保持投影方法进行了研究,将局部保持投影算法融入到超分辨率方法中,并将其结合到人脸图像的复原上。介绍现有的基于LPP的人脸图像的超分辨率算法。     

基于组合学习的人脸超分辨率算法

现有的基于深度学习的人脸超分辨算法大部分仅仅利用一种网络分区重建高分辨率输出图像,并未考虑人脸图像中的结构性信息,导致了在人脸的重要器官重建上缺乏足够的细节信息。针对这一问题,提出一种基于组合学习的人脸超分辨率算法。该算法独立采用不同深度学习模型的优势重建感兴趣的区域,由此在训练网络的过程中每个人脸区域的数据分布不同,不同的子网络能够获得更精确的先验信息。首先,对人脸图像采用超像素分割算法生成人脸组件部分和人脸背景图像;然后,采用人脸组件生成对抗网络（C-GAN）独立重建人脸组件图像块,并采用人脸背景重建网络生成人脸背景图像;其次,使用人脸组件融合网络将两种不同模型重建的人脸组件图像块自适应融合;最后,将生成的人脸组件图像块合并至人脸背景图像中,重建出最终的人脸图像。在FEI数据集上的实验结果表明,与人脸图像超分辨率算法通过组件生成和增强学习幻构人脸图像（LCGE）及判决性增强的生成对抗网络（EDGAN）相比,所提算法的峰值信噪比（PSNR）值分别高出1.23 dB和1.11 dB。所提算法能够采用不同深度学习模型的优势组合学习重建更精准的人脸图像,同时拓展了图像重建先验的来源。     

一种应用于人脸识别的超分辨率方法

为提高局部保持投影(LPP)在人脸图像超分辨率中的适用性,在LPP中引入典型相关分析(CCA),提出一种相关性增强的局部保持投影方法(CELPP)。CELPP用于提取高分辨率图像与低分辨率图像特征,根据关系学习建立低分辨率图像特征与高分辨率图像特征之间的映射变换,输入低分辨率图像,通过CELPP特征提取和关系映射,得到高分辨率图像,并将其用于人脸识别。对人脸库ORL和Yale进行的实验结果表明,该方法同时考虑了高分辨率图像与低分辨率图像的相似性及同类图像的局部结构性,在基于人脸识别的超分辨率应用中优于LPP和CCA。     

联合局部约束的邻域嵌入人脸超分辨率重建

目的 现有的基于邻域嵌入的人脸超分辨率重建算法只利用了低分辨率图像流形空间的几何结构,而忽略了原始高分辨率图像的流形几何结构,不能很好的反映高低分辨率图像流形几何结构的关系。此外,其对同一幅图像中的不同图像块选取固定数目的最近邻域图像块,从而导致重建质量的下降。为了充分利用原始高分辨率图像空间的几何结构信息,提出基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建算法。方法 该方法结合待重构图像与低分辨率图像样本库的相似性约束与初始高分辨图像与高分辨率图像样本库的相似性约束,形成约束低分辨率图像块的重构权重,并利用该重构权重估计出高分辨率的人脸图像,同时引入自适应邻域选择的方法。结果 在CAS-PEAL-R1人脸库上的实验结果表明,相较于传统的基于邻域嵌入的人脸超分辨率重建方法,本文算法在PSNR和SSIM上分别提升了0.39 dB和0.02。相较于LSR重建方法,在PSNR和SSIM上分别提升了0.63 dB和0.01;相较于LcR重建方法,在PSNR和SSIM上分别提升了0.36 dB和0.003 2;相较于TRNR重建方法,在PSNR和SSIM上分别提升了0.33 dB和0.001 1。结论 本文所提的重建方法在现有人脸数据库上进行实验,在主观视觉和客观评价指标上均取得了较好的结果,可进一步适用于现实监控视频中人脸图像的高分辨率重建。     

应用于人脸识别的改进局部保持投影算法

局部保持投影算法（locality preserving projections,LPP）作为降维算法,在机器学习和模式识别中有着广泛应用。在识别分类中,为了更好的利用类别信息,在保持样本点的局部特征外,有效地从高维数据中提取出低维的人脸图像信息并提高人脸图像的识别率和识别速度,使分类达到一定优化,基于LPP算法结合流形学习思想,通过构造一种吸引向量的方法提出一种改进的局部保持投影算法（reformation locality preserve projections ,RLPP）。将数据集利用极端学习机分类器进行分类后,在标准人脸数据库上的进行试验,实验结果证明,改进后算法的识别率优于LPP算法、局部保持平均邻域边际最大化算法和鲁棒线性降维算法,具有较强的泛化能力和较高的识别率。     

结合结构自相似性和卷积网络的单幅图像超分辨率

针对单幅图像超分辨率（SR）复原病态逆问题,在重建过程边缘细节丢失导致的模糊,提出一种结合结构自相似和卷积网络的单幅图像超分辨率算法。首先,通过将尺度分解获得待重构图片样本的自身结构相似性,结合外部数据库样本结合作为训练样本,可以解决样本过于分散的问题;其次,将样本输入卷积神经网络（CNN）进行训练学习,得到单幅图像超分辨率的先验知识;然后,利用非局部约束项自适应选择最优字典重建图像;最后,利用迭代反投影算法对图像超分辨率效果进一步提升。实验结果表明,与双三次插值（Bicubic）方法、K-SVD算法和基于卷积神经网络的图像超分辨率（SRCNN）方法等优秀算法相比,所提算法可以得到边缘更为清晰的超分辨率重建效果。     

基于语义感知和空间注意力的人脸图像超分辨率重建

人脸图像超分辨率重建在人脸图像处理中具有重要的应用价值,近年来得到了广泛的研究。然而,以前的工作往往不能为真实世界的低质量人脸图像产生可信的高质量结果,例如在关键人脸结构（眼睛、嘴巴等）以及皮肤纹理等方面还有较大的改善空间。提出了一种基于语义感知和空间注意力的网络结构,用于人脸图像超分辨率重建。引入了一种语义感知风格损失,以改善人脸纹理的细节。此外,还引入了空间注意力残差块（SARB）,这使得卷积层能够自适应地引导与关键人脸结构相关的特征。最后在Helen和CelebA数据集上的实验结果表明,该方法在人脸图像超分辨率重建方面优于其他方法。     

加权的多尺度多分辨率人脸描述与识别方法

为克服人脸表情、光照变化等对图像中人脸识别结果的影响,文中提出一种加权的多尺度多分辨率人脸描述与识别方法.首先使用多分辨率分析分解图像为子带图像,并选择3个不同尺度的低频子带图像构建多尺度和多分辨率图像序列.然后针对图像序列的每幅图像编码人脸局部区域的中心像素与其邻域像素的灰度差的符号分量,体现人脸局部结构的重要性.再利用人脸局部区域中心像素与邻域像素的灰度差的幅值分量作为像素局部二值模式的权重.最后利用块Fisher线性判别降低特征描述符的维数,同时增强判别能力.在ORL和FERET人脸库上的实验表明该方法可获得明显的性能提升.     

融合全局与局部视角的光场超分辨率重建

针对光场相机结构和像素传感器分辨率的限制导致光场图像空间分辨率和角度分辨率都较低的问题,提出一种融合全局与局部视角的光场超分辨率重建算法,同时提高光场图像的空间分辨率和角度分辨率。首先根据待重建新视角的位置,自适应选择局部视角,利用空间超分辨率卷积神经网络提高全局视角和局部视角的空间分辨率,然后提取并融合全局视角和局部视角在新视角处映射图像的深度特征和颜色特征,通过角度分辨率卷积神经网络重建获得新视角图像。实验结果表明,与现有方法相比,峰值信噪比(PSNR)提高约3 dB,结构相似性指数(SSIM)提高约0.02,有效地解决了遮挡情况下重建新视角局部目标丢失现象,同时更好地保持新视角的边缘信息,获得更优的重建效果。     

基于改进的局部保持投影算法的人脸识别

局部保持投影算法是基于流形的学习方法,在人脸识别过程中容易遇到奇异值问题,为此提出一种利用奇异值分解的方法。在模型中,样本数据被投影到一个非奇异正交矩阵中,解决了奇异值问题;然后再根据局部保持投影算法求出新样本空间的低维投影子空间。将训练样本和测试样本分别投影到低维子空间中,再利用最近邻分类器进行分类识别。在ORL人脸数据库中,采用了一系列的实验来对比该算法与传统局部保持投影算法和主成分分析算法的识别效果。实验结果验证了改进的局部保持投影算法在人脸识别的有效性。     

LPP solution schemes for use with face recognition

Locality preserving projection (LPP) is a manifold learning method widely used in pattern recognition and computer vision. The face recognition application of LPP is known to suffer from a number of problems including the small sample size (SSS) problem, the fact that it might produce statistically identical transform results for neighboring samples, and that its classification performance seems to be heavily influenced by its parameters. In this paper, we propose three novel solution schemes for LPP. Experimental results also show that the proposed LPP solution scheme is able to classify much more accurately than conventional LPP and to obtain a classification performance that is only little influenced by the definition of neighbor samples.     

基于自适应最近邻的局部保持投影算法

局部保持投影（LPP）是一种新的数据降维技术,但其本身是一种非监督学习算法,对于分类问题效果不是太好。基于自适应最近邻,结合LPP算法,提出了一种有监督的局部保持投影算法（ANNLPP）。该方法通过修改LPP算法中的权值矩阵,在降维的同时,增加了类别信息,是一种有监督学习算法。通过二维数据可视化和UMIST、ORL 人脸识别实验,表明该方法对于分类问题具有较好的降维效果。     

一种高效的K值自适应的SA-KNN算法

传统的K近邻(KNN)分类算法在实际应用过程中存在一些缺陷:没有考虑去除噪声样本,也没有考虑到在样本数据空间变换过程中保持样本数据本身的流形学结构,并且没有使用样本间属性的相关性。为此,提出引入稀疏学习理论,利用训练样本重构测试样本的方法,重构过程使用了样本间的相关性,也用到局部保持投影LPP保持数据结构不变,同时引入l2,1范数用于去除噪声样本的方法来寻找投影变换矩阵W,进而利用W确定KNN算法中K值的SA-KNN算法。在UCI数据集上的仿真实验结果表明,该方法比传统的KNN分类算法和Entropy-KNN算法有更高的分类准确度。     

全局加权稀疏局部保留投影

针对稀疏保留投影(SPP)算法运行时间较长并且忽略了样本的类间差异信息的问题,在稀疏保留投影算法的基础上,提出了全局加权稀疏局部保留投影(GWSLPP)算法。该算法在保持样本的稀疏重构关系的同时,使样本具有很好的鉴别能力,算法通过对样本进行稀疏重构处理;然后对样本进行投影并且最大化样本的类间散度;最后利用得到的投影将样本分类。该算法分别在FERET人脸库和YALE人脸库上进行实验。实验结果表明,全局加权稀疏保留算法在执行时间和识别率综合性能上,优于局部保留投影(LPP)、SPP和FisherFace算法,执行时间只有25s,识别率能达到95%以上,实验数据验证了算法的有效性。     

全局加权稀疏局部保留投影

针对稀疏保留投影(SPP)算法运行时间较长并且忽略了样本的类间差异信息的问题,在稀疏保留投影算法的基础上,提出了全局加权稀疏局部保留投影(GWSLPP)算法。该算法在保持样本的稀疏重构关系的同时,使样本具有很好的鉴别能力,算法通过对样本进行稀疏重构处理;然后对样本进行投影并且最大化样本的类间散度;最后利用得到的投影将样本分类。该算法分别在FERET人脸库和YALE人脸库上进行实验。实验结果表明,全局加权稀疏保留算法在执行时间和识别率综合性能上,优于局部保留投影(LPP)、SPP和FisherFace算法,执行时间只有25s,识别率能达到95%以上,实验数据验证了算法的有效性。     

Face hallucination based on two-dimensional joint learning

In this paper, a face hallucination method based on two-dimensional joint learning is presented. Unlike the existing works on face super-resolution algorithms that first reshape the image or image patch into 1D vector, in our study the spatial construction of the high resolution (HR) and the low resolution (LR) face image are efficiently maintained in the reconstruction procedure. Enlightened by the 1D joint learning approach for image super-resolution, we propose a 2D joint learning algorithm to map the original 2D LR and HR image patch spaces onto a unified feature subspace. Subsequently, the neighbor-embedding (NE) based super-resolution algorithm can be conducted on the unified feature subspace to estimate the reconstruction weights. With these weights, the initial HR facial image can be generated. To refine further the initial HR estimate, the global reconstruction constraint is exploited to improve the quality of reconstruction result. Experiments on the face databases and real-world face images demonstrate the effectiveness of the proposed algorithm.     

基于图像重构的MNIST对抗样本防御算法

随着深度学习的应用普及,其安全问题越来越受重视,对抗样本是在原有图像中添加较小的扰动,即可造成深度学习模型对图像进行错误分类,这严重影响深度学习技术的发展.针对该问题,分析现有对抗样本的攻击形式和危害,由于现有防御算法存在缺点,提出一种基于图像重构的对抗样本防御方法,以达到有效防御对抗样本的目的 .该防御方法以MNIS...     

Adaptive linear discriminant regression classification for face recognition

Linear discriminant regression classification (LDRC) was presented recently in order to boost the effectiveness of linear regression classification (LRC). LDRC aims to find a subspace for LRC where LRC can achieve a high discrimination for classification. As a discriminant analysis algorithm, however, LDRC considers an equal importance of each training sample and ignores the different contributions of these samples to learn the discriminative feature subspace for classification. Motivated by the fact that some training samples are more effectual in learning the low-dimensional feature space than other samples, in this paper, we propose an adaptive linear discriminant regression classification (ALDRC) algorithm by taking special consideration of different contributions of the training samples. Specifically, ALDRC makes use of different weights to characterize the different contributions of the training samples and utilizes such weighting information to calculate the between-class and the within-class reconstruction errors, and then ALDRC seeks to find an optimal projection matrix that can maximize the ratio of the between-class reconstruction error over the within-class reconstruction error. Extensive experiments carried out on the AR, FERET and ORL face databases demonstrate the effectiveness of the proposed method.