人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影.对其关键模块进行了改进,并引入了新的损失函数.直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能.通过两步训练法,解决网络训练时调参困难的问题.引入热图损失、面部注意力损失和对抗性损失训练,提高超分辨率人脸图像的质量.实验结果证明,采用改进后的方法,可以生成面部细节更加清晰的高质量人脸图像.     

聚类与跟踪相结合的人脸数据集生成方法研究

为提高人脸数据集生成的准确率和效率,提出了一种将人脸跟踪与人脸聚类相结合的人脸数据集生成方法.首先,对KCF算法进行改进,并将改进的KCF算法用于人脸跟踪,得到不同时间片段的人脸图像集; 其次,从每个人脸图像集中通过人脸图像优选算法选出高质量的人脸图像; 再次,将优选出来的人脸图像进行人脸聚类,以完成视频中每个人的人脸数据集的生成; 最后,通过实验对比基于人脸跟踪、基于人脸聚类和基于本文方法的人脸数据集生成效果.实验结果表明,本文方法与基于人脸跟踪的人脸数据集生成方法相比,纯度提升约15%; 与基于人脸聚类的人脸数据集生成方法相比,效率提升约50%.     

基于深度特征聚类的海量人脸图像检索

针对海量人脸图像数据库检索时长的问题,提出了一种基于深度特征聚类的海量人脸图像检索算法.该算法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸图像分类训练,在此基础上采用三元组损失方法对已训练好的人脸图像分类网络模型进行微调,使得网络能够更加有效地提取人脸图像的高层语义特征,构建更具有表征性的人脸图像深度特征.其次采用K-means聚类算法对提取的人脸图像深度特征进行聚类,使得同一个人的人脸图像能够划分到同一簇中,然后在相应的簇中进行人脸图像的深度特征相似度匹配执行人脸图像检索任务.为了进一步提高系统的检索性能,提出人脸图像深度特征融合的查询扩展方法,对待检索的人脸图像深度特征进行融合再次执行检索任务得到最终的检索结果.通过在两个人脸检索数据集(Celebrities Face Set和Labeled Faces in the Wild dataset)上进行详尽实验验证,结果表明,该算法能极大地缩小海量人脸图像数据库的检索范围,在保证一定准确率的前提下有效地提高了人脸图像检索的速度.     

三维人脸衰老数据库的生成

采用改进的形变模型方法将真实人脸衰老图像重建成三维人脸,进而生成三维人脸衰老数据库,并根据性别和年龄形成三维衰老人脸性别子库和衰老子库.结果表明,此方法可有效地为三维人脸衰老化研究提供三维衰老人脸数据.     

基于卷积-反卷积网络的正交人脸特征学习算法

身份特征与表情特征是人脸图像分析中的两组重要特征,传统的有监督正交人脸特征学习(supervised orthogonal facial feature learning,SOFFL)算法虽然能够在给定表情和身份标签时学习这一对特征,但因数据要求较高令其应用受限.提出一种低数据要求的无监督正交人脸特征学习(unsupervised orthogonal facial feature learning,UOFFL)算法,通过提取正交人脸特征的统一框架,假设人脸图像空间中仅有身份和表情变化,使用重构损失、分类损失和相关性最小化损失的组合,采用深度卷积-反卷积神经网络,从已对齐的人脸图像中联合学习,提取身份和表情特征.其中,分类损失用于学习表情特征;相关性最小化损失用于提高身份特征和表情特征之间的独立性;重构损失用于确保两组特征组合的信息完整性.在大规模合成人脸表情数据集(large-scale synthesized facial expression dataset,LSFED)和受限的Radboud人脸数据集(Radboud faces dataset,RaFD)上进行验证,将所学身份特征空间中的欧氏距离用于人脸验证任务,结果表明,算法性能接近联合贝叶斯等有监督人脸识别方法.UOFFL算法可在身份标签缺失的条件下,仅使用表情特征学得身份特征.相比改进前的SOFFL算法,该方法缓解了对身份标签的依赖,适用场合更广.     

结合注意力机制的人脸超分辨率重建

因受成像设备限制,得到的人脸图像分辨率通常较低,针对此问题提出了一种将生成对抗网络和注意力机制相结合的方法,来对人脸图像进行多尺度超分辨率重建。将深度残差网络和深度神经网络分别作为生成器和判别器,并将注意力模块与深度残差网络中的残差块相结合,重建出与高分辨率图像高度相似且难以被判别器区分的超分辨率人脸图像。实验结果证明,所提出的方法能够有效地提升人脸图像的分辨率,同时也证明了注意力机制在图像细节信息重建中的重要作用。     

结合小波与递归神经网络的低分辨率人脸识别

针对低分辨率人脸图像缺少有效信息而导致识别率较低的问题,提出一种结合哈尔小波与递归神经网络的低分辨率人脸识别方法。首先,通过深层网络直接预测小波系数,经过小波逆变换得到高分辨率人脸图像,可以有效地重建高频信息;其次,在卷积神经网络中加入递归模块,在增加网络深度的同时减少参数冗余,提升模型的映射能力;最后,提出一种优化的重建与感知损失融合方法,将小波系数重建损失与感知损失进行加权融合,用以生成有利于识别的人脸图像。基于公开数据集,对图像重建质量与识别性能进行了对比。实验结果表明,即使在极低的分辨率条件下(8×8,16×16),仍然能够重建出更加锐利的人脸图像。在此基础上,其识别能力优于目前领先的超分辨率重建算法。     

基于生成对抗网络的人脸铅笔画算法

传统的铅笔画绘制技术主要是基于对笔画方向、粗细、长短和纹理的模拟,生成结果生硬单一,并且缺少艺术感.为了使铅笔画生成结果更加具有艺术感,同时能够保留原始人脸图像的结构,提出了一种利用生成对抗网络将真实人脸图像转换成具有铅笔画风格图像的方法c生成网络利用卷积生成具有铅笔画效果的人脸图像,对抗网络用于学习艺术家真实手绘的人脸铅笔画分布,并且优化了距离偏差,加入了细节控制损失.实验结果表明,该方法生成的人脸铅笔画图像风格更加灵活,更加具有艺术感.     

人脸图像检索系统的设计

为了能直接通过图像检索自己所需要的信息,提出了一种直接根据人脸图像来检索信息的技术,采用基于重心模板匹配的人脸检测技术与主成分分析方法、线性判别分析方法相结合的人脸识别技术设计并实现了一个人脸图像检索系统.该系统对于视频序列和大容量的人脸数据库能够实时进行人脸图像检索.实验结果表明:该系统交互性好,检索准确率高,检索时间短,能较好地满足用户的要求.     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

高分辨率计算集成成像自由视点光场重构方法

针对传统自由视点集成成像计算重构方法重构图像分辨率较低的问题,提出了一种基于光场模型的自由视点计算重构方法.根据视点位置和观看方向,采用光场投影矩阵将微单元图像阵列投影到重构平面上,充分利用微单元图像阵列中的信息,实现了高分辨率的自由视点集成成像计算重构.仿真结果表明,采用文中方法可以实现集成成像系统的自由视点计算重构,且重构图像的分辨率比传统方法重构图像的分辨率有了很大提高.     

采用后验信息构建稀疏原子库的超分辨率人脸重建

为了提高监控噪声环境下人脸图像的重建质量,提出基于后验信息的鲁棒性原子库构建方法及基于该原子库的超分辨率的方法,通过事后采集现场图像,训练只对输入图像的清晰内容稀疏而对噪声内容不稀疏的低维原子集和与之相对应的高维原子集,计算低维空间的稀疏系数并映射到高维空间以合成出重建人脸图像,从而提高基于稀疏表示的局部脸超分辨率对于监控噪声的鲁棒性.实验结果表明:对于实际拍摄的监控图像输入,提出的基于后验信息的原子库具有很好的鲁棒性能,重建结果比传统方法有更好的主观效果.     

基于多尺度特征映射网络的图像超分辨率重建

针对基于卷积神经网络的图像超分辨率重建（SRCNN）方法存在的重建网络浅、特征利用率低以及重建图像模糊等问题,提出基于多尺度特征映射网络的图像超分辨率重建方法. 多尺度特征映射网络通过学习低分辨率（LR）特征与高分辨率（HR）特征之间的映射关系,将多个尺度的LR特征映射到HR特征空间,通过特征融合来提高重建过程中对特征的利用率;该方法定义了结合逐像素损失、感知损失和对抗损失的联合损失函数,从低频内容、图像边缘和局部纹理等方面均衡提升重建图像质量. 对数据集Set5、Set14和BSD100的图片4倍下采样后进行测试,与当前主流方法进行比较和分析. 实验证明,基于生成对抗的多尺度特征映射网络在提高图像感知质量方面表现优秀,重建的图像具有更加清晰的边缘和纹理,在客观评价上具有较好的评分.     

基于多级残差U-Net的稀疏SPECT图像重建

低剂量单光子发射型断层扫描(Single-Photon Emission Computed Tomography,SPECT) 能够减少放射性示踪剂对人体的辐射损害,因此其临床应用变得愈发重要。SPECT扫描可通过投影角度稀疏采样实现低剂量成像;若直接对稀疏采样投影数据进行迭代重建,投影角度的缺失将导致重建图像中出现严重的射线伪影。现今主流的临床方法普遍在图像重建优化模型中引入特定的正则项以抑制射线伪影,然而该类方法不具有通用性,并且正则项过度依赖于经验选取。本文提出一种新颖的神经网络结构以学习稀疏采样投影数据与全角度采样投影数据之间的映射关系;通过所提网络结构合成缺失角度的投影数据,来提升重建图像的质量。数值实验表明,相较于传统迭代重建方法,论文重建方法所得图像的结构相似性(Structural Similarity, SSIM)提高了59%,标准均方误差(Normalized Mean-Square-Error, NMSE)降低了67%,峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)提高了2.48 dB。因此,所提方法能较好地改善稀疏采样投影数据成像后的图像质量。     

基于自适应流形相似性的图像显著性区域提取算法

为了在图像显著性区域提取过程中改善算法的自适应性和精准度,提出基于自适应流形相似性的图像显著性区域检测算法。将图像分割成超像素,根据图像中显著性区域频率变化比较大的特性,生成图像显著性区域的高频节点;针对高频节点利用凸包运算寻找显著性区域的种子节点;使用流形算法在图像中对种子节点进行显著性区域信息扩散,得到图像的显著性区域。试验结果表明:利用流形算法搭建求解每个数据的邻接矩阵进行信息扩散,能够在保证信息精准分类的同时提高算法的自适应性,其结果优于同类的图像显著性区域检测算法。     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

基于生成对抗模型的可见光-红外图像匹配方法

针对现有异源图像匹配存在的模态差异大、匹配难度大、鲁棒性差等问题, 基于生成对抗网络转换思想及传统的局部特征提取能力, 提出基于生成对抗模型的可见光-红外图像匹配方法. 依据生成对抗网络（GAN）的风格转换思想, 增加了损失函数计算通路并构建新的损失函数, 改进模型在异源图像上的转换效果. 利用SIFT算法分别提取转换后同源图像的特征信息, 确定待匹配点的位置和尺度. 依据匹配策略间接完成待配准图像的特征匹配及相似性度量. 在实景航拍数据集上进行实验验证. 结果表明, 利用该方法能够有效地处理多模数据, 降低异源图像的匹配难度, 为多模态图像匹配问题提供新的思路.     

非局部稀疏表示正则化的磁共振图像重建

传统的基于稀疏性先验和全变分正则项约束的图像重建算法不能有效重建图像中的各种结构。为了提高重建质量,在采用传统重建算法中基于稀疏性的先验约束的同时,将重建图像的稀疏系数应逼近原始图像稀疏系数这一先验约束引入图像重建模型。通过图像子块之间的非局部相似性估计原始图像,得到非局部稀疏表示正则化的磁共振图像重建模型,并利用快速混合分裂算法求解模型。实验结果表明,算法能够对磁共振图像进行较好的重建。