基于ResNet50改进模型的图像分类研究

针对深度学习中残差网络ResNet50存在的信息丢失、特征提取不充分、网络过拟合和训练困难等问题，文中提出一种基于改进ResNet50的图像分类算法。针对残差网络ResNet50在提取特征时存在丢失输入特征映射情况，造成信息丢失的问题，对主干网络中Stage4的下采样块添加平均池化层，进一步提高网络特征提取能力；针对ResNet50训练过程中存在网络过拟合以及泛化能力差的问题，使用标签平滑方法对交叉熵损失函数进行修改，有效缓解网络损失值震荡幅度；针对ResNet50计算量大、训练困难的问题，使用混合精度和余弦退火衰减方法对模型进行训练，在加快网络收敛速度的同时提高模型的分类精度。实验结果表明，与原ResNet50网络相比，文中算法在ImageNet-1k数据集上Top1和Top5的精度分别提升3.2%和1.6%，能够更好地应用于图像分类任务。     

基于视图感知的单视图三维重建算法

尽管由于丢弃维度将3维(3D)形状投影到2维(2D)视图看似是不可逆的,但是从可视化到计算机辅助几何设计,各个垂直行业对3维重建技术的兴趣正迅速增长。传统基于物体深度图或者RGB图的3维重建算法虽然可以在一些方面达到令人满意的效果,但是它们仍然面临若干问题:(1)粗鲁的学习2D视图与3D形状之间的映射;(2)无法解决物体不同视角下外观差异所带来的的影响;(3)要求物体多个观察视角下的图像。该文提出一个端到端的视图感知3维(VA3D)重建网络解决了上述问题。具体而言,VA3D包含多邻近视图合成子网络和3D重建子网络。多邻近视图合成子网络基于物体源视图生成多个邻近视角图像,且引入自适应融合模块解决了视角转换过程中出现的模糊或扭曲等问题。3D重建子网络使用循环神经网络从合成的多视图序列中恢复物体3D形状。通过在ShapeNet数据集上大量定性和定量的实验表明,VA3D有效提升了基于单视图的3维重建结果。     

基于自编码器结构改进的无监督图像异常检测

基于自编码器结构的无监督学习算法已经被广泛应用在异常检测中如智能制造、医疗影像、安防监控等领域。针对现有的基于自编码器结构的图像异常算法模型与传统有监督模型相比仍存在识别精度差、鲁棒性较差、训练效率低的问题,提出了基于图像特征重建方法的自编码器架构和基于迁移学习思想对自编码器进行特征增强处理的异常检测算法。通过引入预先训练的特征提取网络作为前置图像特征提取模块完成对输入图像多尺度特征的提取和融合,得到输入图像的多尺度特征融合图,再据此选择搭另一个预训练网络和自编码器组成Teacher-Student模型,完成自编码器模型的快速收敛。基于多尺度特征融合图的重建思想是利用了图像卷积特征的可判别性,实现了对图像潜在的异常信息的辨识。在自编码器与预训练网络构成的T-S模型中,经过预训练的T模型将S模型的解空间限定在一定范围,极大加速了模型的训练过程。在MVTec-AD标准数据集上将本文所提方法与现有方法进行实验对比,验证了方法的可行性。     

一种基于先验生成对抗网络的人脸超分辨率重建方法

针对人脸超分辨率算法中图像失真大、缺乏细节特征等问题,提出了一种基于先验知识的人脸超分辨率重建模型。通过在超分网络中加入纹理辅助分支,为重建过程提供额外纹理结构先验,以生成精细的面部纹理,恢复高分辨率纹理图。同时引入级联叠加模块对纹理辅助分支进行反馈。设计特征融合模块,将纹理特征图与超分分支特征图融合,获得更好的纹理细节;将纹理损失融入损失函数,以提高网络恢复纹理细节的能力。4倍放大因子下,该方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性指数(Structural Similarity Index, SSIM)比现有方法至少提升1.082 5 dB和0.036,无参考图像质量评价(Natural Image Quality Evaluator, NIQE)至少降低1.690 2;8倍放大因子下,该方法的PSNR与SSIM值分别至少提升0.787 5 dB和0.046 85,NIQE值最小降低3.92。     

基于非均匀采样的多模型红外三维目标跟踪

针对红外三维目标跟踪过程中目标姿态变化导致跟踪器失效的问题,提出了一种基于非均匀采样的多模型方法.首先用若干个原型视图表征三维目标,将这些原型视图对应的原型形状作为目标的多模型形状表示,并建立了这些原型形状之间的转移概率矩阵.在粒子滤波框架下,以对数极坐标变换下的原型视图中目标的灰度分布特征作为参考目标模型.通过对形状转移概率采样,实现了样本形状的转移与传播.此方法提高了跟踪器对于姿态变化的鲁棒性,同时具有非均匀采样特性的对数极坐标变换可以抑制图像尺度、旋转造成的畸变,并起到压缩周边的计算量的作用.仿真结果表明,这种算法对三维目标有较好的跟踪效果.     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明：DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

基于网格的最小交叉熵算法在PET图像重建中的应用

基于内容的自适应三角形网格模型是描述图像的一种有效方法,本文将网格模型与最小交叉熵算法相结合,并加入先验解剖信息,用于PET图像重建.在本文提出的新算法中,先将投影数据用滤波反投影方法(FBP)生成参考图像,再对参考图像提取网格节点,用加入先验解剖信息的最小交叉熵算法对网格节点灰度值进行迭代计算,最后利用迭代后的网格节点灰度值对象素点进行插值得到重建后的图像.在仿真实验中,将该算法与最大似然方法(MLEM)等算法作比较,并分析了参数对重建结果的影响.     

聚合残差注意力网络的单图像超分辨率重建

针对现有生成式对抗网络对单图像进行超分辨率重建时存在特征信息挖掘不足、算法复杂度高及训练不稳定的问题，提出一种聚合残差注意力网络的单图像超分辨率重建方法。首先，以聚合残差模块作为基本残差块构造生成器，降低计算复杂度，在每个残差块中引入具有三维权重的注意力模块作为网络主通道，在不引入其他参数情况下捕获更多的高频信息。其次，在鉴别器中采用谱归一化处理，对鉴别器网络参数进行限制，从而稳定训练过程。最后，采用拟合性更好的Swish激活函数，提高网络的特征提取能力。将鲁棒性更好的Charbonnier损失函数作为像素损失，同时加入正则化损失抑制图像噪点，提升图像的空间平滑性。实验结果表明，所提方法得到的四倍放大的超分辨率重建图像在Set5、Set14、BSD100三个公开数据集上的峰值信噪比平均值提高了1.54 dB，结构相似性平均值提高了0.0457，重建图像拥有更好的清晰度和更为丰富的高频细节。     

语义分割网络重建单视图遥感影像数字表面模型

该文提出了一种仅依靠激光探测与测量数据,实现单视图遥感影像数字表面模型(DSM)重建的新方法。该方法基于深度学习技术设计了一种编码-解码结构的语义分割网络,该网络采用多尺度残差融合的编码块与解码(MRFED)块从输入图像中提取语义信息,进而逐像素预测高度值;采用特征图跳跃级联的策略保留输入图像的细节特征和结构信息。该文采用了一个包含DSM数据的遥感影像公开数据集训练与测试模型,实验结果表明:DSM重建结果与真值的平均绝对误差(MAE)为2.1e-02,均方根误差(RMSE)为3.8e-02,结构相似性(SSIM)为92.89%,均优于经典的深度学习语义分割网络。实验证实该方法能够有效实现单视图遥感影像的DSM重建,具有较高的精度,以及较强的地物分布结构重建能力。     

一种基于反射特性的人脸三维重建方法

不同姿势下的人脸识别研究中的一种重要思路就是在三维空间解决姿势变化问题,如何由二维人脸图像得到三维人脸形状是其中的一项关键技术.本文提出了一种由两幅正面人脸图像估计人脸表面反射特性,重建三维形状的算法.首先根据人脸的对称特性,由两幅给定光照的正面人脸图像,估计得到个性化人脸特征:反射特性(反射系数与法向量的乘积),并提出消除鼻梁阴影的改进算法;然后由反射特性重建三维人脸形状,最后根据估计得到的反射特性和三维形状合成不同姿势下的人脸图像,实验结果表明,本文提出算法合成的人脸图像更自然一些,而且合成图像不受训练集图像的影响.本方法计算简单,并且不需要任何三维人脸数据作为先验知识.     

基于卷积神经网络的定量磁化率图像重建

文中提出了解决定量磁化率成像中偶极子反卷积的病态逆问题和快速重建高质量无伪影的定量磁化率图像的算法。基于k空间阈值法(TKD)初步重建三维定量磁化率图像(QSM),随后将TKD重建图像输入训练完成的三维卷积神经网络(CNN)模型中获得预测图像。在k空间中将TKD重建图像与CNN预测图像进行融合重建最终QSM图像。结果表明:与金标准相比,算法能够重建视觉上误差较小和无条形伪影的磁化率图像;卷积神经网络可以恢复病态区域的信号,k空间融合方法有效解决了偶极子反卷积的病态性。测试集上的重建结果在标准均方根误差(NRMSE)和高频误差范数(HFEN)重建误差上均低于主流算法。     

基于梯度方向直方图的红外与可见光融合网络的损失函数

基于深度学习的图像融合方法实现了良好的图像融合性能，近年来经过快速发展，被广泛应用于生物特征识别、自动驾驶和目标追踪等方面。深度学习网络在提取图像的重要纹理细节和保存重要信息等方面依然存在许多挑战。因此，提出了一种适用于红外与可见光图像融合网络的损失函数，在损失函数中引入了梯度方向直方图（HOG）损失，HOG特征可以反映图像局部的梯度方向和梯度大小，用HOG特征作损失函数可以提升网络提取图像细节信息的能力。将HOG损失与多尺度结构相似性损失相结合，用设计的损失函数训练了NestFuse、Res2Fusion和UNFusion 3个红外与可见光图像融合网络。在TNO数据集上，所提模型将融合图像的标准差（SD）分别提高2.1476%、1.2273%和1.4444%，将融合图像的视觉信息保真度（VIF）分别提高1.6529%、1.4936%和1.2902%；在RoadScene数据集上，所提模型将融合图像的SD分别提高1.0083%、1.1669%和0.7214%，将融合图像的VIF分别提高1.8093%、1.8063%和1.0406%。实验结果表明，所提损失函数可以从源图像中提取更多有效信...     

基于改进生成对抗网络的单帧图像超分辨率重建

为了获得更好的图像超分辨率重建质量,提高网络训练的稳定性,对生成对抗网络、损失函数进行研究。首先,介绍了SRGAN和DenseNet,并设计了基于DenseNet的生成网络用以生成图像,且将子像素卷积模块加入到DenseNet中。接着,移除了原本DenseNet中冗余的BN层,提高了模型的训练效率。最后,介绍了SRGAN的损失函数并基于Earth-Mover距离来重新设计损失函数,并且用SmoothL1损失取代MSE损失来计算VGG特征图,以防止MSE放大最大误差和最小误差间的差距。实验证明:该模型在网络训练过程中能够达到稳定收敛的状态。重建出的图像质量对比SRGAN,在3个基准测试集SET5,SET14,BSD100上的平均PSNR要高约2.02dB,SSIM高约0.042(5.6%)。重建出的图像不仅在指标上有所提升,且拥有更好的清晰度,高频细节更为丰富。     

基于专家场先验模型的图像超分辨重建算法

为了进一步提高图像超分辨率重建的质量,针对非局部集中稀疏表示算法中重建图像的噪声问题,提出了一种基于专家场先验模型的图像超分辨率重建改进算法。首先,利用专家场模型从图像训练集中学习整幅图像的先验知识建立全局先验模型;然后将学习到的先验信息用于非局部集中稀疏表示模型求解最优稀疏表示系数;最后,得到高分辨率图像估计。该算法在超分辨率重建迭代运算的同时,同步更新专家场模型参数,因此在不显著增加运算复杂度的情况下,通过选取合适的先验约束,有效地增强了图像重建的效果。实验结果表明:相比非局部集中稀疏表示算法,文中算法对无噪和有噪降质图像均能取得较好的峰值信噪比结果,并且能够进一步提高有噪图像的去噪效果。     

基于多尺度残差网络的CT图像超分辨率重建

为了将超分辨率重建算法应用于医学影像领域,提升各类医学影像的分辨率,针对当前主流算法网络结构和分辨率提升倍数的尺度单一性问题,提出了一种应用于CT图像的多尺度残差网络模型。首先,通过级联多层残差块构建模型框架,残差块内采用3种尺度的卷积核提取低分辨率图像的细节特征。然后,将特征图融合在一个维度进行特征映射和数据降维,并将多尺度特征信息导入下一残差块。最后,将网络学习到的残差图与低分辨率图像融合,重建高分辨率图像。采用经过多种放大倍数处理的CT图像对网络进行混合训练,实现了一个模型可以同时支持多种倍数的分辨率提升。实验结果表明:在2,3,4倍放大因子下,该模型重建的CT图像PSNR平均较VDSR算法高0.87,0.83,1.16dB。因此,本文模型有效提升了CT图像的超分辨率重建效果,更锐利地恢复了其细节特征,同时大大提升了算法实用性。     

融合注意力机制的高分辨人脸识别图像重建

针对由于人脸姿势、光照不均、拍摄环境、拍摄设备等内外部因素造成图像分辨率低的问题,提出融合注意力机制的高分辨人脸识别图像重建模型.首先以低分辨率人脸图像对作为两个生成器输入,通过残差块和注意力模块堆叠网络提取人脸特征信息,进而生成高分辨率人脸图像.训练中使用一个鉴别器来监督两个生成器的训练过程.利用Adam算法对鉴别器...     

基于注意力机制的单视图三维重建

利用深度学习的方法进行单视图三维重建时,网络中的外部辅助结构大幅提高了其重建效果,但也增加了网络的参数量和运算量。对此,在编码器中减少卷积层数量,并设计注意力模块。在注意力模块中,利用大核注意力为图像空间信息分配不同的权重。此外,利用向量融合保持空洞卷积过程中的空间信息关系。在重建过程中,编码器通过卷积层和注意力模块交替提取图像特征后,将编码向量直接输入到解码器,在解码器中上采样并输出重建模型,实现无需外部辅助结构的重建。在ShapeNet数据集上的对比实验表明网络在较低的模型参数量和运算量下具有更好的三维重建效果。     

基于Zernike矩的三维目标多视点特性视图建模

目标的模型化是三维目标识别的一个重要环节。由于从多视点特征法建立的模型能够避免从二维图像中恢复目标的三维结构．在三维目标识别中应用比较广泛。使用镶嵌式多面体分割视觉空间以得到三维目标的多视点投影图像,采用较小的镶嵌单元尺寸以完备地描述目标各种姿态的信息。Zernike矩具有旋转不变性,并能够方便地由各阶矩重建图像。计算多面体各个单元的投影图像的Zernike矩．所需的矩的最高阶次由重建图像与原图像的差别确定,通过聚类方式合并那些图像的矩变化很小的投影对应的几个小单元．每个新单元可以提取一幅特性视图．实现较小数目的多视点特性视图的建模。实验证明了这种方法的可行性。     

基于光流法与伪三维残差网络的微表情识别

微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。      

基于深度学习与泰勒展开的吸毒成瘾者识别

本文旨在利用深度学习方法通过面部图像以及抽象特征中的局部信息对吸毒成瘾者的成瘾程度和社区矫正时间进行识别。本文提出了一个基于泰勒展开式的神经网络模型,以深度残差网络作为主干网络,并嵌入泰勒特征图,使模型的训练时间减少、特征提取更加准确从而达到实时性的目标。实验过程中先对ResNet18进行预训练,再对嵌入的泰勒特征模式进行微调,网络末端通过全连接层与Softmax函数的组合进行分类,随机梯度下降的优化目标采用了交叉熵损失。此方法对于吸毒成瘾程度的识别准确度达到80.35％,对于社区矫正时间的识别准确率达到59.31%,该模型性能得到有效提升。