融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

多尺度非监督特征学习的人脸识别

为了充分利用人脸图像的潜在信息,提出一种通过设置不同尺寸的卷积核来得到图像多尺度特征的方法,多尺度卷积自动编码器（Multi-Scale Convolutional Auto-Encoder,MSCAE）。该结构所提取的不同尺度特征反映人脸的本质信息,可以更好地还原人脸图像。这种特征提取框架是一个卷积和采样交替的层级结构,使得特征对旋转、平移、比例缩放等具有高度不变性。MSCAE以encoder-decoder模式训练得到特征提取器,用它提取特征,并融合形成用于分类的特征向量。BP神经网络在ORL和Yale人脸库上的分类结果表明,多尺度特征在识别率和性能上均优于单尺度特征。此外,MSCAE特征与HOG（Histograms of Oriented Gradients）的融合特征取得了比单一特征更高的识别率。     

多尺度卷积三维重建特征点检测方法

为提高特征点检测的质量和性能，实现间接提高三维重建的模型效果，建立一个多尺度卷积的特征点检测模型。参考多尺度模型思想，设计一个通过有监督的学习，使用卷积运算检测点特征点的方法；在融合多尺度与视觉注意力机制的基础上，通过恒等映射改善图像特征丢失的缺点，提高特征点检测的重复率。通过在不同数据集上进行测试，有效检测到大量准确且重复的特征点，相比于同类方法，有效降低了检测的时间成本。     

基于单级特征金字塔的图像旋转目标检测

遥感图像的目标检测任务是遥感应用领域的一个研究热点,一直受到广泛的关注。随着遥感图像分辨率的提高,遥感图像中目标的多方向性、目标大纵横比等特点更加明显,这对于已有的方法是一个挑战。针对以上问题,提出了基于单级特征金字塔的图像旋转目标检测模型。设计了单级特征金字塔结构,并结合膨胀卷积组获得目标的多尺度特征;使用分类方法处理旋转框的角度信息,结合DETR的集合预测思想,构造新的边界框回归损失,实现无锚框旋转目标检测;为了减少模型计算量并加快收敛速度,在解码器的交叉注意力上加入权重约束,将全局注意力计算限制在局部范围内。在DOTA数据集上的实验证明,该方法在提升模型检测性能的同时,有效地解决了DETR模型收敛速度慢的问题。     

多尺度密集网络在红外和可见光图像融合应用

为了进一步提升红外和可见光图像的融合效果,提出了一种基于多尺度卷积算子和密集连接网络的图像融合模型.该模型首先使用多尺度卷积算子计算图像的直接多尺度特征,然后使用密集连接网络计算图像的间接多尺度特征.为了得到图像像素信息在不同尺度下的融合权重,通过叠加的方式将各个尺度密集连接网络的输出进行融合,并使用活动图方法计算两类图像的融合权重,最后根据权重计算结果得到融合图像,实验在THO数据集和CMA数据集获得较好的识别率.     

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题，提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法，实现对图像低级边缘、边界、目标轮廓的检测。首先构建了双通道主干网络，包含语义分支通道和空间细节分支通道；其次基于多尺度原则，构建了多尺度及注意力机制模块，对特征图像的高、宽、通道的维度变换，分配特征权重，在捕捉跨通道信息的同时，还能够捕捉方向感知和位置感知的信息；最后将空洞融合模块融合到语义分支通道中，提升网络提取特征信息的能力。实验结果表明，所提出的算法对光伏板图像边缘检测性能有提升，相较HED、RCF与FCN算法，F1值提升了2.83%、0.37%与1.54%，获得了较为清晰的裂缝图像。     

结合反射图像的双流多层次融合人脸活体检测

针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images,DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion,DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。     

基于优选LBP与加权SVM的年龄估计*

针对人脸识别中由于年龄变化使识别率急剧下降的问题,提出了一种基于优选局域二值模式与加权支持向量机回归相结合的年龄估计方法。该方法首先对人脸图像进行分块,提取出各分块的LBP直方图;然后采用神经网络贡献分析法计算出各个特征的贡献值,筛选掉贡献较小的特征并对筛选后的特征赋予相应的权值;最后使用加权SVM回归训练得到年龄函数估算出目标图像的年龄。实验结果表明,该方法可以较为准确快速地对人脸图像进行年龄估计。     

融合多尺度特征的复杂手势姿态估计网络

目的 基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法 1）采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2）在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3）计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4）综合以上结果获得最终的手势姿态。结果 采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在In...     

基于梯形跨尺度特征耦合网络的SAR图像舰船检测

在合成孔径雷达（SAR）图像舰船检测中,现有检测方法难以有效提取多尺度语义信息,无法准确地表示其在整个网络中的信息权重,且定位模块与分类模块相关性较弱,导致定位不准确。提出一种梯形跨尺度特征耦合网络,通过梯形特征金字塔网络提取各级语义信息,采用交叉结构代替跳连结构,提高网络的泛化能力和语意表征能力,并引入可训练权重因子表示各级语义信息的重要性。在此基础上,将定位模块与分类模块通过耦合检测头增强两者之间的相关性,引入可变形卷积对最终的定位输出进行二次校准,从而提高检测精度。实验结果表明,与FasterRCNN、CascadeRCNN、RetinaNet等主流网络相比,该网络在SSDD数据集上的检测精度提高了2.74个百分点以上,具有良好的检测性能。在近岸复杂场景下,该网络能更有效地检测密集目标和多尺度目标,降低误检和漏检的概率。     

引入注意力机制的多分辨率人体姿态估计研究

针对人体姿态估计任务中多分辨率特征表征直接融合时存在无法有效利用特征图空间特征信息的问题,基于High-Resolution Net（HRNet）进行结构设计,构建出结合了通道域注意力和空间域注意力机制的多分辨率人体姿态估计网络GCT-Nonlocal Net（GNNet）,提出了一种基于注意力机制的多分辨率表征融合方法,在不同分辨率表征融合前由空间注意力提取出各分辨率表征更有用的空间特征信息来改进融合单元,使得各分辨率表征间的信息融合效果更佳,最终输出的高分辨率表征含有更丰富的特征信息,同时构造了Gateneck模块和Gateblock模块,其通过引入通道注意力更明确地对通道关系建模从而高效地提取通道信息。在MS COCOVAL 2017进行验证,结果显示提出的GNNet相较于SOTA级表现的HRNet在相当参数量与运算量的情况下获得了更高的准确度,mAP提高了1.4个百分点。实验结果表明,所提方法有效地提高了多分辨率特征表征融合效果。     

多通路轻量化卷积神经网络的研究

大量研究表明,卷积神经网络宽度展宽可以提取更加多元的特征,但对模型通道宽度进行展宽时,引起训练参数量呈二次增长,进而导致训练成本高与网络模型庞大的问题。针对上述问题,提出多通路模块,通过优化模块内部通路的运算结构,使得模型可以经济高效地提取多元特征。具体来说,与传统网络宽度展宽方式相比,多通路模块避免在通道维度上展宽,将展宽方式转移到通路维度,保证输出特征多样性的同时有效降低了模型参数量。由于网络深度加深更容易提取抽象的语义信息,多通路模块通过对各计算通路设定不同的卷积深度,使得模块具有多尺度特征提取能力,即使得输出特征中既包含细节位置信息,也包括逐渐抽象的语义信息。在研究过程中,利用注意力机制改善模块内通路关系时,发现注意力机制存在一定条件性。实验结果表明,由多通路模块组成的5.3 MB轻量化卷积神经网络,在CiFar-10上分类准确度比43.4 MB的Res-Net-18高出1.32%。对模型优化后（33 MB）,分类准确度达到了95.15%,较SE-Net18(45.1 MB)精度提升0.65%。     

基于多尺度联合权重分配的目标检测算法

针对SSD(single shot multibox detector)算法在复杂交通场景下对交通标志小目标识别效果不佳的问题,提出一种基于多尺度特征互补和重点特征信息挖掘（multi-scale feature complementary fusion and key feature information mining SSD,MK-SSD）的目标检测改进算法。利用跨阶段局部网络设计多尺度特征互补模块,同时构建多路径特征融合网络,有效提升浅层网络对小目标的特征提取能力。设计联合权重分配模块,将感知域与重点信息挖掘相结合,更高效地利用重点特征信息并抑制对非重点信息的关注度。利用轻量化残差块对预测网络进行改进,提升目标检测能力。经实验分析,改进后的算法在自制交通标志数据集上平均准确率达到89.64%,在保证实时性的同时,相较于YOLO系列和SSD系列算法拥有更高的检测精度,能检测出大部分SSD网络漏检的小目标。     

基于多尺度特征融合的改进臂丛神经分割方法

臂丛神经超声影像信噪比（SNR）低、边缘模糊且人工分割难度较大。现有的分割模型虽然取得了一些成果,但碍于臂丛神经结构目标区域小、形状不规则,分割效果欠佳。针对上述问题,设计基于多尺度特征融合的臂丛神经分割模型,即针对神经部位分割的特征金字塔网络（Ner-FPN）。在特征提取阶段,设计一种仿Xception的结构进行多尺度特征提取;在预测分割阶段,采用双向FPN结构进行特征融合预测。在Kaggle臂丛神经超声影像分割竞赛的BP数据集上的实验结果表明,Ner-FPN模型对臂丛神经分割的Dice相似系数（DSC）可达0.703,与主流的深度学习分割模型U-Net、SegNet相比,分别提高了10.7个百分点和14.5个百分点,对比相同数据集中的其他改进模型QU-Net和Efficient+U-Net,DSC分别提高了5.5个百分点和3.4个百分点,可见所提模型能够起到辅助诊断的效果。     

一种基于2DLPP和2DLDA的人脸识别方法研究

局部保持投影（locality preserving projection,LPP）和线性鉴别分析（linear discrimin antanalysis,LDA）是两种有效的一维特征提取方法,广泛应用于人脸识别领域。但采用一维特征提取方法时会存在列向量化时样本的结构信息被破坏和样本在提取特征时必须对协方差矩阵进行特征分解,对于高维小样本的问题很容易出现协方差矩阵奇异的问题。文中提出将二维局部保持投影（2DLPP）和二维线性鉴别分析（2DLDA）这两种方法在特征层进行融合并应用在人脸识别。基于人脸库AR上的实验表明,该方法比传统的IJPP和LDA识别性能更高,因此可作为一种新的人脸识别方法。     

融入密集连接的多尺度轻量级人体姿态估计

针对如何在保证轻量化的同时提升网络的性能问题,以轻量级简单基线（LPN）为基础提出的融入密集连接的多尺度轻量级人体姿态估计（LDMNet）,重新设计了下采样的瓶颈结构,将密集连接与深度可分离卷积以及多尺度特征提取相结合,构建了一个轻量高效的特征提取结构,同时改进了空洞空间卷积池化金字塔多特征进行再提取。在MPⅡ数据集以及COCO数据集上的实验表明,与基线方法LPN相比,LDMNet在少量增加参数量和计算量的情况下,在MPⅡ验证集上的平均准确率提升了1.9个百分点,在COCO验证集上的平均准确率提升了3.2个百分点,另外与最新的轻量级网络LiteHRNet相比在COCO验证集与MPⅡ验证集上平均准确率也取得了2.9和1.5个百分点的提升,该网络在轻量化的基础上有效地提升了网络的识别精度。     

基于NSCT-GLCM的CT图像特征提取算法

针对海量CT图像分割中特征提取的难题,提出一种非下采样轮廓变换(NSCT)和灰度共生矩阵(GLCM)相融合的CT图像特征提取算法。首先采用NSCT对CT图像进行多尺度、多方向分解,并采用GLCM提取子带图像的共生特征量,然后对共生特征量进行主成分分析,消除冗余特征量,构成多特征矢量,最后利用支持向量机完成多特征矢量空间的划分,实现CT图像分割。实验结果表明,NSCT-GLCM能够较好地提取CT图像特征,提高了CT图像分割准确率,可以为医生诊断提供辅助信息。     

基于改进YOLOv3的实时交通标志检测算法

针对目前我国智能驾驶辅助系统识别道路交通标志检测速度慢、识别精度低等问题,提出一种基于YOLOv3的改进的道路交通标志检测算法。首先,将MobileNetv2作为基础特征提取网络引入YOLOv3以形成目标检测网络模块MN-YOLOv3,在MN-YOLOv3主干网络中引入两条Down-up连接进行特征融合,从而减少检测算法的模型参数,提高了检测模块的运行速度,增强了多尺度特征图之间的信息融合;然后,根据交通标志目标形状的特点,使用K-Means++算法产生先验框的初始聚类中心,并在边界框回归中引入距离交并比（DIOU）损失函数来将DIOU与非极大值抑制（NMS）结合;最后,将感兴趣区域（ROI）与上下文信息通过ROI Align统一尺寸后融合,从而增强目标特征表达。实验结果表明,所提算法性能更好,在长沙理工大学中国交通标志检测（CCTSDB）数据集上的平均准确率均值（mAP）可达96.20%。相较于Faster R-CNN、YOLOv3、Cascaded R-CNN检测算法,所提算法拥有具有更好的实时性和更高的检测精度,对各种环境变化具有更好的鲁棒性。     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.