基于特征融合网络的行人重识别

行人重识别旨在大规模的分布式监控系统中进行行人目标匹配,紧凑且具有鲁棒性的特征表达对其至关重要,为此,本文提出了一种基于特征融合网络的特征提取方法.首先,利用STEL算法增强了LOMO特征对背景噪声的抗噪性能,利用KPCA算法降低维度以便于后续融合.随后,本文探索了手工特征和CNN特征的互补性,将改进LOMO特征融入至卷积神经网络之中,得到了区分度更高的融合特征.在VIPeR和CUHK01数据集上的测试结果表明,本文融合特征的区分度明显高于单一特征和级联特征,Rank-1较级联特征分别提高了3.73%和2.36%.     

融合通道层注意力机制的多支路卷积网络抑郁症识别

目的 抑郁症是一种常见的情感性精神障碍,会带来诸多情绪和身体问题。在实践中,临床医生主要通过面对面访谈并结合自身经验评估抑郁症的严重程度。这种诊断方式具有较强的主观性,整个过程比较耗时,且易造成误诊、漏诊。为了客观便捷地评估抑郁症的严重程度,本文围绕面部图像研究深度特征提取及其在抑郁症自动识别中的应用,基于人脸图像的全局和局部特征,构建一种融合通道层注意力机制的多支路卷积网络模型,进行抑郁症严重程度的自动识别。方法 首先从原始视频提取图像,使用多任务级联卷积神经网络检测人脸关键点。在对齐后分别裁剪出整幅人脸图像和眼睛、嘴部区域图像,然后将它们分别送入与通道层注意力机制结合的深度卷积神经网络以提取全局特征和局部特征。在训练时,将训练图像进行标准化预处理,并通过翻转、裁剪等操作增强数据。在特征融合层将3个支路网络提取的特征拼接在一起,最后输出抑郁症严重程度的分值。结果 在AVEC2013（The Continuous Audio/Visual Emotion and Depression Recognition Challenge）抑郁症数据库上平均绝对误差为6.74、均方根误差为8.70,相较于Baseline分别降低4.14和4.91;在AVEC2014抑郁症数据库上平均绝对误差和均方根误差分别为6.56和8.56,相较于Baseline分别降低2.30和2.30。同时,相较于其他抑郁症识别方法,本文方法取得了最低的平均绝对误差和均方根误差。结论 本文方法能够以端到端的形式实现抑郁症的自动识别,将特征提取和抑郁症严重程度识别在统一框架下进行和调优,学习到的多种视觉特征更加具有鉴别性,实验结果表明了该算法的有效性和可行性。     

基于尺度感知的多路径特征融合目标检测

在通用的目标检测算法中,目标多变的尺度和特征融合利用一直是限制目标检测任务的难题.针对上述问题,首先文中提出了多路径特征融合模块,模块采用跨尺度跨路径特征融合的方法,强化输入输出特征之间的联系,缓解了特征信息在传递时的稀释问题.同时,文中通过改进注意力模型提出了尺度感知模块,该模块能根据目标的尺度自行地选择感受野大小,从而使模型易于识别多尺度目标.将尺度感知模块嵌入到多路径特征融合模块中,使模型的特征提取和利用能力均得到提升.经实验验证,文中提出的算法在数据集PASCAL VOC和MS COCO上的平均检测精度分别达到了82.2%和38.0%,相比基线FPN Faster RCNN分别提升了1.3%和0.6%,其中对小尺度目标的检测效果提升最为显著.     

基于多特征融合的双通道医疗实体识别

针对医疗实体识别中词向量特征单一和忽略文本中局部特征的问题,提出一种基于多特征融合的双通道医疗实体识别模型。对医疗文本字形特征和卷积神经网络进行研究,发现构造的外部特征和挖掘的内部特征进行差异融合能够丰富词向量的特征信息;利用注意力机制改进的卷积神经网络实现特征优化选择,区分不同特征的重要性;设计CNN和BiLSTM并行的双通道神经网络,充分考虑文本的局部特征和上下文特征。在CCKS2017数据集上的实验结果表明,该模型能有效提高医疗实体识别的准确率。     

结合注意力卷积网络与分块特征的步态识别

目前深度学习算法已经广泛应用于步态识别领域,但是大多数现有方法通过卷积神经网络提取步态全局特征时,忽略了许多包含关键步态信息的局部特征,在一定程度上削弱了步态识别的精度和提升潜力.针对上述问题,提出了一种结合注意力卷积神经网络与分块特征的跨视角步态识别方法,该方法以步态轮廓图序列为输入,每帧图片分别经过相同结构的注意力...     

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度（Cross view,CV）精度达到92.5%,平均跨视角（Cross subject,CS）精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。     

面向时空特征融合的GSTIN动作识别网络

视频动作识别是计算机视觉领域一个十分具有挑战性的课题,主要任务是利用深度学习等视频智能分析技术识别的深层信息推导出视频人体行为动作.通过结合双流卷积神经网络和三维卷积神经网络的结构特点,提出了一种面向时空特征融合的GSTIN(GoogLeNet based on spatio-temporal intergration network).GSTIN中设计了时空特征融合模块InBST(inception blend spatio-temporal feature),提升网络对空间特征与时间特征的利用能力;在时空特征融合模块InBST基础上,构建了适合动作识别的多流网络结构.GSTIN在动作识别数据集UCF101、HMDB51上识别精度分别达到了93.8％和70.6％,这表明GSTIN与其他动作识别网络相比具有较好的识别性能.     

基于多级特征融合与注意力模块的场景识别方法

场景图像通常由背景信息和前景目标对象构成,用于场景识别任务的卷积神经网络(CNN)通常需要根据场景中关键目标的特征,甚至结合目标之间的位置关系来识别出场景所属类别.针对场景图像中较小尺寸的关键目标特征随着网络层次的加深而逐渐消失,从而导致场景识别错误的问题,提出了一种基于多级特征融合与注意力模块的场景识别方法.首先,将...     

基于卷积神经网络的云雾遮挡舰船目标识别

海上舰船目标识别对于海运交通、海上目标跟踪、军事侦察等都有着重要作用,然而海面气象复杂、光照不均、云雾遮挡等自然现象易导致遥感图像中舰船目标识别率低、鲁棒性差等问题.针对云雾遮挡问题,提出一种改进InceptionV3网络模型InceptionV3-FC的舰船目标识别算法.首先,InceptionV3-FC通过引入一层...     

基于特征融合卷积神经网络的车型精细识别

为解决现有车型精细识别方法中存在识别精度低、模型参数规模大等问题,提出一种基于特征融合卷积神经网络的车型精细识别方法。设计两个独立网络(UpNet、DownNet)分别用于提取车辆正面图像的上部和下部特征,在融合网络(FusionNet)中进行特征融合,实现车型的精细识别。相较于现有的车型精细识别方法,该方法在提高识别精度的同时,有效压缩了模型参数规模。在基准数据集CompCars下进行大量实验的结果表明,该方法的识别精度可达98.94%,模型参数大小仅为4.9MB。     

结合细粒度特征与深度卷积网络的手绘图检索

目的 传统的手绘图像检索方法主要集中在检索相同类别的图像，忽略了手绘图像的细粒度特征。对此，提出了一种新的结合细粒度特征与深度卷积网络的手绘图像检索方法，既注重通过深度跨域实现整体匹配，也实现细粒度细节匹配。方法 首先构建多通道混合卷积神经网络，对手绘图像和自然图像分别进行不同的处理；其次通过在网络中加入注意力模型来获取细粒度特征；最后将粗细特征融合，进行相似性度量，得到检索结果。结果 在不同的数据库上进行实验，与传统的尺度不变特征（SIFT）、方向梯度直方图（HOG）和深度手绘模型Deep SaN（sketch-a-net）、Deep 3DS（sketch）、Deep TSN（triplet sketch net）等5种基准方法进行比较，选取了Top-1和Top-10，在鞋子数据集上，本文方法Top-1正确率提升了12%，在椅子数据集上，本文方法Top-1正确率提升了11%，Top-10提升了3%，与传统的手绘检索方法相比，本文方法得到了更高的准确率。在实验中，本文方法通过手绘图像能在第1幅检索出绝大多数的目标图像，达到了实例级别手绘检索的目的。结论 提出了一种新的手绘图像检索方法，为手绘图像和自然图像的跨域检索提供了一种新思路，进行实例级别的手绘检索，与原有的方法相比，检索精度得到明显提升，证明了本文方法的可行性。     

基于深度卷积神经网络的数字调制方式识别

针对非协作通信条件下信号调制方式识别问题,提出了一种基于深度神经网络的调制方式自动识别新方法。该方法对接收到的信号进行预处理,生成星座图,并将星座图形状作为深度卷积神经网络的输入,根据训练好的网络模型对调制信号进行分类识别。与以往的识别方法相比,该方法利用卷积神经网络自动学习各种数字调制信号的星座图特征,克服了特征提取困难,通用性不强,抗噪声性能差等缺点,处理流程简单,并对星座图的形变具有不敏感性。针对4QAM、16QAM和64QAM三种典型的数字调制方式,进行了仿真实验,当信噪比大于4时,调制方式的识别正确率大于95％,实验结果表明,基于深度卷积神经网络的信号调制方式识别方法是有效的。     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

合成孔径雷达图像目标的卷积神经网识别框架

针对合成孔径雷达（SAR）图像目标识别问题,在卷积神经网的基础上,提出了一种新的识别框架。 该框架通过连接多个基本操作单元并以层次结构构造一个集特征提取和分类器训练于一体的端到端网络,同时利用深度网络的反向传播完成分类器对特征提取的反馈以改进特征的效果。 在 MSTAR开数据集上,该网络框架分类十类目标达到了98.61％ 的精度,与其他方法相比,有效提高了SAR 图像目标的识别精度。 所提框架能有效分类SAR 图像目标,具有良好的识别精度,且具备模块化结构,无须复杂预处理,实现简单。     

神经网络多层特征信息融合的人脸识别方法

由于人脸面部结构复杂,不同人脸之间结构特征相似,导致难以提取到十分适合用于分类的人脸特征,虽然神经网络具有良好效果,并且有很多改进的损失函数能够帮助提取需要的特征,但是单一的深度特征没有充分利用多层特征之间的互补性,针对这些问题提出了一种基于神经网络多层特征信息融合的人脸识别方法。首先选择ResNet网络结构进行改进,提取神经网络中的多层特征,然后将多层特征映射到子空间,在各自子空间内通过定义的中心变量进行自适应加权融合;为进一步提升效果,将所有特征送入Softmax分类器,同时对分类结果通过相同方式进行自适应加权决策融合;训练网络学习适合的中心变量,应用中心变量计算加权融合相似度。在同样的有限条件下,在使用AM-Softmax损失函数的基础上,融合特征在LFW(Labeled Faces in the Wild)上的识别效果了提升1.6%,使用融合相似度提升了2.2%。能够有效地提升人脸识别率,提取更合适的人脸特征。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。