结合多尺度特征学习与特征对齐的行人重识别

利用卷积神经网络对行人图像提取一个简单的全局特征,在复杂的行人重识别任务中无法获得令人满意的结果。局部特征学习的方式有助于获取更丰富的人体特征,但往往需要图像中的人体具有良好的空间对齐,而且,将人体各部分特征输入到独立的分支学习局部信息,忽略了人体各部分特征间的相关性,限制模型的性能提升。在此背景下,提出了一种新的多尺度特征学习算法,结合全局与局部特征学习得到更好的行人表示,提升复杂场景下模型的识别能力。对骨干网络不同深度输出的行人特征图,通过特征对齐模块对其执行空间变换,实现行人特征在空间上的矫正和对齐,进一步增强模型的泛化性能。在公开的大型行人重识别数据集上,与当前一些流行的方法进行了比较,验证了所提方法的有效性。     

联合语义分割与注意力机制的行人再识别模型

受行人姿态变化、光照视角、背景变换等因素的影响,现有行人再识别模型通常对数据集中的行人分成若干块提取图像的局部特征进行辨识以提高识别精度,但存在人体局部特征不匹配、容易丢失非人体部件的上下文线索等问题。构建一种改进的行人再识别模型,通过将人体语义解析网络的局部特征进行对齐,增强行人语义分割模型对图像中行人任意轮廓的建模能力,利用局部注意力网络捕捉非人体部分丢失的语境线索。实验结果表明,该模型在Market-1501、DukeMTMC和CUHK03数据集上的平均精度均值分别达到83.5%、80.8%和92.4%,在DukeMTMC数据集上的Rank-1为90.2%,相比基于注意力机制、行人语义解析和局部对齐网络的行人再识别模型具有更强的鲁棒性和迁移性。     

基于可变形掩膜对齐卷积模型的行人再识别

行人再识别是计算机视觉领域的一个重要研究方向,在视频监控等非常广阔的领域有极其重要的应用前景。行人再识别研究中遇到的一个重要挑战就是行人图像对齐问题。利用全卷积模型和全局平均池化操作,提出了一种新的可变形掩膜对齐的深度卷积神经网络模型,它不仅可以解决行人图像对齐问题,而且实现了行人图像的多信息融合。该方法在Market-1501和DukeMTMC-reID两大数据集上进行了验证,整体准确率得到了很大提高。     

集成空间注意力和姿态估计的遮挡行人再辨识

自然场景下监控设备所拍摄的行人图片总是存在被各种障碍物遮挡的情况,因此遮挡是行人再辨识面临的一个很大的挑战.针对遮挡问题,提出了一种集成空间注意力和姿态估计(spatial attention and pose estimation, SAPE)的遮挡行人再辨识模型.为了同时兼顾全局特征和局部特征,实现特征的多细粒度表示,构建了多任务网络.通过空间注意力机制将感兴趣区域锚定到图像中未遮挡的空间语义信息,从全局结构模式中挖掘有助于再辨识的视觉知识;然后结合分块匹配的思想,将残差网络提取到的特征图水平均匀分割成若干块,通过局部特征的匹配增加辨识的细粒度;在此基础之上,改进姿态估计器去提取图像中行人的关键点信息,并与卷积神经网络抽取的特征图相融合,然后设置阈值去除掉遮挡区域,得到辨识性强的特征,以消除遮挡对再辨识结果的影响.在Occluded-DukeMTMC, Occluded-REID, Partial-REID这3个数据集上验证了SAPE模型的有效性,实验结果表明提出的针对遮挡的模型具有良好的效果.     

多属性融合网络的行人重识别方法

针对基于视频的行人重识别中由于光照与视角变化带来的问题,提出了一种结合局域质量评估网络与行人属性特征的网络。对部分行人图像进行预处理,裁掉部分行人图像的底部;将行人分割成三段通过卷积神经网络对其进行质量评估;结合事先人工标注的行人属性标签,进行训练从而完成重识别的过程。通过学习行人的全局特征和局部特征,能够有效解决行人图像中出现的遮挡和不对齐问题,通过在三个数据集上的结果对比表明方法实现了准确率上的提升。     

基于EfficientNet的双分路多尺度联合学习行人再识别

针对视频图像中因小目标行人、遮挡和行人姿态多变而造成的行人再识别率低的问题,建立了一种基于高效网络EfficientNet的双分路多尺度联合学习方法。首先采用性能高效的EfficientNet-B1网络作为主干结构;然后利用加权双向特征金字塔（BiFPN）分支对提取的不同尺度全局特征进行融合,并且得到包含不同层次语义信息的全局特征,从而提高小目标行人的识别率;其次利用PCB分支提取深层局部特征来挖掘行人的非显著信息,并减轻行人遮挡和姿态多变性对识别率的影响;最后在训练阶段将两个分支网络分别提取的行人特征通过Softmax损失函数得到不同子损失,并把它们相加进行联合表示;在测试阶段将获得的全局特征和深层局部特征拼接融合,并计算欧氏距离得到再识别匹配结果。该方法在Market1501和DukeMTMC-Reid 数据集上的Rank-1的准确率分别达到了95.1%和89.1%,与原始EfficientNet-B1主干结构相比分别提高了3.9个百分点和2.3个百分点。实验结果表明,所提出的模型有效提高了行人再识别的准确率。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

姿态驱动的局部特征对齐的行人重识别

针对行人重识别研究中的遮挡问题,本文提出了一种姿态驱动的局部特征对齐的行人重识别方法.网络主要包括姿态编码器和行人部件对齐模块.其中,姿态编码器通过重构姿态估计热力图抑制遮挡区域骨骼关键点置信度,引导网络提取行人可见部位的特征.行人部件对齐模块依据姿态编码器输出的关键点置信图,提取行人局部特征进行特征对齐,降低非行人特征的干扰.在遮挡、半身数据集上的仿真实验表明,该方法获得了优于其他对比网络的结果.     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于Siamese网络的行人重识别方法

针对目前行人重识别技术的缺点,提出一种基于Siamese网络的行人重识别方法.首先使用Dropout算法对卷积神经网络进行改良,降低发生过拟合问题的概率;而后构造一个Siamese网络,将CNN （Convolution Neural Network）中特征提取和检验相融合,提高图像识别的效率和准确率;最后利用度量学习算法中的马氏距离作为检索图像匹配相似度的评价指标.实验结果表明：针对Market-1501数据集,该方法可以有效提高采用卷积神经网络的行人重识别方法识别效率和准确率.     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

基于特征融合网络的行人重识别

行人重识别旨在大规模的分布式监控系统中进行行人目标匹配,紧凑且具有鲁棒性的特征表达对其至关重要,为此,本文提出了一种基于特征融合网络的特征提取方法.首先,利用STEL算法增强了LOMO特征对背景噪声的抗噪性能,利用KPCA算法降低维度以便于后续融合.随后,本文探索了手工特征和CNN特征的互补性,将改进LOMO特征融入至卷积神经网络之中,得到了区分度更高的融合特征.在VIPeR和CUHK01数据集上的测试结果表明,本文融合特征的区分度明显高于单一特征和级联特征,Rank-1较级联特征分别提高了3.73%和2.36%.     

基于改进的Mask R-CNN的行人细粒度检测算法

针对复杂场景下行人检测效果差的问题,采用基于深度学习的目标检测中领先的研究成果,提出了一种基于改进Mask R-CNN框架的行人检测算法。首先,采用K-means算法对行人数据集的目标框进行聚类得到合适的长宽比,通过增加一组长宽比（2：5）使12种anchors适应图像中行人的尺寸;然后,结合细粒度图像识别技术,实现行人的高定位精度;其次,采用全卷积网络（FCN）分割前景对象,并进行像素预测获得行人的局部掩码（上半身、下半身）,实现对行人的细粒度检测;最后,通过学习行人的局部特征获得行人的整体掩码。为了验证改进算法的有效性,将其与当前具有代表性的目标检测方法（如更快速的区域卷积神经网络（Faster R-CNN）、YOLOv2、R-FCN）在同数据集上进行对比。实验结果表明,改进的算法提高了行人检测的速度和精度,并且降低了误检率。     

基于多级特征的红外图像行人检测算法

由于可见光图像和红外图像的成像原理不同,可见光图像的行人检测算法难以直接应用于红外图像中.为此,提出一种基于多级梯度特征的红外图像行人检测算法.使用改进的图像显著性检测算法提取红外图像的关键区域,应用质心重定位的滑窗算法快速定位其中的高亮区,采用Zernike矩判断图像的对称性及与行人特征的相似性,通过基于边缘信息输入的卷积神经网络模型逐级缩小判定范围.在OTCBVS红外图像行人数据集上的实验结果表明,与稀疏表示算法相比,该算法的检测准确率较高.     

结合注意力与批特征擦除的行人重识别模型

在行人重识别过程中,图像局部遮挡会造成识别准确率下降。提出一种结合注意力和批特征擦除的网络（ABFE-Net）模型,旨在学习具有辨别力的全局特征和局部细粒度特征,提高图像局部遮挡条件下行人特征的表达能力。将轻量级注意力模块嵌入到ResNet-50中自主学习每个通道的权重,通过强化有用特征和抑制无关特征增强网络特征的学习能力,提取行人更具辨别力的全局特征。对于深层特征使用批特征擦除方法,随机擦除同一批次特征图的相同区域,使得网络关注剩余的局部细粒度特征。将两种特征融合得到更加全面的行人特征表示,对其进行相似性度量并排序,得到行人重识别的结果。实验结果表明,与HA-CNN、PCB等方法相比,ABFE-Net模型在Market1501和DukeMTMC-reID数据集上的Rank-1和mAP分别达到94.4%、85.9%和88.3%、75.1%,能够明显增强行人特征的辨别性,提高行人重识别效果。     

基于细胞图卷积的组织病理图像分类研究

针对传统CNN（Convolutional Neural Network）在组织病理图像分类中存在的两个问题：其一,受限于内存大小,CNN无法对高分辨率的病理图像直接进行训练,这不可避免地破坏了细胞之间的空间结构信息,且无法学习全局的特征信息;其二,病理图像中的正常细胞和癌变细胞均有自身的病理学图像特征并且在空间上具有一定的关联性,但在结构化的二维阵列图像中无法被充分的表达。提出一种基于细胞图卷积（Cell-Graph Convolutional Network,C-GCN）的组织病理图像分类方法,将高分辨率的病理图像转换为图结构,在传统的GCN中将GraphSAGE（Graph SAmple and aggregate）模块与图池化相结合,提取出更具有代表性的一般性特征,使得C-GCN可以直接在高分辨率的组织学图像中学习特征,提高了模型的鲁棒性。