基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题（例如背景遮挡、行人互相遮挡等）.由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

面向行人重识别的通道与空间双重注意力网络

针对现实场景下因受到摄像机视角变化、行人姿态变化、物体遮挡、图像低分辨率、行人图片未对齐等因素影响导致行人判别性特征难以获取的问题,设计混合池通道注意模块（HPCAM）和全像素空间注意力模块（FPSAM）,并基于这两种注意力模块提出一种通道与空间双重注意力网络（CSDA-Net）。HPCAM模块能够在通道维度上抑制无用信息的干扰,增强显著性特征的表达,以提取得到判别性强的行人特征。FPSAM模块在空间维度上增强行人特征的判别能力,从而提高行人重识别的准确率。通过在传统行人重识别深度模型框架中分阶段融入HPCAM模块和FPSAM模块,获得由粗糙到细粒度的注意力特征。实验结果表明,CSDA-Net网络在行人重识别主流数据集CUHK03、DukeMTMC-ReID和Market1501上的Rank-1准确率分别为78.3%、91.3%和96.0%,平均精度均值（mAP）分别为80.0%、82.1%和90.4%,与MGN网络相比,Rank-1准确率分别提升14.9、2.6和0.3个百分点,mAP分别提升13.7、3.7和3.5个百分点,能够提取更具鲁棒性和判别性的表达特征。     

鉴别性特征学习模型实现跨摄像头下行人即时对齐

为解决由于采用延后的关联算法而造成目标错误匹配和子序列漏匹配的问题,提出一种使用鉴别性特征学习模型实现跨摄像头下行人即时对齐的方法.首先基于孪生网络模型整合行人分类和行人身份鉴别模型,仅通过目标行人的单帧信息就可习得具有良好鉴别性的行人外观特征,完成行人相似性值计算;其次提出跨摄像头行人即时对齐模型,根据行人外观、时序和空间3个方面的关联适配度实时建立最小费用流图并求解.实验结果表明,在行人重识别数据集Market-1501和CUHK03上,行人分类和身份鉴别模型的融合能显著提升特征提取的有效性且泛化能力良好,性能全面优于Gate-SCNN与S-LSTM方法;进一步地,在非重叠区域的跨摄像头行人跟踪的基准数据集NLPR_MCT上,该方法的行人即时关联精度比2014年ECCV跨摄像头行人跟踪冠军的延后关联算法高出了3.3%,仅次于当前最高精度算法6.6%,应用于跨摄像头跟踪时,跟踪精度亦超过当前的大部分算法.     

低分辨率人脸图像的迭代标签传播识别算法

针对监控视频下低分辨率人脸识别中存在的特征表示能力不强及判别开集人脸图像身份不够准确的问题,文中提出低分辨率人脸图像的迭代标签传播识别算法.采用视觉几何组(VGG)提取人脸图像特征,依据特征的相似度获得高、低分辨率图像的映射关系.对已标记样本和未标记样本进行迭代标签传播,在每次迭代过程中,通过统计每个类别的置信度直方图,估计识别精确率逼近100%的自适应置信度阈值.根据阈值将确认的未标记样本更新至已标记样本集,提高算法召回率.在公共数据集上的实验表明,文中算法在精确率逼近100%的基础上,召回率取得较高值.     

面向隐私保护的联邦域泛化行人重识别方法

行人重识别旨在从不同的摄像头中识别目标行人的图像.由于不同场景之间存在域偏差,在一个场景中训练好的重识别模型常常无法直接应用在另一个场景,并且从摄像头收集的数据通常包含敏感的个人信息,而现有的大部分重识别方法通常需要训练数据的集中化,这可能会带来隐私泄露问题.因此,文中提出面向隐私保护的联邦域泛化行人重识别方法(Federated Domain Generalization Person Re-identification with Privacy Preserving, PFReID),在保护行人隐私的前提下,从独立的多个非共享数据域中学习泛化模型.使用频域空间插值的方法平滑各个客户端在数据集上的域偏差,增加样本的多样性,提高各客户端模型的泛化性能.在客户端构建双分支对齐学习网络,保证客户端局部模型和全局模型学习表示的一致性,用于客户端局部模型的更新.在多个公开行人数据集上的实验验证PFReID的性能较优.     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。     

基于困难样本三元组损失的多任务行人再识别

针对现有行人再识别算法中采用单一外观特征所存在的特征判别力的不足问题,在深度学习框架下提出一种基于困难样本三元组损失的多任务行人再识别网络,以同时学习身份和属性标签的方式获得更多的行人判别信息.首先将预处理后的图片输入预训练的ResNet-50模型中提取行人特征信息;然后将其特征输入所设计的多任务网络,通过最小化身份和属性联合三元组损失调整网络模型参数,共同完成行人身份和属性判别双分支网络的训练;最后用训练好的模型提取行人特征,用于行人再识别任务,同时实现行人属性的判断.在Market-1501和DukeMTMC-reID这2个数据集上的实验证明,文中网络在行人再识别任务中所提取的特征更具有表征力,识别精度优于现有方法,并且能完成属性识别任务.     

跨模态行人再识别的协同学习方法

跨模态行人再识别是实现全天候智能视频监控系统的一项关键技术。该技术旨在匹配某一特定身份行人在不重叠摄像头场景下的可见光图像和红外图像,因而面临着巨大的类内变化和模态差异。现有方法难以较好地解决这两大困难,很大程度上是由于欠缺了对特征判别能力的有效挖掘和对多源异质信息的充分利用。鉴于以上不足,使用协同学习方法设计了一个精细化多源特征协同网络,提取多种互补性特征进行信息融合,以提升网络的学习能力。从骨干卷积网络中提取多尺度和多层次特征,实现精细化特征协同学习,以增强特征的判别能力来应对类内变化。设计了模态共有与特有特征协同模块和跨模态人体语义自监督模块,达到多源特征协同学习的目的,以提高多源异质图像信息的利用率,进而解决模态差异。在SYSU-MM01和RegDB数据集上验证了该方法的有效性和先进性。     

融合衣服特征迁移的行人重识别方法

行人重新识别(Re-ID)是一种基于人体整体特征的身份识别方法,是指在图像或者视频序列中判断是否存在特定行人的技术.对于行人重识别方法来说,行人所穿着的衣服特征具有十分重要的影响.然而在某些特殊情况下(例如罪犯为了摆脱跟踪,更换衣服后逃跑等),目标行人在查询图像和图像库中的衣服特征是不同的,这使得目前的行人重识别方法难以将目标人物的图像与图像库中的人物相匹配.为了解决这一问题,提出了一种基于衣服特征迁移的行人重识别方法.给定一个目标人物的查询图像,将该查询图像行人的衣服特征迁移到图像库中的所有行人身上,以此消除衣服特征的差异.最后,该模型在数据集PRDDC上进行了验证,实验结果表明,与没有服装特征转移模块的算法相比,该算法有显著的改进.     

结合时空距离的多网络互学习行人重识别

目的 在真实行人识别场景中,获得准确的标注需要耗费大量人力,因此无监督领域自适应成为行人重识别具有潜力的研究方向,这类方法通常需要聚类生成伪标签,往往会存在噪音。此外,在行人搜索过程中,好的排序算法也是取得更好识别性能的关键,但寻常的Re-Ranking排序优化由于巨大的性能消耗,限制了在真实场景下的应用。针对这两个问题,本文提出了一个联合多网络、分摄像头训练的框架,利用时空信息对排序进行优化。方法对源域数据使用有监督进行预训练,利用未标记的目标域样本进行多个网络模型的深度互学习无监督训练,提高网络的泛化能力,同时在训练过程中进行分摄像头处理,减小跨摄像头的影响,提升伪标签的质量。在排序匹配阶段利用时空信息对排序进行优化,进一步提升匹配性能。结果 实验在2个跨域实验数据集上进行测试比较,在源域为DukeMTMC-ReID(Duke multi-tracking multi-camera re-identification)数据集,目标域为Market-1501数据集的实验中,本文方法的平均精度均值（mean average precision,mAP）和Rank1分别为82.5%和95...