面向跨视图行人重识别的多级判别性字典学习算法

现有的行人重识别算法主要聚焦于如何提取更有效的分类特征和如何学习更鲁棒的距离度量函数.在现实场景中,不同视图下的同一行人图像的分辨率往往不一致,且同一视图下受视角和光照变化等因素的影响存在提取的分类特征判别性弱且鲁棒性不强的问题.针对这一问题,利用不同视图的特征表示中编码系数的潜在关联,提出了一种多级判别性字典学习算法,并将其应用于跨视图行人重识别.首先,在图像水平区域和图像级别的字典学习算法中分别引入了一个特征映射矩阵,该矩阵可以描述不同视图下同一行人图像编码系数之间的内在关系,可以极大地提高编码系数的灵活性.其次,在图像块级别,结合图像的局部流形结构,在字典学习目标函数中增加了字典原子的局部几何结构约束,通过自适应学习图拉普拉斯矩阵,确保编码系数保持了与样本相似的几何结构,可以获得更具判别性的字典对.最后,文中算法在2个被广泛使用的行人重识别数据集VIPeR和CHUK01 Campus上进行验证,2个数据集在rank-1上的识别率分别为68.40%和80.14%,实验结果表明,文中算法不仅可以降低不同视图下分辨率差异明显的影响,而且大大提高了学习字典对的表示能力和鉴别能力,与其他算法相比获得了更好的行人重识别精度.     

结合域间与域内变化的跨域行人重识别算法

针对单域训练的行人重识别模型迁移到另一个域内测试时性能巨大下降的问题,提出一种结合域间与域内变化的跨域行人重识别算法。采用PR策略将行人特征图进行分区处理,提高模型泛化能力。针对域间变化,引入域间姿势不变性,缩小源域和目标域行人的姿势差距。针对域内变化,引入域内姿势不变性、样本不变性、邻域不变性和相机风格不变性,扩大不同行人之间的距离,缩小相同行人之间的距离。实验表明,PR策略和5个不变性能有效地增强跨域行人重识别中的域自适应性,与只注重域间变化或域内变化的算法相比,其识别精度得到有效提升。     

基于跨域特征关联与聚类的无监督行人重识别

行人重识别的目标是利用计算机视觉技术在多个摄像头采集的图像序列或视频中识别目标行人,基于监督学习的行人重识别算法虽然提高了目标的识别性能,但难以解决行人重识别中无标注目标域的域内变化问题,从而导致无标注数据检索准确度低。提出一种基于域自适应的无监督行人重识别算法,其主要由ResNet-50骨干网络、跨域特征提取器和用以存储目标域特征的特征库组成。通过跨域特征提取器融合行人样本在特征图与通道方向的特征,以挖掘不同行人重识别数据集间潜在的特征关联关系,同时为无标注目标数据集样本内的特征关联构建特征库,在无任何标注信息的情况下从一个未知数据集学习判别性特征。实验结果表明,该算法在源域DukeMTMC-reID/Market-1501和目标域Market-1501/DukeMTMC-reID的首位命中率相较于ECN算法分别提高8.9和6.8个百分点,能够提高模型在未知数据集上的泛化能力和无监督跨域行人重识别的准确度。     

基于胶囊网络的跨域行人再识别

行人再识别是在不同环境下再次对特定行人进行检索,近几年来受到国内外学者的广泛关注。目前行人再识别算法多采用局部特征与全局特征相结合的方法,在单一数据集上的训练和测试取得了非常好的成绩,但是在跨域测试中成绩并不理想,泛化能力较低。提出一种基于深度胶囊网络的跨域行人再识别方法,通过视角分类训练任务,模型可以学习图像中行人的有效特征,这些特征可以直接迁移到行人再识别任务中,缓解了行人再识别泛化能力不足的问题。实验结果表明,本文模型优于目前所有无监督学习行人再识别方法,具有良好泛化能力。     

压缩感知和相似性约束的图像超分辨率重构算法

针对通过外部学习进行超分辨率存在图像质量不佳、细节不真实的问题提出一种压缩感知和相似性约束的单帧图像超分辨率算法。算法首先利用压缩感知中测量域与频域的线性关系对训练库图像在测量域分类,对不同类别图像块训练对应类别的字典,提高字典的表示能力;然后在重构时利用图像的非局部相似性,将图像在分类字典下的稀疏性和相似块信息同时作为先验信息联合约束重构过程,最后恢复出高分辨率图像。实验结果表明算法重构出的高分辨率图像具有丰富的细节以及清晰的边缘,重构图像主观质量良好。     

判别性信息增强的行人再识别

在行人再识别中,由相机风格及视角变化造成的行人外观差异严重影响了模型的性能.为缓解该现象,提出一种判别性信息增强的行人再识别方法.该方法由辅助子网络、主干子网络以及时空信息嵌入三部分构成.首先,在辅助子网络中实现不同视角行人图像的风格转换以减少风格差异对性能的影响.为增强特征的判别性,将原图特征和迁移图像特征进行拼接.此外,在主干子网络中通过局部特征迫使主干子网络在关注全局特征的同时,能更多利用局部具有鉴别性的信息.最后,引入行人的时空信息来缓解难样本对识别性能造成的影响.通过实验证明所提算法性能优于大部分主流方法,消融实验也验证了所提算法的有效性.     

融合注意力机制的域泛化行人再识别

域泛化的行人再识别能够在源数据集进行训练并在目标数据集进行测试,具有更广泛的实际应用意义.现有域泛化模型往往由于专注解决光照和色彩变化问题而忽略对细节信息的有效利用,导致识别率较低.为了解决上述问题,提出一种融合注意力机制的域泛化行人再识别模型.该模型首先通过叠加卷积层的瓶颈层(bottleneck layer)设计提取出包含不同视野域的多尺度特征,并利用特征融合注意力模块对多尺度特征进行加权动态融合;然后通过多层次注意力模块挖掘细节特征的语义信息;最后将包含丰富语义信息的细节特征输入到判别器进行行人再识别.此外,设计风格正则化模块(style nomalization module)用于降低不同数据集图像明暗变化对模型泛化能力的影响.在Market-1501和DukeMTMC-reID数据集上进行对比和消融实验,表明了所提出方法的有效性.     

面向开放集图像分类的模糊域自适应方法

目前大多的域自适应算法在源域与目标域具有相同类别的场景下,利用标签丰富的源域信息对标签稀少且分布相似的目标域数据进行迁移学习,取得了很多成果。然而,由于现实场景的复杂性和开放性,源域和目标域在类别空间上不尽相同,往往会各自包含一些类别未知且超出现有类别设定的样本。对于这样具有挑战性的开放集场景,传统的域自适应算法将无能为力。为了有效解决上述问题,提出一种面向开放集的模糊域自适应算法。该算法引用了不确定性的模糊化,计算目标域样本的模糊隶属度来学习源域特征到目标域特征空间的线性映射,通过迭代逐步将源域与目标域转化在同一特征空间下。通过对无监督和半监督的图像迁移任务的大量实验,验证了该算法对于开放集场景下图像分类的有效性。     

基于目标域局部近邻几何信息的域自适应图像分类方法

在许多实际工程应用中,训练场景（源域）和测试场景（目标域）的分布并不相同,如果将源域中训练的分类器直接应用到目标域,性能往往会出现大幅度下降。目前大多数域自适应方法以概率推导为基础。从图像特征表达的角度出发,针对自适应图像分类问题,提出一种新的基于协同特征的无监督方法。首先,所有源样本被作为字典;然后,距离目标样本最近的三个目标域样本被用来帮助鲁棒地表达局部近邻几何信息;最后,结合字典和局部近邻信息实现编码,并利用最近邻分类器完成分类。因为协同特征通过融合目标域局部近邻信息,获得了更强的鲁棒性和区分性,基于该特征编码的分类方法具有更好的分类性能。在域自适应数据集上的对比实验结果表明所提算法是有效的。     

基于小波域的盲分离数字水印算法

提出了一种基于小波域和独立分量分析的盲分离数字水印算法.该算法将水印置乱并乘以相应的系数,将此信息嵌入到经过二级小波变换的原始图像的逼近子图中,提取时利用快速独立分量分析实现了原始图像和水印的盲分离.经过大量实验证明,重构后得到的水印图像具有良好的不可见性,对叠加了水印的图像经过多种干扰及信号处理后,能够有效地检测出水印的存在.     

基于时空共现模式的视觉行人再识别EI北大核心CSCD

基于视频图像的视觉行人再识别是指利用计算机视觉技术关联非重叠域摄像头网络下的相同行人,在视频安防和商业客流分析中具有重要应用.目前视觉行人再识别技术已经取得了相当不错的进展,但依旧面临很多挑战,比如摄像机的拍摄视角不同、遮挡现象和光照变化等所导致的行人表观变化和匹配不准确问题.为了克服单纯视觉匹配困难问题,本文提出一种结合行人表观特征跟行人时空共现模式的行人再识别方法.所提方法利用目标行人的邻域行人分布信息来辅助行人相似度计算,有效地利用时空上下文信息来加强视觉行人再识别.在行人再识别两个权威公开数据集Market-1501和DukeMTMC-ReID上的实验验证了所提方法的有效性.     

基于稀疏学习的行人重识别算法

行人重识别问题是计算机视觉的重要研究内容之一,旨在将多个非重叠相机中的目标行人准确加以识别。当将某摄像机中的行人图像视为目标行人在该摄像机视图上的一种表示时,行人重识别可被认为是一种多视图学习问题。在此基础上提出的基于典型相关分析的行人重识别算法仅是一种线性降维算法,很难从复杂的重识别系统（如目标行人图像受低分辨率、光照及行人姿态变化等因素影响）中提取有效的高层语义信息,用于行人重识别。为此,本文提出了一种基于稀疏学习的行人重识别算法（Sparsity learning based person re-identification,SLR）。SLR首先通过稀疏学习获取目标行人在每一相机视图上的高层语义表示,然后将高层特征映射到一个公共的隐空间,使不同视图间的特征距离可比较。SLR算法的优点在于通过学习鲁棒的行人图像特征表示,能够获得更具判别性的公共隐空间,以提高算法的行人重识别性能。在VIPeR、CUHK数据集上的实验结果表明了本文算法的有效性。     

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.     

区域块分割与融合的行人再识别

目的 由于摄像机视角和成像质量的差异,造成行人姿态变化、图像分辨率变化和光照变化等问题的出现,从而导致同一行人在不同监控视频中的外观区别很大,给行人再识别带来很大挑战。为提高行人再识别的识别率,针对行人姿态变化问题,提出一种区域块分割和融合的行人再识别算法。方法 首先根据人体结构分布,将行人图像划分为3个局部区域。然后根据各区域在识别过程中的作用不同,将GOG（Gaussian of Gaussian）特征、LOMO（local maximal occurrence）特征和KCCA（Kernel canonical correlation analysis）特征的不同组合作为各区域特征。接着通过距离测度算法学习对应区域之间的相似度,并通过干扰块剔除算法消除图像中出现的无效干扰块,融合有效区域块的相似度。最后将行人图像对的全局相似度和各局部区域相似度进行融合,实现行人再识别。结果 在4个基准数据集VIPeR、GRID、PRID450S和CUHK01上进行了大量实验,其中Rank1（排名第1的搜索结果即为待查询人的比例）分别为62.85%、30.56%、71.82%和79.03%,Rank5分别为86.17%、51.20%、91.16%和93.60%,识别率均有显著提高,具有实际应用价值。结论 提出的区域块分割和融合方法,能够去除图像中的无用信息和干扰信息,同时保留行人的有效信息并高效利用。该方法在一定程度上能够解决行人姿态变化带来的外观差异问题,大幅度地提升识别率。     

结合注意力机制和多属性分类的行人再识别

目的 在行人再识别中,经常出现由于行人身体部位被遮挡和行人图像对之间不对齐而导致误判的情况。利用人体固有结构的特性,关注具有显著性特征的行人部件,忽略带有干扰信息的其他部件,有利于判断不同摄像头拍摄的行人对是否为同一人。因此,提出了基于注意力机制和多属性分类的行人再识别方法。方法 在训练阶段,利用改进的ResNet50网络作为基本框架提取特征,随后传递给全局分支和局部分支。在全局分支中,将该特征作为全局特征进行身份和全局属性分类;在局部分支中,按信道展开特征,获取每层响应值最高的点,聚合这些点,分成4个行人部件,计算每个行人部件上显著性特征的权重,并乘以初始特征得到每个部件的总特征。最后将这4个部件的总特征都进行身份和对应属性的分类。在测试阶段,将通过网络提取的部位特征和全局特征串联起来,计算行人间的相似度,从而判断是否为同一人。结果 本文方法引入了Market-1501_attribute和DukeMTMC-attribute数据集中的属性信息,并在Market-1501和DukeMTMC-reid数据集上进行测试,其中rank-1分别达到90.67%和80.2%,mAP分别达到76.65%和62.14%;使用re-ranking算法后,rank-1分别达到92.4%和84.15%,mAP分别达到87.5%和78.41%,相比近年来具有代表性的其他方法,识别率有了极大提升。结论 本文方法通过学习行人属性能更快地聚集行人部件的注意力,而注意力机制又能更好地学习行人部位的显著性特征,从而有效解决了行人被遮挡和不对齐的问题,提高了行人再识别的准确率。     

Dual adaptive alignment and partitioning network for visible and infrared cross-modality person re-identification

Visible and infrared person re-identification (VI-ReID) describes the task of matching the images of a person, captured by visible-light and infrared cameras; this is a particular challenge in night time surveillance applications. Existing cross-modality recognition studies have been conducted mainly with a focus on learning the global and shareable feature representation of pedestrians to handle cross-modality discrepancies. However, the global features of pedestrian images cannot solve the unaligned image pairs efficiently, particularly when encountering the human appearance or posture misalignment caused by inaccurate pedestrian detection boxes. To mitigate the impact of these problems, we propose an end-to-end dual alignment and partitioning network to simultaneously learn global and local modal invariant features of pedestrians. First, we use two adaptive spatial transform modules to align the visible and infrared input images. Subsequently, the aligned image is divided horizontally, and the features of each local block are extracted. Then, we fuse these local features with global features. To alleviate the differences between heterogeneous modals and learn the common feature representation of heterogeneous modals, we map the features of heterogeneous modes into the same feature embedding space. Finally, we use the combination of identity loss and weighted regularized TriHard loss to improve the recognition accuracy. Extensive experimental results on two cross-modality datasets, RegDB and SYSU-MM01, demonstrate the superiority of the proposed method over other existing state-of-the-art methods.

     

结合对象分割的运动行人检测

目标检测大量应用于监控系统的行人检测以及人脸识别,是当前深度学习的研究热点.监督学习利用人工标注大量数据集训练出针对特定场景的行人检测器.但是人工标注方法费时费力,本文针对监督学习需要人工标注数据集的缺点,研究了一种半自动标注行人的方法.针对静止的单目摄像机拍摄的监控视频,利用光流信息提供的初始前景可能性,以及跨越时间的视觉相似性来迭代地更新初始的前景可能性,分割出运动的行人,根据分割的前景对象,提出了一种半自动标注行人的方法.实验结果显示,本文的方法可以为行人检测系统提供大量数据集,且效率上明显优于传统人工标注的方法.     

Pedestrian detection and tracking in infrared imagery using shape and appearance

In this paper, we present an approach toward pedestrian detection and tracking from infrared imagery using joint shape and appearance cues. A layered representation is first introduced and a generalized expectation-maximization (EM) algorithm is developed to separate infrared images into background (still) and foreground (moving) layers regardless of camera panning. In the two-pass scheme of detecting pedestrians from the foreground layer: shape cue is first used to eliminate non-pedestrian moving objects and then appearance cue helps to locate the exact position of pedestrians. Templates with varying sizes are sequentially applied to detect pedestrians at multiple scales to accommodate different camera distances. To facilitate the task of pedestrian tracking, we formulate the problem of shot segmentation and present a graph matching-based tracking algorithm that jointly exploits the shape, appearance and distance information. Experimental results with both OSU Infrared Image Database and WVU Infrared Video Database are reported to demonstrate the accuracy and robustness of our algorithm.     

结构化低秩字典学习的人脸识别

目的 现实中采集到的人脸图像通常受到光照、遮挡等环境因素的影响,使得同一类的人脸图像具有不同程度的差异性,不同类的人脸图像又具有不同程度的相似性,这极大地影响了人脸识别的准确性。为了解决上述问题对人脸识别造成的影响,在低秩矩阵恢复理论的基础上提出了具有识别力的结构化低秩字典学习的人脸识别算法。方法 该算法基于训练样本的标签信息将低秩正则化以及结构化稀疏同时引入到学习的具有识别力的字典上。在字典学习过程中,首先利用样本的重建误差约束样本与字典之间的关系;其次将Fisher准则应用到稀疏编码过程中,使其编码系数具有识别能力;由于训练样本中的噪声信息会影响字典的识别力,所以在低秩矩阵恢复理论的基础上将低秩正则化应用到字典学习过程中;接着,在字典学习过程中加入了结构化稀疏使其不丢失结构信息以保证对样本进行最优分类;最后再利用误差重构法对测试样本进行分类识别。结果 本文算法在AR以及ORL人脸数据库上分别进行了实验仿真。在AR人脸数据库中,为了分析样本不同维数对实验结果造成的影响,选取了第一时期拍摄的每人6幅图像,包括1幅围巾遮挡,2幅墨镜遮挡以及3幅脸部表情变化以及光照变化（未被遮挡）的图像作为训练样本,同时选取相同组合的样本图像作为测试样本,无论哪种方法,图像的维度越高识别率越高。对比SRC （sparse representation based on classification）算法与DKSVD （discriminative K-means singular value decomposition）算法的识别率可知,DKSVD算法通过字典学习减缓了训练样本中的不确定因素对识别结果的影响;对比DLRD_SR （discriminative low-rank dictionary learning for sparse representation）算法与FDDL （Fisher discriminative dictionary learning）算法的识别率可知,当图像有遮挡等噪声信息存在时,字典低秩化可以提高至少5.8%的识别率;对比本文算法与DLRD_SR算法可知,在字典学习的过程中加入Fisher准则后识别率显著提高,同时理想稀疏值能保证对样本进行最优的分类。当样本图像的维度达到500维时人脸图像在有围巾、墨镜遮挡的情况下识别率可达到85.2%;其中墨镜和围巾的遮挡程度分别可以看成是人脸图像的20%和40%,为了验证本文算法在不同脸部表情变化、光照改变以及遮挡情况下的有效性,根据训练样本的具体图像组合情况进行实验。无论哪种样本图像组合,本文算法在有遮挡存在的样本识别中具有显著优势。在训练样本只包含脸部表情变化、光照变化以及墨镜遮挡图像的情况下,本文算法的识别率高于其他算法至少2.7%,在训练样本只包含脸部表情变化、光照变化以及围巾遮挡图像的情况下,本文算法的识别率高于其他算法至少3.6%,在训练样本包含脸部表情变化、光照变化、围巾遮挡以及墨镜遮挡图像的情况下,其识别率高于其他算法至少1.9%。在ORL人脸数据库中,人脸图像在无遮挡的情况下识别率达到95.2%,稍低于FDDL算法的识别率;在随机块遮挡程度达到20%时,相比较于SRC算法、DKSVD算法、FDDL算法以及DLRD_SR算法,本文算法的识别率最高;当随机块遮挡程度达到50%时,以上算法的识别率均不高,但本文算法的其识别率仍然最高。结论 本文算法在人脸图像受到遮挡等因素的影响时具有一定的鲁棒性,实验结果表明该算法在人脸识别方面具有可行性。     

The Big Data Analysis on the Camera-based Face Image in Surveillance Cameras*

In the Big-Data era, currently how to automatically realize acquisition, refining and fast retrieval of the target information in a surveillance video has become an urgent demand in the public security video surveillance field. This paper proposes a new gun-dome camera cooperative system, which solves the above problem partly. The system adopts a master-slave static panorama-variable view dualcamera cooperative video-monitoring system. In this dual-camera system the gun camera static camera） with a wide viewing -angle lenses is in charge of the pedestrian detection and the dome camera can maneuver its focus and cradle orientation to get the clear and enlarged face images. In the proposed architecture, Deformable Part Model (DPM) method realizes real-time detection of pedestrians. The look-up table method is proved feasible in a dual-camera cooperative calibration procedure, while the depth information of the moving target changes slightly. As respect to the face detection, the deep learning architecture is exploited and proves its effectiveness. Moreover, we utilize the Haar-Like feature and LQV classifier to execute the frontal face image capture. The experimental results show the effectiveness and efficiency of the dual-camera system in close-up face image acquisition.