鉴别性特征学习模型实现跨摄像头下行人即时对齐

为解决由于采用延后的关联算法而造成目标错误匹配和子序列漏匹配的问题,提出一种使用鉴别性特征学习模型实现跨摄像头下行人即时对齐的方法.首先基于孪生网络模型整合行人分类和行人身份鉴别模型,仅通过目标行人的单帧信息就可习得具有良好鉴别性的行人外观特征,完成行人相似性值计算;其次提出跨摄像头行人即时对齐模型,根据行人外观、时序和空间3个方面的关联适配度实时建立最小费用流图并求解.实验结果表明,在行人重识别数据集Market-1501和CUHK03上,行人分类和身份鉴别模型的融合能显著提升特征提取的有效性且泛化能力良好,性能全面优于Gate-SCNN与S-LSTM方法;进一步地,在非重叠区域的跨摄像头行人跟踪的基准数据集NLPR_MCT上,该方法的行人即时关联精度比2014年ECCV跨摄像头行人跟踪冠军的延后关联算法高出了3.3%,仅次于当前最高精度算法6.6%,应用于跨摄像头跟踪时,跟踪精度亦超过当前的大部分算法.     

基于HOG和Haar特征的行人追踪算法研究

行人在真实场景的检测和追踪是多目标检测和追踪研究中的一个重要问题,尤其是在真实的三维场景中的多行人之间的遮挡、拥挤以及背景的变化对多目标检测和追踪研究造成了严重的挑战。在多目标检测中利用了Haar特征、HOG特征,在行人正面向相机运动时,采用Haar特征检测器检测人脸,并结合Haar运动模型完成行人的检测,当行人侧向运动时,采用HOG特征,利用层次-部分模型进行行人的检测和追踪,在完成行人的检测之后,利用最大权重独立集合算法完成帧间目标的关联。通过对 ETH、TUD以及本地样本库的检测和追踪结果表明,采用Haar特征和HOG特征的检测算法对于行人的正面和侧面都具有较高的检测准确率、精确度。     

YOLO-Person：道路区域行人检测

城市道路场景下的行人目标尺寸变化大,并且人群密集容易引起遮挡问题,增加了行人检测难度。为了提高城市道路区域行人检测的准确性和实时性,更好应对驾驶场景的实际需求,对You Only Look Once（YOLO）方法进行改进。原YOLO模型分为行人特征提取阶段和行人坐标回归阶段,将浅层特征与深层特征多尺度融合,增加骨架网络的特征提取效果;添加注意力机制,在特征融合后加入空间通道增强模块,并且将GIoU损失引入网络训练过程,提高对遮挡目标的识别能力;结合行人尺寸,提出CrossYOLO层对网络宽度进行调整,加快了模型运算速度。在Caltech行人基准数据集下进行验证实验,结果表明YOLO-Person模型与原YOLO以及其他流行方法相比,对小目标和遮挡目标误检率更低,并且速度更快,具有一定的实际应用价值。     

基于时序多尺度互补特征的视频行人重识别

视频行人重识别在监控场景中起着非常重要的作用.但是，大多数现有方法没有充分利用行人视频序列的时空信息.具体来说，这些方法以相同的分辨率和网络结构处理每一帧图像，造成连续帧特征的高度相似.此外，现有方法通常通过引入各种复杂的操作提高精度，过多的计算开销使其不利于真实场景的部署.针对上述问题，本文提出了一个时序多尺度互补网络，旨在高效地为视频的连续帧提取互补的特征.具体来说，时序多尺度互补网络包含多个具有不同输入分辨率的分支.其中，高分辨率分支处理原始分辨率帧，用于保留行人的细节线索；低分辨率分支处理以不同降采样率得到的低分辨率帧，用于捕捉更全局的行人信息.通过将连续帧输入到不同分支中，连续帧能关注不同粒度的空间区域，生成互补的特征.进一步，设计了一个多分支批量归一化层，保证了训练时分支之间的互补性.最后，提出一个跨分支融合模块，将低分辨率分支的全局信息逐步传播到高分辨分支中，得到一个融合了多尺度全局粗粒度和局部细粒度互补信息的特征.在iLIDS-VID,MARS和LS-VID三个数据集上的实验显示，本文提出的方法达到了比目前最好方法更好的性能，例如，在LS-VID上提升了4.5%mAP和...     

基于可变形部件模型的粒子滤波快速行人检测与跟踪

针对视频中的行人检测和跟踪问题,提出一种基于可变形部件模型的快速行人检测、改进粒子滤波的行人跟踪算法。在行人检测阶段,为了改善非刚体行人的检测精度,采用了混合多尺度可变形部件模型;同时为了加速行人底层特征的计算,采用了基于预测算法的快速特征金字塔计算行人特征,代替传统的计算图像特征金字塔的每一个尺度特征。在行人跟踪阶段,采用时变的状态空间模型和基于颜色梯度直方图的观测模型对检测到的行人进行跟踪。实验证明,改进的行人检测算法可以在性能损失忽略不计的条件下,大大提高检测速度,并且相对于传统的行人跟踪,改进的粒子滤波算法对行人这一非刚性目标能实现较好的跟踪。     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

多视角数据融合的特征平衡YOLOv3行人检测研究

针对复杂场景下行人发生遮挡检测困难以及远距离行人检测精确度低的问题,本文提出一种多视角数据融合的特征平衡YOLOv3行人检测模型(MVBYOLO),包括2部分:自监督学习的多视角特征点融合模型(Self-MVFM)和特征平衡YOLOv3网络(BYOLO)。Self-MVFM对输入的2个及以上的视角数据进行自监督学习特征,通过特征点的匹配实现多视角信息融合,在融合时使用加权平滑算法解决产生的色差问题;BYOLO使用相同分辨率融合高层语义特征和低层细节特征,得到平衡的语义增强多层级特征,提高复杂场景下车辆前方行人检测的精确度。为了验证所提出方法的有效性,在VOC数据集上进行对比实验,最终AP值达到80.14%。与原YOLOv3网络相比,本文提出的MVBYOLO模型精度提高了2.89%。     

融合跟踪器:融合图像特征和事件特征的单目标跟踪框架

目标跟踪是计算机视觉领域的一项基本研究问题。作为主流目标跟踪方法传感器，传统相机可以提供丰富的场景信息。但是由于受到采样原理的限制，传统相机在极端光照条件下会出现过曝光或欠曝光的问题，且在高速运动场景中存在运动模糊的现象。而事件相机是一种仿生传感器，它能够感知光照强度变化输出事件流，具有高动态范围、高时间分辨率等优点，但难以捕捉静态目标。受传统相机和事件相机的特性启发，提出了一种双模态融合的单目标跟踪方法，称为融合跟踪器(Fusion Tracker)。该方法通过特征增强的方式自适应地融合来自传统相机和事件相机数据中的视觉线索，同时设计一种基于注意力机制的特征匹配网络，将模板帧的目标线索与搜索帧相匹配，建立长期特征关联，使跟踪器关注目标信息。融合跟踪器可以解决特征匹配过程中相关性运算导致的语义丢失问题，提升目标跟踪的性能。在两个公开数据集上的实验展示了所提方法的优越性，并且通过消融实验验证了融合跟踪器中关键部分的有效性。融合跟踪器可以有效提升在复杂场景中目标跟踪任务的鲁棒性，为下游应用提供可靠的跟踪结果。     

多尺度特征融合重建的行人检测方法

行人在众多场景中都存在多尺度变化问题,严重影响检测器的精度,为此设计卷积特征重建和通道注意力两种模块来增强对多尺度行人的检测效果。以原始输入的多尺度特征为基础融合重建多个特征金字塔,然后融合多个特征金字塔中的相同尺度特征,并学习每层特征的通道注意力权值来增加有效通道层权重,由此得到的特征才用于最后的检测。将这两种模块集成到RFBnet模型中,并改进模型损失函数用以优化对遮挡行人的检测效果。在Caltech-USA、INRIA和ETH三个数据集上的测试结果表明,新方法的准确率高于RFBnet和MS-CNN等一些多尺度方法,在不同尺度行人的测试子集上达到了最优的检测效果。     

联合特征融合和判别性外观模型的多目标跟踪

目的 针对基于检测的目标跟踪问题,提出一种联合多特征融合和判别性外观模型的多目标跟踪算法。方法 对时间滑动窗内的检测器输出响应,采用双阈值法对相邻帧目标进行初级关联,形成可靠的跟踪片,从中提取训练样本;融合多个特征对样本进行鲁棒表达,利用Adaboost算法在线训练分类器,形成目标的判别性外观模型;再利用该模型对可靠的跟踪片进行多次迭代关联,形成目标完整的轨迹。结果 4个视频数据库的目标跟踪结果表明,本文算法能较好的处理目标间遮挡、目标自身形变,以及背景干扰。对TUD-Crossing数据库的跟踪结果进行了定量分析,本文算法的FAF(跟踪视频序列时,平均每帧被错误跟踪的目标数)为0.21、MT(在整个序列中,有超过80%视频帧被跟踪成功目标数占视频序列目标总数的比例)为84.6%、ML(在整个序列中,有低于20%视频帧被跟踪成功目标数占视频序列目标总数的比例)为7.7%、Frag(视频序列目标真值所对应轨迹在跟踪中断开的次数)为9、IDS(在跟踪中,目标身份的改变次数)为4; 与其他同类型多目标跟踪算法相比,本文算法在FAF和Frag两个评估参数上表现出色。结论 融合特征能对目标进行较为全面的表达、判别性外观模型能有效地应用于跟踪片关联,本文算法能实现复杂场景下的多目标跟踪,且可以应用到一些高级算法的预处理中,如行为识别中的轨迹检索。     

基于深度神经网络的行人头部检测

行人检测已成为安防、智能视频监控、景区人流量统计所依赖的核心技术,最新目标检测方法包括快速的区域卷积神经网络Fast RCNN、单发多重检测器 SSD、部分形变模型DPM等,皆为对行人整体的检测。在大场景下,行人姿态各异,物体间遮挡频繁,只有通过对行人身体部分位置建模,抓住人的局部特征,才能实现准确的定位。利用Faster RCNN深度网络原型,针对行人头部建立检测模型,同时提取行人不同方向的头部特征,并加入空间金字塔池化层,保证检测速率,有效解决大场景下行人的部分遮挡问题,同时清晰地显示人群大致流动方向,相比普通的人头估计,更有利于人流量统计。     

基于注意力自相关机制的跟踪外观特征

为了解决多目标跟踪（MOT）算法中由于模糊行人特征造成的身份切换（IDS）等跟踪问题，并验证行人外观在跟踪过程中的重要性，提出了一种基于中心点检测模型的注意力自相关网络（ASCN）。首先，对原图进行通道和空间注意力网络的学习以获得两种不同的特征图，并对深度信息完成解耦；然后，通过特征图之间的自相关性学习，获得更加准确的行人外观特征和行人方位信息，并将这些信息用于关联过程的跟踪；此外，制作了低帧率条件下视频的跟踪数据集，以验证改进算法的性能。在视频帧率条件不理想时，改进算法利用ASCN获取了行人外观信息，相较于仅利用方位信息的跟踪算法具有更好的准确率和鲁棒性。最后，将改进算法在MOT Challenge的MOT17数据集上进行测试。实验结果表明，与不加入ASCN的FairMOT(Fairness in MOT)相比，改进算法的跟踪平均准确率（MOTA）和识别F值（IDF1）指标分别提高了0.5和1.1个百分点，IDS数减少了32.2%，且在单卡NVIDIA Tesla V100上的运行速度达到了每秒21.2帧，这验证了改进算法不仅减少了跟踪过程中的错误，也提升了整体跟踪效果，且能够满足实...     

第一人称视角下的社会力优化多行人跟踪

目的 多行人跟踪一直是计算机视觉领域最具挑战性的任务之一,然而受相机移动、行人频繁遮挡和碰撞影响导致第一人称视频中行人跟踪存在效率和精度不高的问题。对此,本文提出一种基于社会力模型优化的第一人称视角下的多行人跟踪算法。方法 采用基于目标检测的跟踪算法,将跟踪问题简化为检测到的目标匹配问题,并且在初步跟踪之后进行社会力优化,有效解决频繁遮挡和碰撞行为导致的错误跟踪问题。首先,采用特征提取策略和宽高比重新设置的单步多框检测器（single shot multi-box detector,SSD）,对输入的第一人称视频序列进行检测,并基于卷积神经网络（convolutional neural network,CNN）模型提取行人的表观特征,通过计算行人特征相似度获得初步的行人跟踪结果;然后,进行跟踪结果的社会力优化,一是定义行人分组行为,对每个行人跟踪目标进行分组计算,并通过添加分组标识,实现同组行人在遮挡的情况下的准确跟踪;二是通过定义的行人领域,对行人分组进行排斥计算,实现避免碰撞后的准确跟踪。结果 在公用数据集ETH（eidgenössische technische hochschule）、MOT16（multi-object tracking 16）和ADL（adelaide）的6个第一人称视频序列上与其他跟踪算法进行对比实验,本文算法的运行速度达到准实时的20.8帧/s,同时相比其他准实时算法,本文算法的整体跟踪性能MOTA（multiple object tracking accuracy）提高了2.5%。结论 提出的第一人称视频中社会力优化的多行人跟踪算法,既能准确地在第一人称场景中跟踪多个行人,又能较好地满足实际应用需求。     

基于道路环境上下文的行人跟踪方法

针对目前城市交通中人车混行场景中行人跟踪效果不佳的问题,提出了一种基于道路环境上下文的行人跟踪方法。首先通过对道路环境上下文进行分析,建立道路模型;其次在道路模型的约束下建立行人与环境的交互运动模型;最后利用该模型进行行人的跟踪。在真实场景中的实验表明使用了道路上下文信息的跟踪方法与连续离散连续能量最小化的多行人跟踪方法相比,多目标跟踪准确度从47.6%提升至63.2%,多目标跟踪精度从68.8%提升至74.3%。数值结果表明道路上下文信息对于提高人车混行场景中行人跟踪效果的有效性。     

基于图像切块的多特征融合行人再识别模型

针对目前由于监控场景背景复杂、拍摄视角差异引起的外貌变化，需要更多细节的特征来区分不同行人的问题，提出一种基于图像切块的多特征融合行人再识别模型。该模型包含3个特征提取分支，分支1和2负责提取行人不同层级的全局特征，分支3将图像水平分为上下两个部分并分别进行局部特征提取，将三个分支的特征进行深度融合。针对全局特征和局部特征的差异联合三种损失函数进行监督训练。在主流的数据集上进行了验证，结果证明该模型可以显著提高行人再识别的准确率。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

俯视深度头肩序列行人再识别

目的 行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间（time of flight,TOF）相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法 对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组（head depth energy map group,HeDEMaG）,并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图（histogram of oriented gradient,HOG）特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果 本文算法在公开的室内单人场景TVPR （top view person re-identification）数据集、自建的室内多人场景TDPI-L （top-view depth based person identification for laboratory scenarios）数据集和公交车实际场景TDPI-B （top-view depth based person identification for bus scenarios）数据集上进行了测试,使用首位匹配率（rank-1）、前5位匹配率（rank-5）、宏F1值（macro-F1）、累计匹配曲线（cumulative match characteristic,CMC）和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论 本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。     

一种融合粒子滤波的多特征特定行人追踪方法

针对特定行人目标跟踪,提出了一种融合粒子滤波的多特征特定行人检测追踪方法。该方法借鉴空间金字塔匹配模型将行人在空间上进行划分,然后融合颜色特征和局部三值模式（LTP）纹理特征,提取目标行人各子区域信息,最后结合粒子滤波来综合判断目标行人的位置。实验结果显示,本文方法能够有效区分目标与背景,同时在目标行人被遮挡的情况下,算法能够有效跟踪。      

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于自适应显著特征选择的动态加权平均行人识别模型

在跨场景行人识别过程中,为了解决多种特征以一个固定的权重融合导致行人识别率低、识别速度慢的问题,提出基于自适应特征选择的动态加权平均排名行人识别方法。首先,将GrabCut算法和基于流形排序显著性检测算法相融合,提高行人外观特征提取的准确性;然后,提出自适应显著特征选择方法,有效地提取行人特征描述;最后,通过动态加权平均排名模型将多特征融合。实验表明,所提出的方法提高了行人识别的准确性,同时对姿态的变化具有较好的鲁棒性。