基于多样化局部注意力网络的行人重识别

针对现实场景中行人图像被遮挡以及行人姿态或视角变化造成的未对齐问题,该文提出一种基于多样化局部注意力网络(DLAN)的行人重识别(Re-ID)方法.首先,在骨干网络后分别设计了全局网络和多分支局部注意力网络,一方面学习全局的人体空间结构特征,另一方面自适应地获取人体不同部位的显著性局部特征;然后,构造了一致性激活惩罚函...     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于多粒度特征融合网络的行人重识别北大核心CSCD

针对复杂环境下行人细节特征不明显、姿态多变等情况造成的行人重识别(person-reidentification,ReID)算法精度不高的问题,提出了一种基于多粒度特征提取与特征融合的ReID网络。首先,在主干网络输入和输出端采用两种粒度的划分方式获取图像的局部特征。其次,引入空间变换网络(spatial transformation network,STN)对输入全局图像进行空间对齐,对局部图像进行特征增强。最后,采用局部特征融合的方式来挖掘特征之间的关联信息,提升模型对相似样本的识别能力。实验结果表明,所提方法在多个数据集上均取得了良好的识别效果。在Market-1501数据集上的平均查准率(mean average precision,mAP)和首次查准率(Rank-1)分别为84.87%和94.45%,通过和目前主流的ReID算法相比,本文所提方法具有更优的识别效果。     

融合人体姿态估计与非局部注意力机制的遮挡行人重识别

本文提出一种基于姿态估计模型与非局部注意力机制的遮挡行人重识别方法,利用姿态估计器获得图像中的非遮挡局部人体,并引入非局部注意力机制解决特征的长距离依赖问题,使得网络的关注度集中在非遮挡部分,实现遮挡场景下的精确行人重识别任务。通过实验验证了本文所提出方法在遮挡数据集上取得了先进的表现。     

基于注意力机制的行人多目标跟踪方法

多目标跟踪(Multi-Object Tracking,MOT)是智能交通和智慧城市的关键技术之一。针对真实场景下行人多目标跟踪困难的问题,提出了一种基于注意力机制的行人多目标跟踪(Pedestrian Multi-Object Tracking based on Self-Attention,PMOT)算法。在特征提取网络增加注意力机制模块,利用Transformer的编码器结构对行人特征的空间信息进行编码以增强行人的局部特征,实现目标关联精度的提升。为了改善由于长时间遮挡导致的行人目标丢失问题,PMOT算法在数据关联中扩展一个参考特征分支,并结合行人运动特征与外观特征的相似度来实现目标匹配。实验结果表明,提出的算法在MOT17数据集上取得77.0%的跟踪准确度,有效提高了行人目标的跟踪效果。     

基于多粒度特征融合网络的行人重识别

行人重识别旨在跨监控设备下检索出特定的行人目标.为捕捉行人图像的多粒度特征进而提高识别精度,基于OSNet基准网络提出一种多粒度特征融合网络(Multi-granularity Feature Fusion Network for Person Re-Identi-fication,MFN)进行端对端的学习.MFN由全局分支、特征擦除分支和局部分支组成,其中特征擦除分支由双通道注意力擦除模型构成,此模型包含通道注意力擦除模块(Channel Attention-based Dropout Moudle,CDM)和空间注意力擦除模块(Spatial Attention-based Dropout Moudle,SDM).CDM对通道的注意力强度排序并擦除低注意力通道,SDM在空间维度上以一定概率擦除最具有判别力的特征,两者通过并联方式相互作用,提高模型的识别能力.全局分支采用特征金字塔结构提取多尺度特征,局部分支将特征均匀切块后级联成一个单一特征,提取关键局部信息.大量实验结果表明了本文方法的有效性,在Market1501、DukeMTMC-reID和CUHK03-Labeled(Detected)数据集上,mAP/Rank-1分别达到了90.1％/95.8％、81.8％/91.4％和80.7％/82.3％(78.7％/81.6％),大幅优于其他现有方法.     

双金字塔结构引导的多粒度行人重识别方法北大核心CSCD

针对杂乱场景下难以有效地提取行人关键信息和局部遮挡时全局特征方法失效的问题,提出了一种双金字塔结构引导的多粒度行人重识别(person re-identification,ReID)方法。首先在ResNet50中嵌入注意力金字塔,引导网络由粗到细依次挖掘不同粒度的特征,使网络更倾向于关注复杂环境中行人的显著区域;其次通过结构不对称的双重注意力特征金字塔分支(double attention feature pyramid branch,DFP branch)提取多尺度的行人特征,丰富特征的多样性,同时双重注意力机制可使分支从浅层信息中捕获高细粒度的局部特征;最后将粒度较粗的全局特征与多层级细粒度的局部特征融合,两种金字塔相互作用,以此获得更多具有鉴别性的多粒度特征,改善行人遮挡问题。在多个数据集上进行了实验,结果表明,各项评价指标均高于目前大多数主流模型,其中在DukeMTMC-reID数据集上,Rank-1、mAP和平均逆负处罚(mean inverse negative penalty,mINP)分别达到了91.6%、81.9%、48.1%。     

基于局部特征相关性的行人重识别

针对因行人重识别中行人图像的背景、姿势等差异和行人图像的属性相似导致的行人重识别准确率低的问题，提出了一种基于特征相关性学习的行人重识别方法，加强了局部特征提取的准确性和相关性，充分考虑了行人身体部位和其他部位之间的相关性。首先使用Resnet-50网络和人体关键点估计模型来提取局部特征和全局特征，然后对局部特征和全局特征进行分支操作，对局部特征进行相关性学习，加强各个局部特征与其他局部特征之间的联系，提高相似属性行人图像之间的鉴别性；对全局特征通过池化操作提取更为精确的全局特征，最后将相关性学习后的局部特征和池化后的全局特征进行拼接作为预测行人身份的对比特征。此模型在Market-1501数据集及DukeMTMC-ReID数据集上的mAP指标分别达到了85.6%和76.1%,验证了所提网络模型的有效性。     

基于偏振图像的低照度场景多目标检测算法

偏振光反射信息可直接反演目标本征特性,且在传输过程中具备较强的抗干扰特性,因此偏振成像技术可适用于多种复杂环境中的智能监控、交通监察领域。近年来使用深度学习判读图像检测目标的方法迅速发展,已经广泛应用于图像处理的各个领域。本文提出了一种基于偏振图像与深度神经网络算法的行人、车辆多目标检测算法YOLOv5s-DOLP。首先,通过实时获取到偏振图像进行偏振信息解析,获取目标偏振度图像。其次,为增强偏振度图像中检测目标与背景存在高对比度的特性,在主干网络中引入通道注意力与空间注意力,提升网络特征进行自适应学习的能力。此外,使用K-means算法对目标位置信息进行聚类分析,加快网络在偏振度图像的学习速度,提升目标检测精度。实验结果显示,该算法结合了偏振成像和深度学习目标检测的优势,对于低照度复杂场景中的车辆、行人目标检测效果好、检测速度快,对于道路车辆的目标检测、识别与跟踪具有一定的应用价值。     

车载异构非制冷红外成像行人检测系统

车载红外夜间行人检测具有重要的实用价值,传统系统往往结构复杂、行人检测算法实时性难以保证。针对该问题提出了基于FPGA + DaVinci处理器构架的非制冷红外热成像行人检测系统,充分利用红外焦平面的成像特点,获取经预处理后的图像画质清晰;在检测行人区域过程中,提出结合局部自适应阈值分割和形态学处理的预处理方法,能够有效去除强背景的干扰;另外,利用Haar-like特征事先训练AdaBoost分类器,进行ROI的分类、识别。实验结果表明,采用多核心异构的系统,具备结构紧凑、数据通信难度小、算法移植性强等优势;FPGA对算法加速效果约为38 %,实时检测帧频达到了25 f/s。     

Strong ghost removal in multi-exposure image fusion using hole-filling with exposure congruency

It is the most crucial problem to remove ghost in the multi-exposure image fusion of dynamic scene. The traditional fusion methods have good effects to remove weak ghosts. However, they cannot effectively remove strong ghosts. This paper proposes a new strong ghost removal method in multi-exposure image fusion using hole-filling with exposure congruency. First, analyzing the characteristics of strong ghosts, a detection scheme for strong ghost regions is designed by combining histogram matching and exposure difference detection. Subsequently, to effectively extract image local features, a multi-scale fusion network for non-strong ghost regions is designed to obtain a pre-fused image. Further, based on the distribution characteristics of strong ghosts, a hole-filling model with exposure congruency is designed to remove the strong ghosts. Experimental results show that compared with the state-of-the-art methods, the proposed method can obtain better performance in both of subjective and objective evaluation, particularly in terms of effectively removing strong ghosts.     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

基于curvelet变换的光学器件表面特征识别

为了精确识别复杂精密光学器件在制造过程中由于工艺要求不可避免产生的缺陷特征,基于曲线波(Curvelet)变换优良的曲线特征识别和强大的稀疏表示能力,提出了一种基于曲线波变换的缺陷特征识别方法,该方法采用变换域特征分离,在空间域获得特征识别后的器件表面图像。仿真结果和实验结果证明,提出的方法比传统小波算法精度和准确度更好,运算速度也可以接受,因此可用于光学器件表面特征缺陷的在线检测。     

Research on image feature extraction and retrieval algorithms based on convolutional neural network

With the rapid development of mobile Internet and digital technology, people are more and more keen to share pictures on social networks, and online pictures have exploded. How to retrieve similar images from large-scale images has always been a hot issue in the field of image retrieval, and the selection of image features largely affects the performance of image retrieval. The Convolutional Neural Networks (CNN), which contains more hidden layers, has more complex network structure and stronger ability of feature learning and expression compared with traditional feature extraction methods. By analyzing the disadvantage that global CNN features cannot effectively describe local details when they act on image retrieval tasks, a strategy of aggregating low-level CNN feature maps to generate local features is proposed. The high-level features of CNN model pay more attention to semantic information, but the low-level features pay more attention to local details. Using the increasingly abstract characteristics of CNN model from low to high. This paper presents a probabilistic semantic retrieval algorithm, proposes a probabilistic semantic hash retrieval method based on CNN, and designs a new end-to-end supervised learning framework, which can simultaneously learn semantic features and hash features to achieve fast image retrieval. Using convolution network, the error rate is reduced to 14.41% in this test set. In three open image libraries, namely Oxford, Holidays and ImageNet, the performance of traditional SIFT-based retrieval algorithms and other CNN-based image retrieval algorithms in tasks are compared and analyzed. The experimental results show that the proposed algorithm is superior to other contrast algorithms in terms of comprehensive retrieval effect and retrieval time.     

基于双重注意力机制的遥感图像场景分类特征表示方法

针对遥感图像场景分类面临的类内差异性大、类间相似性高导致的部分场景出现分类混淆的问题,该文提出了一种基于双重注意力机制的强鉴别性特征表示方法。针对不同通道所代表特征的重要性程度以及不同局部区域的显著性程度不同,在卷积神经网络提取的高层特征基础上,分别设计了一个通道维和空间维注意力模块,利用循环神经网络的上下文信息提取能力,依次学习、输出不同通道和不同局部区域的重要性权重,更加关注图像中的显著性特征和显著性区域,而忽略非显著性特征和区域,以提高特征表示的鉴别能力。所提双重注意力模块可以与任意卷积神经网络相连,整个网络结构可以端到端训练。通过在两个公开数据集AID和NWPU45上进行大量的对比实验,验证了所提方法的有效性,与现有方法对比,分类准确率取得了明显的提升。     

基于多模态双向导向注意的视觉问答

针对视觉问答(VQA)任务中现存深度协同注意模型只考虑问题引导图像的单向注意方式,导致多模态学习交互性不足的问题,提出一种多模态双向导向注意力网络.该网络由多模态特征提取模块、双向导向注意力模块、特征融合模块以及分类器组成.将提取出的图像和问题特征分别经过层层注意后输出加权的注意特征;经过特征线性融合后送入softma...     

基于多尺度注意力特征融合CRNN的声音事件检测

针对声音事件检测中仅在时频维度使用注意力机制的局限性以及卷积层单一导致的 特征提取不足问题,本文提出基于多尺度注意力特征融合的卷积循环神经网络(convolutional recurrent neural network,CRNN)模型,以提高声音事件检测性能。首 先,提出多尺度注意力模块,实现对局部时频单元和全局通道特征的多尺度注意,提高模型 的特征选择能力;其次,提出一种多尺度特征融合方法,融合含有丰富上下文信息的多尺度 注意力特征,提高模型的特征表达能力;最后,双向门控循环网络层对时间依赖性进行建模 , 全连接层对声音事件进行逐帧分类。除此之外,使用数据平衡技术进一步泛化模型。在 AudioSet子数据集上的实验结果表明:提出的网络模型与CRNN相比,评估集(error rate, ER)下降 11%,F1分数 (F1-score, F1)提升8.3%,有效地提高了声音事件检测性能。     

结合多特征融合和极限学习机的红外图像目标分类方法

针对红外图像目标分类问题,提出了结合多特征融合和极限学习机（extreme learning machine,ELM）的方法。采用主成分分析（principal component analysis,PCA）、局部二值模式（local binary pattern,LBP）以及尺度不变特征变换（scale-invariant feature transform,SIFT）三类特征分别描述红外图像中目标的像素分布、局部纹理以及特征点信息。三类特征从不同侧面反映红外图像目标特性,因此具有互为补充的优势。在此基础上,基于多重集典型相关分析（multiset canonical correlations analysis,MCCA）对三类特征进行融合处理,获得统一的特征矢量。融合后的特征不仅继承了原始三类特征的鉴别特性,还有效去除了冗余信息。分类过程中,采用极限学习机作为基础分类器对融合特征矢量进行分类。极限学习机具有参数少、效率高、精度高和稳健性强等显著特点,有利于提高红外目标分类的整体性能。因此,所提出的方法通过结合多特征和极限学习机的优势综合提升了目标识别性能。在实验过程中,采用四类飞机目标的红外图像对所提出方法进行了性能测试。根据与现有几类方法的对比,实验结果证明了提出方法的性能优势。