基于多尺度特征Transformer的细粒度图像分类方法

针对细粒度图像分类任务的长尾分布问题，提出了一种基于多尺度特征Transformer的细粒度图像分类方法，实现了底层与深层特征的保护并优化了长尾分布。首先，设计了混合数据采样方法，获取用于优化表征学习、长尾分布和细粒度特征的三元组数据；然后，设计了Transformer多尺度特征优化方法，分别通过底层特征对比学习方法与深层特征平衡学习方法优化特征学习过程，改善类别混淆和细粒度特征的提取，在保护头部类别特征学习的同时增加对尾部类别的关注。仿真结果表明，所提方法可以有效地改善细粒度图像分类任务中长尾分布带来的影响，优化特征分布，提高分类准确率。     

奇异值分解与中心度量的细粒度车型识别算法

针对细粒度车型识别图像分类因存在冗余特征而导致识别率低的问题,提出一种基于奇异值分解与中心度量的细粒度车型识别算法。首先,提出一种基于奇异值分解卷积神经网络,对全连接层的权重矩阵进行奇异值分解后重新赋值并微调,可以去除具有相关性的冗余特征,学习到细粒度级别的区分性特征;其次,提出一种学习不同特征的融合损失方法,将中心距离损失和分类损失进行加权融合,使得学习的特征类内之间的距离更小。实验表明,该方法使用 Residual Network(ResNet)框架在Cars-196细粒度车型数据集上测试,准确率能够达到93.02%,优于目前表现较好的双线性和注意力模型。扩展实验证明该方法同样适用于其他网络框架。     

基于注意力和自适应权重的车辆重识别算法

为了解决车辆重识别算法受类内差异性与类间相似性的干扰无法充分表示车辆特征的问题，提出基于注意力机制和自适应损失权重的车辆重识别算法.该算法采用改进的主干网络ResNet50＿ibn，避免了颜色、光照、视角等客观因素的干扰，提取关于目标的不变性特征.搭建基于注意力机制的组表示网络，融合特征间的相互依赖关系，从不同分组的特征表示中提取更加丰富的特征信息.设计自适应损失权重计算损失函数，使用多损失函数策略对网络模型进行训练.该算法在公开数据集VeRi776与VehicleID上的首位击中率和平均精度均值分别达到了96.0%、79.8%和81.5%、80.9%.实验结果表明，利用该算法提取的特征更具判别性，综合性能优于现有的其他车辆重识别算法.     

多头注意机制的多粒度文本-图像对齐

基于文本的人物图像搜索任务存在文本和图像细粒度特征提取以及消除文本-图像模态间差距等方面的挑战.本文针对全局特征不足以表示全面的文本和图像模态特征的问题，提出了多头注意机制的多粒度文本-图像对齐方法，该方法引入多头注意力机制，在考虑全局匹配的基础之上，同时考虑局部图像特征和局部文本特征之间的匹配，并对局部图像特征和局部文本特征应用多头注意力机制，来获取文本和图像模态内的关系信息，提出模态间关系模块来获取两个模态之间的关系信息，使提取到的局部图像特征和局部文本特征自适应地对齐，从而提升基于文本的人物图像搜索任务的整体效果.在公共数据集CUHK-PEDES上进行了实验验证，模型的总体性能较baseline提高了3.0%,由此表明本文提出的模型在基于文本的人物图像搜索任务中的有效性.     

深度细粒度图像识别研究综述

细粒度图像分类是计算机视觉中一项基础且重要的工作,其目的在于区分难以辨别的对象类别(例如不同子类的鸟类、花或动物).不同于传统的图像分类任务可以雇佣大量普通人标注,细粒度数据集通常需要专家级知识进行标注.除了视觉分类中常见的姿态、光照和视角变化因素之外,细粒度数据集具有更大的类间相似性和类内差异性,因此要求模型能够捕捉到细微的类间差异信息和类内公有信息.除此之外,不同类别的样本存在不同程度的获取难度,因此细粒度数据集通常在数据分布中表现出长尾的特性.综上所述,细粒度数据分布具有小型、非均匀和不易察觉的类间差异等特点,对强大的深度学习算法也提出了巨大的挑战.本文首先介绍了细粒度图像分类任务的特点与挑战,随后以局部特征与全局特征两个主要视角整理了目前的主流工作,并讨论了它们的优缺点.最后在常用数据集上比较了相关工作的性能表现,并进行了总结与展望.     

多层特征融合及兴趣区域的花卉图像分类

为了提高模型识别效率,本文提出基于兴趣区域的多层特征融合的花卉图像分类方法,并有效应用于梅花细粒度图像分类。通过提取兴趣区域和多层特征融合强化图像特征,使用全局平均池化层替代Flatten层。采用联合均匀分布的交叉熵损失函数,提升了分类准确率。实验结果表明:此方法在标准数据集Oxford Flowers 102的分类准确率为93.57%,在梅花数据集Plum Flowers 17的分类准确率为85.47%。此方法通过融合多层图像特征,能够消除背景噪声的干扰,具有通用性。     

深度学习在细粒度图像识别中的应用综述

深度学习技术在多种视觉任务中表现出优异的性能,特别是深度学习技术的发展大大促进了细粒度图像识别任务的进步.细粒度图像识别的目的在于正确识别子对象类别,例如鸟类中的不同子类别.由于细粒度图像数据通常需要具有专家知识才能够进行有效识别与标注,获取难度比较高,同时,由于细粒度类别直接具有小的类间差异性和大的类内差异性特点,需要模型能够捕捉到细微的有区分性的局部特征,这两方面原因导致这项任务极具挑战性.首先,介绍了深度学习技术的重要发展历程、细粒度图像识别任务的特点和挑战.随后,介绍了基于深度学习的细粒度识别方法的3种类型,包括基于定位-分类子网络的方法、基于端到端的特征编码方法和利用外部辅助信息的细粒度图像识别方法,并选择有代表性的工作给予了详细的介绍.最后,在常用数据集上比较了相关工作的性能,对细粒度图像识别任务进行了总结和展望.     

基于统计特征聚类原理的图像识别技术

提出了基于模糊聚类原理的图像统计特征识别技术。通过分析象素灰度矩阵信息，提取出图像独立的统计特征量，建立起相应的图像统计特征模型空间Ω。由此，计算出各图像类的模糊相似系数矩阵，再运用聚类分析的传递闭包法将其改造成为模糊等价矩阵，划分出图像等价类，进而实现对目标图像的识别。实验结果表明，该方法能获得很好的图像识别效果。     

融合多分支与多粒度特征的东北虎重识别

为解决东北虎重识别研究中存在的细节特征提取不充分等问题,提出了一种融合多分支与多粒度特征的东北虎重识别模型CMM-Net。其中,全局分支负责提取宏观上的粗粒度特征;注意力分支通过插入坐标注意力模块加深了网络对重要特征的关注度;局部分支通过将特征图切分成不同条带块,从而提取东北虎更细粒度的局部特征。通过多个分支结构和多个细粒度特征结合来对模型进行优化学习,加强全局特征与局部特征的关联性。同时提出用Circle Loss与Softmax的联合损失来提高网络精度。实验结果表明,在ATRW数据集上所提模型在单摄像头环境下mAP为93.6%,跨摄像头环境下mAP为77.4%,均优于多数文献所提方法,证明了本文模型的有效性。     

基于轮廓曲率和谱系聚类的大鼠体态自动识别

为了对行为实验中大鼠的体态进行自动识别分析，提出了一种基于轮廓曲率和谱系聚类的识别算法．应用图像处理技术从序列实验图像中分别提取出大鼠轮廓曲线，计算大鼠轮廓曲线的曲率函数及其频谱，并以频谱作为体态聚类和识别的特征矢量．应用谱系聚类方法构建每种大鼠体态特征矢量的子类聚类中心特征矢量．应用1319幅样本图像和10629幅测试图像对本算法进行了实验．结果表明对样本图像和测试图像的识别正确率分别为94.16%和89.58%，该算法可用于大鼠体态的自动识别及后续的行为分析．     

一种基于操作码N-gram特征的代码混淆技术识别模型

针对代码混淆领域忽略代码混淆技术隐蔽性的安全问题，提出一种基于操作码n-gram特征的代码混淆技术识别模型。通过提取反编译二进制文件程序操作码，生成程序n-gram特征并筛选后输入机器学习分类算法训练，构建识别混淆程序的二分类模型与识别混淆技术的多分类模型。基于多来源第三方数据集与两种先进混淆工具验证该识别模型，使用10维特征识别两类混淆工具的混淆程序，平均识别准确率分别为100%、99.6%;使用30维特征识别5层以上混淆组合技术，平均识别准确率为98.8%。实验结果表明提出的代码混淆技术识别模型相较其他识别模型准确率更高，且对不同混淆工具有一定泛化能力，揭示了当前主流代码混淆技术的隐蔽性风险。     

基于改进双线性网络的腕骨区域骨龄评估方法

目前,基于深度学习的骨龄分类方法一般采用全手图像作为输入,或者通过标注额外的边界框或关键点来挖掘局部信息。针对全手图像骨龄评估方法容易丢失局部细节信息的问题,提出一种利用腕骨区域特征的骨龄评估方法,该方法将手腕骨的腕关节区域图像作为研究对象,在仅使用单区域图像标注的前提下,利用细粒度识别模型中局部关注和判别细微差异的能力进行骨龄评估。为了提高骨龄评估的精确度,对细粒度识别网络B-CNN(Bilinear CNN)进行改进,在其基础特征提取网络中加入融合了残差结构和注意力机制的特征学习网络,并且根据骨龄预测值的分布特点改进损失函数。经过数据实验,与AlexNet,ResNet和DenseNet等图像分类模型进行比较,结果表明笔者方法有效地提升了模型识别的能力。与现有的全手图像和额外标注的方法相比,笔者方法在仅使用单区域标注的情况下,提高了骨龄评估的准确率。     

基于显著性检测的害虫图像分类

针对病虫害分类时害虫种类多样,且类间与类内差异大等问题,提出了一种害虫分类模型PestNet.模型主要由目标定位模块OPM和多特征融合模块MFFM组成,OPM通过U型网络结构整合害虫图像浅层细节信息和深层空间信息,初步划定显著区域并输出空间语义特征.MFFM通过对空间语义特征和抽象语义特征进行双线性池化操作,弱化背景信息,增加细节特征.此外,通过目标区域裁剪和掩膜等方式辅助训练模型,提高模型分类精度.将该模型在病虫害数据集IP102上进行实验,分类准确率可达77.40％,能够实现复杂背景下大规模害虫图像的分类识别.     

基于多语义融合与ArcFace损失的指静脉识别算法

指静脉识别深度学习方法往往忽视指静脉低级特征,未能充分利用指静脉轮廓、纹理等特征。为此,提出一种基于多语义特征融合网络与ArcFace损失的指静脉识别算法。首先,充分利用神经网络低层提取的指静脉轮廓角点等细节特征和纹理形状等结构信息,提出跨层拼接的特征融合机制,解决仅利用指静脉高级特征识别而忽视静脉低级特征的问题;其次,残差单元采用双层卷积结构,增加了相邻残差单元特征图的距离,消除了指静脉各级语义特征重叠现象,并采用阶跃式残差单元分布来提升网络高低层残差单元数量的差异,进一步加大了指静脉各级特征的距离;最后,在损失函数中加入ArcFace损失项,在角度域聚敛类内距离,分离类间距离,减小指静脉特征向量的类内距离。在公开数据集FV-USM、实验室采集的正常图像库及特殊图像库上进行性能分析实验,结果表明,和指静脉识别经典网络相比,提出算法的零误识拒识率分别降低了8.89%,6.89%和14.68%,Top1排序性能分别提升了2.85%,5.10%和9.07%。     

基于多颜色和局部纹理的水果识别算法研究

为提高水果种类识别的准确性,本文提出一种基于多颜色特征和纹理特征的水果识别算法。该研究选择不同种类的水果图像作为实验测试样本,使用最大类间方差法Otsu分割图像,得到水果图像的目标区域,分别对目标区域进行红、绿、蓝(RGB)颜色模型和色调、饱和度、明度(HSV)颜色模型的直方图分析,采用颜色矩算法和非均匀量化算法对RGB模型和HSV模型提取特征,利用局部二值模式(local binary patterns,LBP)对目标区域提取局部纹理特征,对颜色和纹理特征向量进行优化组合,结合基于梯度下降算法的BP神经网络对测试样本进行训练分类。针对输入层输入不同特征分别进行实验并比较,得到基于不同特征的水果识别率。研究结果表明,本算法分类识别率可达90%以上,高于单一特征算法识别率。该研究具有一定的实际应用价值。     

一种基于运动分析的步态识别方法

步态识别是新近发展的一种用在身份识别、视频监控等场合的生物特征识别技术.文中提出了一种基于运动分析的步态识别方法,采用线性判别分析和离散余弦变换分析从图像序列中提取的步态特征.采用背景减除技术提取了侧影,利用侧影的宽高变化进行了步态周期分析及行走方向判断;采用一种通过分析侧影宽度变化获取角度信息的肢体角度提取方法获取了步态序列特征;用类间散布矩阵和类内散布矩阵对应的行列式的比值确定特征个数,并采用线性判别分析和离散余弦变换分析了步态特征.在几个常用数据库上进行了实验结果表明,该方法行之有效.     

基于条件边界平衡生成对抗网络的河流表面流速估测

针对不同流速类类间差异小而造成的分类困难问题,提出条件边界平衡生成对抗网络和多特征融合的卷积分类网络,分别进行流速图像的生成和分类. 为了达到数据增强效果,引入标签机制和验证模块实现相应类别图像数据的拟合与生成;为了加强图像不同纹理特征信息对流速估测的影响,引入多特征融合机制对所有真实样本和生成伪样本进行特征提取和流速识别,实现对差异性较小的图像的分类. 将该方法应用于实际的河流表面流速估测,结果表明,在图像生成模块中,引入的标签信息和验证机制在一定程度上能强制引导模型的数据生成方向;在图像识别模块中,引入的多特征融合机制使所提出方法相较于其他方法,在差异性较小的水流图像的识别上更具鲁棒性.     

基于多特征融合和混合核SVM的目标识别方法

针对可见光和红外传感器具有不同感知特性的问题,提出了一种基于多传感器特征信息融合和混合核SVM的图像目标识别方法,方法包含多特征提取、主成分分析和混合核SVM分类三个部分.在特征提取中利用可见光和红外图像的互补性,分别提取同一场景可见光与红外图像的灰度共生矩阵以及灰度直方图统计特征,得到一组目标融合的特征量,进一步进行目标分类与识别;利用主成分分析法降低特征的维度,减少计算量;利用混合核SVM方法对目标特征进行分类识别.结果表明,在室内环境中对不同人群密度等级进行分类时,所提出方法的精度可达88.21%.     

基于多尺度融合的遥感图像变化检测模型

为精准识别双时相遥感图像的变化区域,提出了一种基于多尺度融合的遥感图像变化检测模型。该模型在源图像特征提取阶段构造多尺度输入金字塔,接受多层次的感受野,增强对特征信息的感知;并通过对深层差异特征进行多尺度计算,实现精准定位变化区域与充分挖掘细节信息间的平衡;同时融合网络不同层级的差异特征检测结果,极大程度识别并保留语义变化信息。实验结果表明：本文模型在主观评价与客观指标上都具有良好的表现效果。     

基于组合零样本学习的接触网吊弦线缺陷识别

目前现场接触网吊弦缺陷图像严重不足，导致模型特征学习不充分，识别准确率难以得到有效提高，为此提出基于组合零样本学习的接触网吊弦线缺陷识别方法.采用以ResNet-50作为主干网络的视觉特征提取模块提取图像视觉特征；使用预训练的Word2Vec词向量对标签组合图中的节点特征进行初始化，并通过2层图卷积网络学习标签组合图中各节点之间的依赖关系，从而优化组合标签节点的语义特征，改善最终的识别效果；将提取到的视觉特征和优化后的组合标签节点的语义特征相对齐，构建相似度函数计算图像视觉特征与组合标签语义特征之间的相似度得分，并通过交叉熵损失完成图像组合标签的预测.仿真实验结果表明：所提方法对可见类样本的类平均检测准确率为93.5%，对不可见类样本的类平均检测准确率为86.5%.