融合多粒度特征的细粒度图像分类网络

在细粒度图像分类任务中，巨大的类内方差决定了该任务的分类依赖于粗粒度和细粒度信息.最近的工作主要关注于如何定位不同粒度的辨别性局部来解决这个问题.然而，在如何选择具有辨别性的粒度以及融合多粒度特征方面，现有的工作还缺乏一定研究.因此，本文提出了一个融合多粒度特征的细粒度图像分类网络，首先通过一个局部错位模块选择细粒度图像中的不同粒度，然后引入注意力机制定位它们并提取其多粒度特征，并且通过迭代学习的方式提取多粒度间的互补信息，最后采用可变形卷积融合这些多粒度特征，从而实现细粒度图像分类.本文所提出的方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个数据集上准确率分别达到88.6%、93.6%和94.8%,这表明本文的方法能够获得优秀的分类性能.     

双核压缩激活神经网络艺术图像分类

目的 为了充分提取版画、中国画、油画、水彩画和水粉画等艺术图像的整体风格和局部细节特征,实现计算机自动分类检索艺术图像的需求,提出通过双核压缩激活模块（double kernel squeeze-and-excitation,DKSE）和深度可分离卷积搭建卷积神经网络对艺术图像进行分类。方法 根据SKNet（selective kernel networks）自适应调节感受野提取图像整体与细节特征的结构特点和SENet（squeeze-and-excitation networks）增强通道特征的特点构建DKSE模块,利用DKSE模块分支上的卷积核提取输入图像的整体特征与局部细节特征;将分支上的特征图进行特征融合,并对融合后的特征图进行特征压缩和激活处理;将处理后的特征加权映射到不同分支的特征图上并进行特征融合;通过DKSE模块与深度可分离卷积搭建卷积神经网络对艺术图像进行分类。结果 使用本文网络模型对有无数据增强（5类艺术图像数据增强后共25 634幅）处理的数据分类,数据增强后的分类准确率比未增强处理的准确率高9.21%。将本文方法与其他网络模型和传统分类方法相比,本文方法的分类准确率达到86.55%,比传统分类方法高26.35%。当DKSE模块分支上的卷积核为1×1和5×5,且放在本文网络模型第3个深度可分离卷积后,分类准确率达到87.58%。结论 DKSE模块可以有效提高模型分类性能,充分提取艺术图像的整体与局部细节特征,比传统网络模型具有更好的分类准确率。     

细粒度图像分类的互补注意力方法

目的 由于分类对象具有细微类间差异和较大类内变化的特点,细粒度分类一直是一个具有挑战性的任务。绝大多数方法利用注意力机制学习目标中显著的局部特征。然而,传统的注意力机制往往只关注了目标最显著的局部特征,同时抑制其他区域的次级显著信息,但是这些抑制的信息中通常也含有目标的有效特征。为了充分提取目标中的有效显著特征,本文提出了一种简单而有效的互补注意力机制。方法 基于SE（squeeze-and-excitation）注意力机制,提出了一种新的注意力机制,称为互补注意力机制（complemented SE,CSE）。既从原始特征中提取主要的显著局部特征,也从抑制的剩余通道信息中提取次级显著特征,这些特征之间具有互补性,通过融合这些特征可以得到更加高效的特征表示。结果 在CUB-Birds（Caltech-UCSD Birds-200-2011）、Stanford Dogs、Stanford Cars和FGVC-Aircraft（fine-grained visual classification of aircraft）4个细粒度数据集上对所提方法进行验证,以ResNet50为主干网络,在测试集上的分类精度分别达到了87.9%、89.1%、93.9%和92.4%。实验结果表明,所提方法在CUB-Birds和Stanford Dogs两个数据集上超越了当前表现最好的方法,在Stanford Cars和FGVC-Aircraft数据集的表现也接近当前主流方法。结论 本文方法着重提升注意力机制提取特征的能力,得到高效的目标特征表示,可用于细粒度图像分类和特征提取相关的计算机视觉任务。     

互补注意多样性特征融合网络的细粒度分类

目的 基于Transformer架构的网络在图像分类中表现出优异的性能。然而,注意力机制往往只关注图像中的显著性特征,而忽略了其他区域的次级显著信息,基于自注意力机制的Transformer也是如此。为了获取更多的有效信息,从有区别的潜在性特征中学习到更多的可判别特征,提出了一种互补注意多样性特征融合网络（complementary attention diversity feature fusion network,CADF）,通过关注次显特征和对通道与空间特征协同编码,以增强特征多样性的注意感知。方法 CADF由潜在性特征模块（potential feature module,PFM）和多样性特征融合模块（diversity feature fusion module,DFFM）组成。PFM模块通过聚合空间与通道中感兴趣区域得到显著性特征,再对特征的显著性进行抑制,以强制网络挖掘潜在性特征,从而增强网络对微小判别特征的感知。DFFM模块探索特征间的相关性,对不同尺寸的特征交互建模,以得到更加丰富的互补信息,从而产生更强的细粒度特征。结果 本文方法可以端到端地进行训练,不需要边界框和多阶段训练。在CUB-200-2011（Caltech-UCSD Birds-200-2011）、Stanford Dogs、Stanford Cars以及FGVC-Aircraft （fine-grained visual classification of aircraft）4个基准数据集上验证所提方法,准确率分别达到了92.6%、94.5%、95.3%和93.5%。实验结果表明,本文方法的性能优于当前主流方法,并在多个数据集中表现出良好的性能。在消融研究中,验证了模型中各个模块的有效性。结论 本文方法具有显著性能,通过注意互补有效提升了特征的多样性,以此尽可能地获取丰富的判别特征,使分类的结果更加精准。     

部件检测和语义网络的细粒度鞋类图像检索

目的 细粒度图像检索是当前细粒度图像分析和视觉领域的热点问题。以鞋类图像为例,传统方法仅提取其粗粒度特征且缺少关键的语义属性,难以区分部件间的细微差异,不能有效用于细粒度检索。针对鞋类图像检索大多基于简单款式导致检索效率不高的问题,提出一种结合部件检测和语义网络的细粒度鞋类图像检索方法。方法 结合标注后的鞋类图像训练集对输入的待检鞋类图像进行部件检测;基于部件检测后的鞋类图像和定义的语义属性训练语义网络,以提取待检图像和训练图像的特征向量,并采用主成分分析进行降维;通过对鞋类图像训练集中每个候选图像与待检图像间的特征向量进行度量学习,按其匹配度高低顺序输出检索结果。结果 实验在UT-Zap50K数据集上与目前检索效果较好的4种方法进行比较,检索精度提高近6%。同时,与同任务的SHOE-CNN（semantic hierarchy of attribute convolutional neural network）检索方法比较,本文具有更高的检索准确率。结论 针对传统图像特征缺少细微的视觉描述导致鞋类图像检索准确率低的问题,提出一种细粒度鞋类图像检索方法,既提高了鞋类图像检索的精度和准确率,又能较好地满足实际应用需求。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

YOLOv3和双线性特征融合的细粒度图像分类

目的 细粒度图像分类是计算机视觉领域具有挑战性的课题,目的是将一个大的类别分为更详细的子类别,在工业和学术方面都有着十分广泛的研究需求。为了改善细粒度图像分类过程中不相关背景干扰和类别差异特征难以提取的问题,提出了一种将目标检测方法YOLOv3（you only look once）和双线性融合网络相结合的细粒度分类优化算法,以此提高细粒度图像分类的性能。方法 利用重新训练过的目标检测算法YOLOv3粗略确定目标在图像中的位置;使用背景抑制方法消除目标以外的信息干扰;利用融合不同通道、不同层级卷积层特征的方法对经典的细粒度分类算法双线性卷积神经网络（bilinear convolutional neural network,B-CNN）进行改进,优化分类性能,通过融合双线性网络中不同卷积层的特征向量,得到更加丰富的互补信息,从而提高细粒度分类精度。结果 实验结果表明,在CUB-200-2011（Caltech-UCSD Birds-200-2011）、Cars196和Aircrafts100数据集中,本文算法的分类准确率分别为86.3%、92.8%和89.0%,比经典的B-CNN细粒度分类算法分别提高了2.2%、1.5%和4.9%,验证了本文算法的有效性。同时,与已有细粒度图像分类算法相比也表现出一定的优势。结论 改进算法使用YOLOv3有效滤除了大量无关背景,通过特征融合方法来改进双线性卷积神经分类网络,丰富特征信息,使分类的结果更加精准。     

结合细粒度特征与深度卷积网络的手绘图检索

目的 传统的手绘图像检索方法主要集中在检索相同类别的图像，忽略了手绘图像的细粒度特征。对此，提出了一种新的结合细粒度特征与深度卷积网络的手绘图像检索方法，既注重通过深度跨域实现整体匹配，也实现细粒度细节匹配。方法 首先构建多通道混合卷积神经网络，对手绘图像和自然图像分别进行不同的处理；其次通过在网络中加入注意力模型来获取细粒度特征；最后将粗细特征融合，进行相似性度量，得到检索结果。结果 在不同的数据库上进行实验，与传统的尺度不变特征（SIFT）、方向梯度直方图（HOG）和深度手绘模型Deep SaN（sketch-a-net）、Deep 3DS（sketch）、Deep TSN（triplet sketch net）等5种基准方法进行比较，选取了Top-1和Top-10，在鞋子数据集上，本文方法Top-1正确率提升了12%，在椅子数据集上，本文方法Top-1正确率提升了11%，Top-10提升了3%，与传统的手绘检索方法相比，本文方法得到了更高的准确率。在实验中，本文方法通过手绘图像能在第1幅检索出绝大多数的目标图像，达到了实例级别手绘检索的目的。结论 提出了一种新的手绘图像检索方法，为手绘图像和自然图像的跨域检索提供了一种新思路，进行实例级别的手绘检索，与原有的方法相比，检索精度得到明显提升，证明了本文方法的可行性。     

语义融合眼底图像动静脉分类方法

目的 眼底图像中的动静脉分类是许多系统性疾病风险评估的基础步骤。基于传统机器学习的方法操作复杂,且往往依赖于血管提取的结果,不能实现端到端的动静脉分类,而深度语义分割技术的发展使得端到端的动静脉分类成为可能。本文结合深度学习强大的特征提取能力,以提升动静脉分类精度为目的,提出了一种基于语义融合的动静脉分割模型SFU-Net（semantic fusion based U-Net）。方法 针对动静脉分类任务的特殊性,本文采用多标签学习的策略来处理该问题,以降低优化难度。针对动静脉特征的高度相似性,本文以DenseNet-121作为SFU-Net的特征提取器,并提出了语义融合模块以增强特征的判别能力。语义融合模块包含特征融合和通道注意力机制两个操作：1）融合不同尺度的语义特征从而得到更具有判别能力的特征;2）自动筛选出对目标任务更加重要的特征,从而提升性能。针对眼底图像中血管与背景像素之间分布不均衡的问题,本文以focal loss作为目标函数,在解决类别不均衡问题的同时重点优化困难样本。结果 实验结果表明,本文方法的动静脉分类的性能优于现有绝大多数方法。本文方法在DRIVE（digital retinal images for vessel extraction）数据集上的灵敏性（sensitivity）与目前最优方法相比仅有0.61%的差距,特异性（specificity）、准确率（accuracy）和平衡准确率（balanced-accuracy）与目前最优方法相比分别提高了4.25%,2.68%和1.82%;在WIDE数据集上的准确率与目前最优方法相比提升了6.18%。结论 语义融合模块能够有效利用多尺度特征并自动做出特征选择,从而提升性能。本文提出的SFU-Net在动静脉分类任务中表现优异,性能超越了现有绝大多数方法。     

行人再识别中基于无监督学习的粗细粒度特征提取

行人再识别研究中存在特征判别信息不够丰富的情况,并且遮挡、光照等因素会干扰有效特征的准确提取,对后续相似性度量、度量结果排序等工作都有较大影响。此外,监督学习需要使用标签信息,在面对大型数据集时工作量很大。通过引入无监督学习框架,提出一种粗细粒度判别性特征提取方法。构建基于细粒度和粗粒度特征学习的模型框架,其中包含局部和全局2个分支。在局部分支中,对图像学习到的特征映射提取补丁块,并在未标记数据集上学习不同位置的细粒度补丁特征;在全局分支中,使用无标注数据集的相似度和多样性作为信息来学习粗粒度特征。在此基础上,利用相吸和相斥2个损失函数分别增加类别内相似度和类别间多样性,并结合最小距离准则计算特征之间的相似度,进行无监督的聚类合并。在Market-1501和DukeMTMC-reID数据集上的实验结果表明,该方法对于完成行人再识别任务具有较好的判别性能和鲁棒性,相比所有对比方法的最优结果,其Rank-1指标分别提高5.76%和5.07%,平均精度均值分别提高3.2%和5.6%。     

设计特征向加工特征转换的扫体重构法

针对同时需要铣削和车削加工的零件,提出一种基于扫体的从设计特征向加工特征转换的统一方法.采用扫体方式重构零件和毛坯模型,并将毛坯与零件之间的差体沿着这些扫体扫掠路径拆分出各种新的加工扫体,最后将这些加工扫体依照它们之间的邻接关系和加工特征形状结构选择合并成加工特征.该方法实现了同一零件中直扫体和回转扫体2种特征的统一转换,能够产生对应各种不同加工方法和方向的加工特征,有利于工艺优化.文中方法已应用于一个CAPP系统,其结果证明了该方法的可靠性.     

一种基于分布的形状特征描述子

形状特征描述在基于内容的图像检索与识别研究中具有重要地位,文中对图像检索及识别中常用的形状描述进行了介绍。提出一个新的基于区域中心分布的方案来对图像形状特征进行描述,该描述子以待识别对象的区域二值图像的中心点为圆心,将各点到圆心的距离进行规范化处理,统计落入以区域中心为圆心的各环内的点数与总像素点数n的比例,从而形成一个基于中心分布的形状特征向量。经过数学证明该描述方案提取的形状特征具有缩放、旋转和平移不变性。文中通过使用该方案提取的图像特征进行图像识别检索实验,取得了理想的实验结果,说明了它是一个有效的图像区域形状描述子。     

基于实体模型的产品形状特征识别

依据实体造型的特点,从模型空间的特征层入手,搜寻模型空间中的简单形状特征,并根据造型特点获取单个特征在零件模型上的几何拓扑关系,从而实现形状特征的自动识别.通过分析特征实体造型,提出一种基于实体模型的产品形状特征识别方法,并结合微波器件产品开发特征参数提取模块,实现复杂零件模型形状特征的自动识别与提取.该方法为快速建立企业零件库提供途径,也为网络环境下的协同设计和数据共享奠定基础.     

Boosted cascade of scattered rectangle features for object detection

This paper presents a variant of Haar-like feature used in Viola and Jones detection framework,called scattered rectangle feature,based on the common-component analysis of local region feature. Three common components,feature filter,feature structure and feature form,are extracted without concern-ing the details of the studied region features,which cast a new light on region feature design for spe-cific applications and requirements: modifying some component(s) of a feature for an improved one or combining different components of existing features for a new favorable one. Scattered rectangle feature follows the former way,extending the feature structure component of Haar-like feature out of the restriction of the geometry adjacency rule,which results in a richer representation that explores much more orientations other than horizontal,vertical and diagonal,as well as misaligned,detached and non-rectangle shape information that is unreachable to Haar-like feature. The training result of the two face detectors in the experiments illustrates the benefits of scattered rectangle feature empirically; the comparison of the ROC curves under a rigid and objective detection criterion on MIT CMU upright face test set shows that the cascade based on scattered rectangle features outperforms that based on Haar-like features.     

混合加工特征识别方法

介绍一种集成了自动特征识别和用户交互特征定义的混合特征识别方法，该方法采用基于广义痕迹的特征识别建立零件的加工特征模型，通过交互特征定义对已建立的加工特征模型进行局部修改和再解释，在交互特征定义中，用户只需通过选取要修改的特征面定义自己的特征，剩余的面则调用自动特征识别算法处理，特征参数由系统提供的统一算法计算，从而减少了交互的工作量，这种混合特征识别方法有助于提高加工特征识别系统的实用性和健壮性。     

语义特征造型系统中特征模型转换的研究

通过对新一代的语义特征模型的分析,参考Bidarra等人的研究成果,运用有效性标准,确立语义特征造型中特征转换的方法,在采用数学方法基础上,提出了怎样在数学模型中把设计特征表示转换成加工特征表示。设计过程中的设计特征由一组具有几何特征的面和一组属性（包括维数和具体特征）表示。加工过程中的加工特征由许多面和这些加工操作中面面之间有意义的关系来表示。特征转换中采用数学方法,能够在集合运算中形成加工特征,特征相交这种困难问题也可用数学描述,并且理论上能够转换,从而提高产品模型的可编辑性和易编辑性。     

基于局部特征识别的特征有效性维护方法

缺乏特征模型的有效性维护功能已经成为目前特征造型系统存在的一个严重而亟待解决的问题.在对特征有效性条件进行深入分析的基础上,提出了一个基于扩展属性邻接图（extended attributed adjacency graph,简称EAAG）的特征有效性表示方法,特别是提出了基于局部特征识别的特征有效性维护新方法.该方法不仅能够自动判别特征的有效性是否被破坏,而且能确定导致特征无效的原因和遭破坏后特征的状态,从而能够根据用户的意图自动维持特征模型的有效性.     

根据工艺需要进行设计特征模型调整的方法

保持不同领域特征模型的一致性是多领域特征建模的一个核心问题。为有效地维护特征模型的一致性，提出一种根据对加工特征模型的修改要求自动确定设计特征模型调整方案的方法。该方法从加工特征修改所涉及的拓扑元素出发，通过搜索拓扑元素约束关系图找出相关的拓扑元素约束链，并以此为基础，利用有关准则自动确定设计特征调整的最优方案。该方法从加工的需求出发调整设计模型，保证设计与加工特征模型的一致性，可用于支持面向制造的设计。     

面向三维变量设计的可变特征模型

本文提出了一个面向三维变量设计的产品形状可变特征模型，其中包括特征树，特征表有特征约束关系图等新概念，用于描述设计过程中的形体模型和特征间的相互内在联系，从而不仅可作参数化设计，还支持更广泛意义上的变量设计。     

一种基于图的人脸特征提取方法

当前主流特征提取方法主要从全局特征或局部特征出发实现降维。为了能充分反映样本的全局特征和局部特征,提出基于图的人脸特征提取方法。该方法首先通过对训练样本进行学习得到最佳投影方向,该方向保证投影后的样本类内紧密而类间松散;然后将测试样本映射到最佳投影方向上并利用最近邻分类器进行样本类属判定。标准人脸库上的比较实验结果证明了所提方法的有效性。