形状的不变量特征提取与识别

目的 形状作为图像检索、目标识别等任务中的一种重要线索,一直是计算机视觉领域研究的重点课题。形状识别在实际应用中经常受到视角变化、非线性形变等因素的干扰,导致识别精度较低。针对这一状况,提出一种多尺度的不变量形状描述。方法 方法首先在多个尺度下对形状轮廓进行计算,提取5种不变量特征,以构建对形状的有效描述,然后利用动态时间规整（DTW）算法对形状描述进行匹配,计算形状之间的相似度,以完成形状的匹配与识别。结果 基于不变量多尺度的形状描述对于旋转、缩放、局部遮挡、铰接形变、类内差异,以及噪声等干扰具有很强的鲁棒性。同时,方法被用于对MPEG-7、Kimia99、Kimia216以及铰接形状数据库中的形状进行识别,取得了较高的识别精度,分别为91.79%、95.27%、91.33%,以及89.75%。此外,在MPEG-7数据库中进行形状识别的平均耗时为65 ms,优于大多数同类方法。结论 提出了一种基于不变量多尺度的形状描述方法。该方法能提取形状在不同尺度下的多种不变量特征,对形状进行有效描述,提高了形状描述对几何变换和非线性形变等干扰的鲁棒性以及形状匹配识别精度,适用于大多数应用场景下的目标识别任务。尤其是在旋转、缩放、类内差异、局部遮挡和铰接变形等干扰存在的情况下也能保持较高的识别正确率。     

显著图和多特征结合的遥感图像飞机目标识别

目的 遥感图像飞机目标的检测与识别是近年来国内外研究的热点之一。传统的飞机目标识别算法一般是先通过目标分割,然后提取不变特征进行训练来完成目标的识别。在干扰较少的情况下,传统算法的识别效果较好。但遥感图像存在着大量的干扰因素,如光照变化、复杂背景及噪声等,因此传统算法识别精度较低,耗时量较大。为快速、准确识别遥感图像中飞机目标,提出一种基于显著图和全局特征、局部特征结合的飞机目标识别算法。方法 首先使用改进的Itti显著算法提取遥感图像中的显著目标;接着使用基于区域增长和线标记算法寻找连通区域来确定候选目标的数量和位置;然后提取MSA（multi-scale autoconvolution）、Pseudo-Zernike矩和Harris-Laplace特征描述子,并使用标准差和均值的比值来评估特征的稳定性,再把提取的特征结合成特征向量;最后应用支持向量机的方法完成对候选目标的识别。结果 实验结果表明,本文算法检测率和识别率分别为97.2%和94.9%,均高于现有算法,并且耗时少,虚警率低（为0.03）,对噪声干扰、背景影响以及光照变化和仿射变化均具有良好的鲁棒性。结论 本文算法使用了图像的3种特征信息,包括MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子,有效克服单一特征的缺点,提高了遥感图像飞机目标的识别率和抗干扰能力。     

SAR变体目标识别的卷积神经网络法

目的 深度学习已经大量应用于合成孔径宽达（SAR）图像目标识别领域,但大多数工作是基于MSTAR数据集的标准操作条件展开研究。当将深度学习应用于同类含变体目标时,例如T72子类,由于目标间差异小,所以仍存在着较大的挑战。本文从极大限度地保留SAR图像输入特征出发,设计一种适用于SAR变体目标识别的深度卷积神经网络结构。方法 设计网络主要由多尺度空间特征提取模块和DenseNet中的稠密块、转移层构成。多尺度特征提取模块置于网络底层,通过使用尺寸分别为1×1、3×3、5×5、7×7、9×9的卷积核,提取丰富空间特征的同时保留输入图像信息。为使输入图像信息更加有效地向后传递,基于DenseNet中的稠密块和转移层进行后续网络层设计。在对训练样本进行样本扩充基础上,分析了输入图像分辨率及目标存在平移和不同噪声水平等情况对模型识别精度的影响,与用于SAR图像目标识别的深度模型识别精度在标准操作条件下进行了对比分析。结果 实验结果表明,对T72 8类变体目标进行分类,设计的模型能够取得95.48%的识别精度,在存在目标平移和不同噪声水平情况下,平均识别精度分别达到了94.61%和86.36%。对10类目标（包括不含变体和含变体情况）在进行数据增强的情况下进行模型训练与测试,分别达到了99.38%和98.81%的识别精度,略优于其他对比模型结构识别精度。结论 提出的模型可以充分利用输入图像以及各卷积层输出的特征,学习目标图像的细节差异,不仅适用于SAR图像变体目标的识别任务,同时在标准操作条件下的识别任务也取得了较高的识别结果。     

融合局部特征的面部遮挡表情识别

目的 针对人脸表情识别中存在局部遮挡的问题,提出一种融合局部特征的面部遮挡表情识别方法。方法 首先,为了减少噪声的影响,利用高斯滤波对归一化后的图像进行去噪处理;然后根据人脸不同部位对表情识别的不同贡献度,将图像划分为两个重要的子区域,并分别对该子区域进行不重叠分块处理;采用改进的中心对称局部二值模式（差值中心对称局部二值模式DCS-LBP）和改进的差值局部方向模式（梯度中心对称局部方向模式GCS-LDP）对各个子块提取相应的特征,并采用级联的方式得到图像的特征直方图;最后结合最近邻分类器对表情图像进行分类识别：利用卡方距离求取测试集图像与训练集图像特征直方图之间的距离,同时考虑到遮挡的干扰以及每个子块包含信息量的不同,利用信息熵对子块得到的卡方距离进行自适应加权。结果 在日本女性人脸表情库（JAFFE）和Cohn-Kanade（CK）人脸表情库上进行了3次交叉实验。在JAFFE库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得92.86%、94.76%和86.19%以上的平均识别率;在CK库中随机遮挡、嘴部遮挡和眼部遮挡分别可以取得99%、98.67%和99%以上的平均识别率。结论 该特征提取方法通过融合梯度方向上灰度值的差异以及梯度方向之间边缘响应值的差异来描述图像的特征,更加完整地提取了图像的细节信息。针对遮挡情况,本文采用的图像分割和信息熵自适应加权方法,有效地降低了遮挡对表情识别的干扰。在相同的实验环境下,与经典的局部特征提取方法以及遮挡问题处理方法的对比表明了该方法的有效性和优越性。     

FGSC-23：面向深度学习精细识别的高分辨率光学遥感图像舰船目标数据集

目的 基于光学遥感图像的舰船目标识别研究广受关注,但是目前公开的光学遥感图像舰船目标识别数据集存在规模小、目标类别少等问题,难以训练出具有较高舰船识别精度的深度学习模型。为此,本文面向基于深度学习的舰船目标精细识别任务研究需求,搜集公开的包含舰船目标的高分辨率谷歌地球和GF-2卫星水面场景遥感图像,构建了一个高分辨率光学遥感图像舰船目标精细识别数据集（fine-grained ship collection-23,FGSC-23）。方法 将图像中的舰船目标裁剪出来,制作舰船样本切片,人工对目标类别进行标注,并在每个切片中增加舰船长宽比和分布方向两类属性标签,最终形成包含23个类别、4 052个实例的舰船目标识别数据集。结果 按1：4比例将数据集中各类别图像随机划分为测试集和训练集,并展开验证实验。实验结果表明,在通用识别模型识别效果验证中,VGG16（Visual Geometry Group 16-layer net）、ResNet50、Inception-v3、DenseNet121、MobileNet和Xception等经典卷积神经网络（convolutional neural network,CNN）模型的整体测试精度分别为79.88%、81.33%、83.88%、84.00%、84.24%和87.76%;在舰船目标精细识别的模型效果验证中,以VGG16和ResNet50模型为基准网络,改进模型在测试集上的整体测试精度分别为93.58%和93.09%。结论 构建的FGSC-23数据集能够满足舰船目标识别算法的验证任务。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

区域注意力机制引导的双路虹膜补全

目的 虹膜识别是一种稳定可靠的生物识别技术,但虹膜图像的采集过程会受到多种干扰造成图像中虹膜被遮挡,比如光斑遮挡、上下眼皮遮挡等。这些遮挡的存在,一方面会导致虹膜信息缺失,直接影响虹膜识别的准确性,另一方面会影响预处理(如定位、分割)的准确性,间接影响虹膜识别的准确性。为解决上述问题,本文提出区域注意力机制引导的双路虹膜补全网络,通过遮挡区域的像素补齐,可以显著减少被遮挡区域对虹膜图像预处理和识别的影响,进而提升识别性能。方法 使用基于Transformer的编码器和基于卷积神经网络(convolutional neural network, CNN)的编码器提取虹膜特征,通过融合模块将两种不同编码器提取的特征进行交互结合,并利用区域注意力机制分别处理低层和高层特征,最后利用解码器对处理后的特征进行上采样,恢复遮挡区域,生成完整图像。结果 在CASIA(Institute of Automation, Chinese Academy of Sciences)虹膜数据集上对本文方法进行测试。在虹膜识别性能方面,本文方法在固定遮挡大小为64×64像素的情况下,遮挡补全结果的TAR(true accept rate)(0.1%FAR(false accept rate))为63%,而带有遮挡的图像仅为19.2%,提高了43.8%。结论 本文所提出的区域注意力机制引导的双路虹膜补全网络,有效结合Transformer的全局建模能力和CNN的局部建模能力,并使用针对遮挡的区域注意力机制,实现了虹膜遮挡区域补全,进一步提高了虹膜识别的性能。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

针对形变与遮挡问题的行人再识别

目的 姿态变化和遮挡导致行人表现出明显差异,给行人再识别带来了巨大挑战。针对以上问题,本文提出一种融合形变与遮挡机制的行人再识别算法。方法 为了模拟行人姿态的变化,在基础网络输出的特征图上采用卷积的形式为特征图的每个位置学习两个偏移量,偏移量包括水平和垂直两个方向,后续的卷积操作通过考虑每个位置的偏移量提取形变的特征,从而提高网络应对行人姿态改变时的能力;为了解决遮挡问题,本文通过擦除空间注意力高响应对应的特征区域而仅保留低响应特征区域,模拟行人遮挡样本,进一步改善网络应对遮挡样本的能力。在测试阶段,将两种方法提取的特征与基础网络特征级联,保证特征描述子的鲁棒性。结果 本文方法在行人再识别领域3个公开大尺度数据集Market-1501、DukeMTMC-reID和CUHK03（包括detected和labeled）上进行评估,首位命中率Rank-1分别达到89.52%、81.96%、48.79%和50.29%,平均精度均值（mean average precision,mAP）分别达到73.98%、64.45%、43.77%和45.58%。结论 本文提出的融合形变与遮挡机制的行人再识别算法可以学习到鉴别能力更强的行人再识别模型,从而提取更加具有区分性的行人特征,尤其是针对复杂场景,在发生行人姿态改变及遮挡时仍能保持较高的识别准确率。     

多任务分段紧凑特征的车辆检索方法

目的 随着公共安全领域中大规模图像监控及视频数据的增长以及智能交通的发展,车辆检索有着极其重要的应用价值。针对已有车辆检索中自动化和智能化水平低、难以获取精确的检索结果等问题,提出一种多任务分段紧凑特征的车辆检索方法,有效利用车辆基本信息的多样性和关联性实现实时检索。方法 首先,利用相关任务之间的联系提高检索精度和细化图像特征,因此构造了一种多任务深度卷积网络分段学习车辆不同属性的哈希码,将图像语义和图像表示相结合,并采用最小化图像编码使学习到的车辆的不同属性特征更具有鲁棒性;然后,选用特征金字塔网络提取车辆图像的实例特征并利用局部敏感哈希再排序方法对提取到的特征进行检索;最后,针对无法获取查询车辆目标图像的特殊情况,采用跨模态辅助检索方法进行检索。结果 提出的检索方法在3个公开数据集上均优于目前主流的检索方法,其中在CompCars数据集上检索精度达到0.966,在VehicleID数据集上检索精度提升至0.862。结论 本文提出的多任务分段紧凑特征的车辆检索方法既能得到最小化图像编码及图像实例特征,还可在无法获取目标检索图像信息时进行跨模态检索,通过实验对比验证了方法的有效性。     

深度特征融合的非刚性三维形状局部匹配

针对海量、异构三维形状匹配与智能检索技术的需求,提出了一种基于级联卷积神经网络(F-PointCNN)深度特征融合的三维形状局部匹配方法.首先,采用特征袋模型,提出几何图像表示方法,该几何图像不仅能够有效区分同类异构的非刚性三维模型,而且能够揭示大尺度不完整三维模型的结构相似性.其次,构建级联卷积神经网络学习框架F-PointCNN,其中,BoF-CNN从几何图像中学习深度全局特征,建立融合局部特征与全局特征的点特征表示;进而对Point-CNN进行点特征的细化与提纯,生成具有丰富信息的深度融合特征,有效提高形状特征的区分性与鲁棒性.最终,通过交叉矩阵度量方法高效实现非刚性三维模型的局部形状匹配.在公开的非刚性三维模型数据库的实验结果表明,该方法提取的特征在大尺度变换的形状分类及局部形状匹配中具有更强的识别力与更高的匹配精度.     

反映人的认知习惯的商品检索方法

目的 便捷的商品检索是用户网络购物体验良好的关键环节。由于电商对商品描述方式的规范性要求以及用户对商品属性理解差异等问题，基于关键词的检索方法在商品检索的应用并不理想。近年来，以图搜图的检索方式在各大电商平台上得到越来越多的应用，但检索结果往往不尽如人意。为此，提出了一种新的检索思路，从商品外观设计特征出发，将人们对商品的认知模式引入到商品图片的检索过程，从而获得更符合人们预期的检索结果。方法 以时尚女包商品为例，在分析设计师的设计规范的基础上，将外观设计特征分解为形状特征、颜色特征和设计元素特征。利用深度卷积神经网络建模、提取特征，并使用哈希方法和Top3类内检索算法加快检索速度。结果 利用建立的商品数据集构建3个对应的特征模型，并进行分类识别和图像检索实验。结果表明，各个模型Top1的识别准确率均小于95%，而Top3的识别准确率均在98.5%以上；商品检索速度加快了将近3.5倍。实验及用户调查结果表明，本文提出的检索方法与淘宝、百度图片等基于图像的检索工具相比，检索结果更为多样，与原图像相似度更高。结论 本文提出的从商品外观设计规范出发、与人的认知模式相结合的商品检索方法，更能满足用户的检索意图，可用于时尚女包商品检索，对基于图像的其他商品的检索方法的研究具有借鉴意义。     

基于词包和特征融合的目标识别算法

针对现有词包模型对目标识别性能的不足,对特征提取、图像表示等方面进行改进以提高目标识别的准确率。首先,以密集提取关键点的方式取代SIFT关键点提取,减少了计算时间并最大程度地描述了图像底层信息。然后采用尺度不变特征变换(Scale-invariant feature transform, SIFT)描述符和统一模式的局部二值模式(Local binary pattern,LBP)描述符描述关键点周围的形状特征和纹理特征,引入K-Means聚类算法分别生成视觉词典,然后将局部描述符进行近似局部约束线性编码,并进行最大值特征汇聚。分别采用空间金字塔匹配生成具有空间信息的直方图,最后将金字塔直方图相串联,形成特征的图像级融合,并送入SVM进行分类识别。在公共数据库中进行实验,实验结果表明,本文所提方法能取得较高的目标识别准确率。     

用于形状特征提取的spike函数

形状特征是图像的一种重要视觉特征，其提取方法是形状识别、图像检索以及图像匹配等领域的研究热点。Spike参数用来反映磨粒轮廓角度的变化，spike参数越大，磨粒越尖锐，磨粒的磨损作用越大。在spike参数的基础上，提出了4种用于形状特征提取的spike函数，分别为用于表征形状轮廓细节特征的spike-angle函数和spike-height函数，以及用于表征形状轮廓整体特征的spike-area函数和spike-distance函数。根据spike函数提取形状特征时，采用多个步长的spike-angle函数和spike-height函数，同时采用单个步长的spike-area函数和spike-distance函数。为了消除起始点对spike函数计算的影响，以多尺度spike函数的归一化傅里叶变换系数的幅值作为形状特征。分别在MPEG-7和Swedish leaf数据集进行实验验证，与其他方法的对比结果表明采用spike函数提取形状特征，用于形状识别时，识别准确率高，抗噪声能力强。     

融合判别式深度特征学习的图像识别算法

目的 卷积神经网络在图像识别算法中得到了广泛应用。针对传统卷积神经网络学习到的特征缺少更有效的鉴别能力而导致图像识别性能不佳等问题,提出一种融合线性判别式思想的损失函数LDloss（linear discriminant loss）并用于图像识别中的深度特征提取,以提高特征的鉴别能力,进而改善图像识别性能。方法 首先利用卷积神经网络搭建特征提取所需的深度网络,然后在考虑样本分类误差最小化的基础上,对于图像多分类问题,引入LDA（linear discriminant analysis）思想构建新的损失函数参与卷积神经网络的训练,来最小化类内特征距离和最大化类间特征距离,以提高特征的鉴别能力,从而进一步提高图像识别性能,分析表明,本文算法可以获得更有助于样本分类的特征。其中,学习过程中采用均值分批迭代更新的策略实现样本均值平稳更新。结果 该算法在MNIST数据集和CK+数据库上分别取得了99.53%和94.73%的平均识别率,与现有算法相比较有一定的提升。同时,与传统的损失函数Softmax loss和Hinge loss对比,采用LDloss的深度网络在MNIST数据集上分别提升了0.2%和0.3%,在CK+数据库上分别提升了9.21%和24.28%。结论 本文提出一种新的融合判别式深度特征学习算法,该算法能有效地提高深度网络的可鉴别能力,从而提高图像识别精度,并且在测试阶段,与Softmax loss相比也不需要额外的计算量。     

基于区分深度置信网络的病害图像识别模型

对枸杞病害进行及时、准确地检测识别对于病害的监测、预测、预警、防治和农业信息化、智能化建设具有重要意义。研究提出了一种基于区分深度置信网络的枸杞病害图像分类识别模型。首先,把枸杞叶部病害图像通过自动裁剪方式获得包含典型病斑的子图像,再采用复杂背景下的图像分割方法分割病斑区域,提取病斑图像的颜色特征、纹理特征和形状特征共计147个,结合区分深度置信网络和指数损失函数建立了病害识别模型。实验结果表明,该方法对于病害图像识别效果较好,与支持向量机相比,基于区分深度置信网络的病害图像识别模型高效地利用了底层图像特征的高层表示,解决了没有足够标注数据时的图像识别问题。     

融合信息熵和CNN 的基于手绘的三维模型检索

基于手绘草图的三维模型检索(SBSR)已成为三维模型检索、模式识别与计算机视 觉领域的一个研究热点。与传统方法相比,基于卷积神经网络(CNN)的三维深度表示方法在三 维模型检索任务中性能优势非常明显。本文提出了一种基于手绘图像融合信息熵和CNN 的三 维模型检索方法。首先,通过计算模型投影图的信息熵得到模型的代表性视图,并将代表性视 图经过边缘检测等处理得到三维模型投影图的轮廓图像;然后,将轮廓图像和手绘草图输入到 CNN 中提取特征描述子,并进行特征匹配。本文方法在Shape Retrieval Contest (SHREC) 2012 数据库和SHREC 2013 数据库上进行实验。实验证明,该方法的效果较其他传统方法检索准确 度更高。