Learning Noise-Assisted Robust Image Features for Fine-Grained Image Retrieval

Fine-grained image search is one of the most challenging tasks in computer vision that aims to retrieve similar images at the fine-grained level for a given query image. The key objective is to learn discriminative fine-grained features by training deep models such that similar images are clustered, and dissimilar images are separated in the low embedding space. Previous works primarily focused on defining local structure loss functions like triplet loss, pairwise loss, etc. However, training via these approaches takes a long training time, and they have poor accuracy. Additionally, representations learned through it tend to tighten up in the embedded space and lose generalizability to unseen classes. This paper proposes a noise-assisted representation learning method for fine-grained image retrieval to mitigate these issues. In the proposed work, class manifold learning is performed in which positive pairs are created with noise insertion operation instead of tightening class clusters. And other instances are treated as negatives within the same cluster. Then a loss function is defined to penalize when the distance between instances of the same class becomes too small relative to the noise pair in that class in embedded space. The proposed approach is validated on CARS-196 and CUB-200 datasets and achieved better retrieval results (85.38% recall@1 for CARS-196% and 70.13% recall@1 for CUB-200) compared to other existing methods.     

CNN和Transformer在细粒度图像识别中的应用综述

细粒度图像识别旨在从类别图像中辨别子类别。由于图像间只有细微差异,这使得识别任务具有挑战性。随着深度学习技术的不断进步,基于深度学习的方法定位局部和表示特征的能力越来越强,其中以卷积神经网络（CNN）和Transformer为基础的各类算法大大提高了细粒度图像识别精度,细粒度图像领域得到了显著发展。为了整理两类方法在细粒度图像识别领域的发展历程,对该领域近年来只运用类别标签的方法进行了综述。介绍了细粒度图像识别的概念,详细阐述了主流细粒度图像数据集;介绍了基于CNN和Transformer的细粒度图像识别方法及其性能;最后,总结了细粒度图像识别未来的研究方向。     

基于深度多相似性哈希方法的遥感图像检索

哈希方法由于低存储、高效率的特性而被广泛应用于遥感图像检索领域。面向遥感图像检索任务的无监督哈希方法存在伪标签不可靠、图像对的训练权重相同以及图像检索精度较低等问题,为此,提出一种基于深度多相似性哈希（DMSH）的遥感图像检索方法。针对优化伪标签和训练关注度分别构建自适应伪标签模块（APLM）和成对结构信息模块（PSIM）。APLM采用K最近邻和核相似度来评估图像间的相似关系,实现伪标签的初始生成和在线校正。PSIM将图像对的多尺度结构相似度映射为训练关注度,为其分配不同的训练权重从而优化深度哈希学习。DMSH通过Swin Transformer骨干网络提取图像的高维特征,将基于语义相似矩阵的伪标签作为监督信息以训练深度网络,同时网络在两个基于不同相似度设计的模块上实现交替优化,充分挖掘图像间的多种相似信息进而生成具有高辨识力的哈希编码,实现遥感图像的高精度检索。实验结果表明,DMSH在EuroSAT和PatternNet数据集上的平均精度均值较对比方法分别提高0.8%～3.0%和9.8%～12.5%,其可以在遥感图像检索任务中取得更高的准确率。     

部件检测和语义网络的细粒度鞋类图像检索

目的 细粒度图像检索是当前细粒度图像分析和视觉领域的热点问题。以鞋类图像为例,传统方法仅提取其粗粒度特征且缺少关键的语义属性,难以区分部件间的细微差异,不能有效用于细粒度检索。针对鞋类图像检索大多基于简单款式导致检索效率不高的问题,提出一种结合部件检测和语义网络的细粒度鞋类图像检索方法。方法 结合标注后的鞋类图像训练集对输入的待检鞋类图像进行部件检测;基于部件检测后的鞋类图像和定义的语义属性训练语义网络,以提取待检图像和训练图像的特征向量,并采用主成分分析进行降维;通过对鞋类图像训练集中每个候选图像与待检图像间的特征向量进行度量学习,按其匹配度高低顺序输出检索结果。结果 实验在UT-Zap50K数据集上与目前检索效果较好的4种方法进行比较,检索精度提高近6%。同时,与同任务的SHOE-CNN（semantic hierarchy of attribute convolutional neural network）检索方法比较,本文具有更高的检索准确率。结论 针对传统图像特征缺少细微的视觉描述导致鞋类图像检索准确率低的问题,提出一种细粒度鞋类图像检索方法,既提高了鞋类图像检索的精度和准确率,又能较好地满足实际应用需求。     

基于Xception网络的弱监督细粒度图像分类

随着深度学习的快速发展,计算机视觉领域对图像的分类研究不仅仅局限于识别出物体的类别,更需要在传统图像分类任务的基础上进行更细致的类别划分.通过对现有细粒度图像分类算法和模型的分析研究,提出一种基于Xception模型与WSDAN(weakly supervised data augmentation network)弱...     

图像检索中的动态相似性度量方法

为提高图像检索的效率,近年来相关反馈机制被引入到了基于内容的图像检索领域。该文提出了一种新的相关反馈方法－－动态相似性度量方法。该方法建立在目前被广泛采用的图像相拟性度量方法的基础上,结合了相关反馈图像检索系统的时序特性,通过捕获用户的交互信息,动态地修正图像的相似性度量公式,从而把用户模型嵌入到了图像检索系统,在某种程度上使图像检索结果与人的主观感知更加接近。实验结果表明该方法的性能明显优于其它图像检索系统所采用的方法。     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

网络监督数据下的细粒度图像识别综述

细粒度图像识别旨在对某一传统语义类别下细粒度级别的不同子类类别进行视觉识别,在智慧新经济和工业物联网等领域（如智慧城市、公共安全、生态保护、农业生产与安全保障）具有重要的科学意义和应用价值。细粒度图像识别在深度学习的助力下取得了长足进步,但其对大规模优质细粒度图像数据的依赖成为制约细粒度图像识别推广和普及的瓶颈。随着互联网和大数据的快速发展,网络监督图像数据作为免费的数据来源成为缓解深度学习对大数据依赖的可行解决方案,如何有效利用网络监督数据成为提升细粒度图像识别推广性和泛化性的热门课题。本文围绕细粒度图像识别主题,以网络监督数据下的细粒度识别为重点,先后对细粒度识别数据集、传统细粒度识别方法、网络监督下细粒度识别特点与方法进行介绍,并回顾了全球首届网络监督下的细粒度图像识别竞赛的相关情况及冠军解决方案。最后,在上述内容基础上总结和讨论了该领域的未来发展趋势。     

基于深度学习的图像检索系统

基于内容的图像检索系统关键的技术是有效图像特征的获取和相似度匹配策略.在过去,基于内容的图像检索系统主要使用低级的可视化特征,无法得到满意的检索结果,所以尽管在基于内容的图像检索上花费了很大的努力,但是基于内容的图像检索依旧是计算机视觉领域中的一个挑战.在基于内容的图像检索系统中,存在的最大的问题是“语义鸿沟”,即机器从低级的可视化特征得到的相似性和人从高级的语义特征得到的相似性之间的不同.传统的基于内容的图像检索系统,只是在低级的可视化特征上学习图像的特征,无法有效的解决“语义鸿沟”.近些年,深度学习技术的快速发展给我们提供了希望.深度学习源于人工神经网络的研究,深度学习通过组合低级的特征形成更加抽象的高层表示属性类别或者特征,以发现数据的分布规律,这是其他算法无法实现的.受深度学习在计算机视觉、语音识别、自然语言处理、图像与视频分析、多媒体等诸多领域取得巨大成功的启发,本文将深度学习技术用于基于内容的图像检索,以解决基于内容的图像检索系统中的“语义鸿沟”问题.     

基于深度学习的服装图像检索方法

为实现面向大规模服装图像集的图像快速精准检索,突破当前常规检索方法的局限性,本文提出了一个新的深度学习模型：Fashion-16服装图像检索模型.采用先分类再类内检索的思想,基于VGG-16模型强大的图像特征提取能力,以卷积神经网络softmax分类器进行分类,对同一类别下采用局部敏感哈希的思想进行近似最近邻的查找,实现了针对服装类别属性的图像检索模型修正.实验结果表明,模型具有良好的稳定性、精确率及检索速度,有其实用价值与研究意义.     

结合细粒度特征与深度卷积网络的手绘图检索

目的 传统的手绘图像检索方法主要集中在检索相同类别的图像，忽略了手绘图像的细粒度特征。对此，提出了一种新的结合细粒度特征与深度卷积网络的手绘图像检索方法，既注重通过深度跨域实现整体匹配，也实现细粒度细节匹配。方法 首先构建多通道混合卷积神经网络，对手绘图像和自然图像分别进行不同的处理；其次通过在网络中加入注意力模型来获取细粒度特征；最后将粗细特征融合，进行相似性度量，得到检索结果。结果 在不同的数据库上进行实验，与传统的尺度不变特征（SIFT）、方向梯度直方图（HOG）和深度手绘模型Deep SaN（sketch-a-net）、Deep 3DS（sketch）、Deep TSN（triplet sketch net）等5种基准方法进行比较，选取了Top-1和Top-10，在鞋子数据集上，本文方法Top-1正确率提升了12%，在椅子数据集上，本文方法Top-1正确率提升了11%，Top-10提升了3%，与传统的手绘检索方法相比，本文方法得到了更高的准确率。在实验中，本文方法通过手绘图像能在第1幅检索出绝大多数的目标图像，达到了实例级别手绘检索的目的。结论 提出了一种新的手绘图像检索方法，为手绘图像和自然图像的跨域检索提供了一种新思路，进行实例级别的手绘检索，与原有的方法相比，检索精度得到明显提升，证明了本文方法的可行性。     

Image database indexing using JPEG coefficients

Image database indexing is used for efficient retrieval of images in response to a query expressed as an example image. The query image is processed to extract information that is matched against the index to provide pointers to similar images. We present a technique that facilitates content similarity-based retrieval of jpeg-compressed images without first having to uncompress them. The technique is based on an index developed from a subset of jpeg coefficients and a similarity measure to determine the difference between the query image and the images in the database. This method offers substantial efficiency as images are processed in compressed format, information that was derived during the original compression of the images is reused, and extensive early pruning is possible. Initial experiments with the index have provided encouraging results. The system outputs a set of ranked images in the database with respect to the query using the similarity measure, and can be limited to output a specified number of matched images by changing the threshold match.     

细粒度民族服饰图像检索的全局-局部特征提取方法

民族服饰图像具有不同民族风格的服装款式、配饰和图案,导致民族服饰图像细粒度检索准确率较低.因此,文中提出细粒度民族服饰图像检索的全局-局部特征提取方法.首先,基于自定义的民族服饰语义标注,对输入图像进行区域检测,分别获得前景、款式、图案和配饰图像.然后在全卷积网络结构的基础上构建多分支的全局-局部特征提取模型,对不同区域的服饰图像进行特征提取,分别获得全局、款式、图案和配饰的卷积特征.最后,先对全局特征进行相似性度量,得到初步检索结果,再使用Top-50检索结果的局部特征与查询图像的局部特征进行重排序,优化排序并输出最终的检索结果.在构建的民族服饰图像数据集上的实验表明,文中方法有效提高民族服饰图像检索的准确率.     

一种基于区域综合特征的彩色图像检索方法

提出了一种基于区域综合特征的彩色图像检索算法.该算法首先结合MPEG-7视觉内容描述对真彩色图像进行量化处理,并将量化后的图像划分成若干个子区域.然后选取子区域的主要颜色及其所占百分率作为颜色特征,选取子区域的熵、能量和对比度作为纹理特征.再综合利用上述颜色、纹理两个特征计算图像间内容的相似度,并进行彩色图像检索.仿真实验表明,该算法能够准确和高效地查找出用户所需内容的彩色图像,并且具有较好的查准率、查全率和较快的检索速度.     

基于特征互补率矩阵的图像分类方法

在基于内容的图像检索和分类系统中,图像的底层特征和高层语义之间存在着语义鸿沟,有效减小语义鸿沟是一个需要广泛研究的问题。为此,提出一种基于特征互补率矩阵的图像分类方法,该方法通过计算视觉特征互补率矩阵进而指导融合特征集的选择,利用测度学习算法得到一个合适的距离测度以反映图像高层语义的相似度。实验结果表明,该方法能有效提高图像分类精度。     

一种融合语义的图像检索技术研究

针对基于内容的图像检索系统检索效率不高的情况,从目标图像外轮廓特征的提取、图像外轮廓特征的描述方式、图像轮廓的语义描述方式和相似度测定4个方面对基于内容的图像检索的研究状况进行了分析和研究。综合图像的外轮廓特征及轮廓的语义描述来实现对图像数据库的检索。实验结果表明,该方法提高了图像检索的精度和效度。     

基于卷积神经网络的图像检索算法研究

由于互联网+时代的到来,在线图像的数量急剧增加,基于内容的图像检索引起了很多关注。传统的检索方法由于图像表达能力不强,使得检索效率低下,不利于大规模图像检索。因此,提出一种新的基于卷积神经网络的图像检索算法。设计一种新型的端到端的卷积神经网络结构,同时学习基于概率的语义信息相似性和图像特征相似性;引入主成分分析方法,对深层特征进行降维的同时降低信息的损失;通过距离函数计算目标图像与数据库图像的距离,实现检索。在Image Net-1000和Oxford 5K数据集上的实验结果表明,该方法能够有效地增强图像特征的表达能力,提高检索性能,优于对比方法。     

基于位平面颜色直方图的图像检索新方法

为了解决现有颜色直方图检索技术所存在的鲁棒性较差、特征维数过高等问题,本文提出了一种基于位平面颜色直方图的图像检索新方法.该方法首先结合噪声攻击特点(对高位影响较小),提取出重要的位平面图像并确定其视觉权值;然后构造出位平面图像颜色直方图;最后以位平面图像颜色直方图为特征,计算图像间内容的相似度并进行检索.仿真实验表明,本文方法不仅能够准确检索出用户所需图像,而且对光照、锐化、模糊等噪声攻击均具有较好的鲁棒性.     

基于卷积神经网络和流形排序的图像检索算法

针对基于内容的图像检索(CBIR)中低层视觉特征与用户对图像理解的高层语义不一致以及传统的距离度量方式难以真实反映图像之间相似程度等问题,提出了一种基于卷积神经网络(CNN)和流形排序的图像检索算法。首先,将图像输入CNN,通过多层神经网络对图像的监督学习,提取网络中全连接层的图像特征;其次,对图像特征进行归一化处理,然后用高效流形排序(EMR)算法对查询图像所返回的结果进行排序;最后,根据排序的结果返回最相似的图像。在corel数据集上,深度图像特征比基于场景描述的图像特征的平均查准率(mAP)提高了53.74%,流形排序比余弦距离度量方式的mAP提高了18.34%。实验结果表明,所提算法能够有效地提高图像检索的准确率。