贪心非对称深度有监督哈希图像检索方法

近年来,深度有监督哈希检索方法已成功应用于众多图像检索系统中。但现有方法仍然存在一些不足：一是大部分深度哈希学习方法都采用对称策略来训练网络,但该策略训练通常比较耗时,难以用于大规模哈希学习过程;二是哈希学习过程中存在离散优化问题,现有方法将该问题进行松弛,但难以保证得到最优解。为解决上述问题,提出了一种贪心非对称深度有监督哈希图像检索方法,该方法将贪心算法和非对称策略的优势充分结合,进一步提高了哈希检索性能。在两个常用数据集上与17种先进方法进行比较。在CIFAR-10数据集上48 bit条件下,与性能最好的方法相比mAP提高1.3%;在NUS-WIDE数据集上所有bit下,mAP平均提高2.3%。在两个数据集上的实验结果表明,该方法可以进一步提高哈希检索性能。     

基于对比学习的无监督三元哈希方法

为了解决现有无监督二元哈希方法由于存在较大量化损失而导致检索精度较低的问题,在CIBHash方法的基础上,提出了一种新的基于对比学习的无监督三元哈希方法——CUTHash,将三元哈希编码用于图像检索。具体来说,首先,使用融合了解耦对比损失的对比学习框架,在目标数据集上进行无监督的图像特征学习;接着,为了得到三元哈希编码,对学习到的图像特征使用平滑函数进行量化操作,解决离散函数量化后导致的零梯度问题;最后,应用改进后的对比损失,约束同属一张图像的增强视图的特征在哈希空间中尽可能地接近,从而使得三元哈希编码具有一定的辨识力,使其更好地应用于无监督图像检索任务。在CIFAR-10、NUS-WIDE、MSCOCO以及ImageNet100数据集上进行了大量对比实验,取得了较当前主流的无监督哈希方法更好的检索性能,从而验证了CUTHash方法的有效性。     

基于深度多相似性哈希方法的遥感图像检索

哈希方法由于低存储、高效率的特性而被广泛应用于遥感图像检索领域。面向遥感图像检索任务的无监督哈希方法存在伪标签不可靠、图像对的训练权重相同以及图像检索精度较低等问题,为此,提出一种基于深度多相似性哈希（DMSH）的遥感图像检索方法。针对优化伪标签和训练关注度分别构建自适应伪标签模块（APLM）和成对结构信息模块（PSIM）。APLM采用K最近邻和核相似度来评估图像间的相似关系,实现伪标签的初始生成和在线校正。PSIM将图像对的多尺度结构相似度映射为训练关注度,为其分配不同的训练权重从而优化深度哈希学习。DMSH通过Swin Transformer骨干网络提取图像的高维特征,将基于语义相似矩阵的伪标签作为监督信息以训练深度网络,同时网络在两个基于不同相似度设计的模块上实现交替优化,充分挖掘图像间的多种相似信息进而生成具有高辨识力的哈希编码,实现遥感图像的高精度检索。实验结果表明,DMSH在EuroSAT和PatternNet数据集上的平均精度均值较对比方法分别提高0.8%～3.0%和9.8%～12.5%,其可以在遥感图像检索任务中取得更高的准确率。     

用于语音检索的三联体深度哈希方法

现有基于内容的语音检索中深度哈希方法对监督信息利用不足，生成的哈希码是次优的，而且检索精度和检索效率不高。针对以上问题，提出一种用于语音检索的三联体深度哈希方法。首先，将语谱图图像特征以三联体方式作为模型的输入来提取语音特征的有效信息；然后，提出注意力机制-残差网络（ARN）模型，即在残差网络（ResNet）的基础上嵌入空间注意力力机制，并通过聚集整个语谱图能量显著区域信息来提高显著区域表示；最后，引入新三联体交叉熵损失，将语谱图图像特征之间的分类信息和相似性映射到所学习的哈希码中，可在模型训练的同时实现最大的类可分性和最大的哈希码可分性。实验结果表明，所提方法生成的高效紧凑的二值哈希码使语音检索的查全率、查准率、F1分数均超过了98.5%。与单标签检索等方法相比，使用Log-Mel谱图作为特征的所提方法的平均运行时间缩短了19.0%～55.5%，能在减小计算量的同时，显著提高检索效率和精度。     

自监督深度离散哈希图像检索

目的 基于深度学习的图像哈希检索是图像检索领域的热点研究问题。现有的深度哈希方法忽略了深度图像特征在深度哈希函数训练中的指导作用,并且由于采用松弛优化,不能有效处理二进制量化误差较大导致的生成次优哈希码的问题。对此,提出一种自监督的深度离散哈希方法（self-supervised deep discrete hashing,SSDDH）。方法 利用卷积神经网络提取的深度特征矩阵和图像标签矩阵,计算得到二进制哈希码并作为自监督信息指导深度哈希函数的训练。构造成对损失函数,同时保持连续哈希码之间相似性以及连续哈希码与二进制哈希码之间的相似性,并利用离散优化算法求解得到哈希码,有效降低二进制量化误差。结果 将本文方法在3个公共数据集上进行测试,并与其他哈希算法进行实验对比。在CIFAR-10、NUS-WIDE（web image dataset from National University of Singapore）和Flickr数据集上,本文方法的检索精度均为最高,本文方法的准确率比次优算法DPSH（deep pairwise-supervised hashing）分别高3%、3%和1%。结论 本文提出的基于自监督的深度离散哈希的图像检索方法能有效利用深度特征信息和图像标签信息,并指导深度哈希函数的训练,且能有效减少二进制量化误差。实验结果表明,SSDDH在平均准确率上优于其他同类算法,可以有效完成图像检索任务。     

基于成对标签的深度哈希图像检索方法

针对采用松弛-量化策略的深度哈希方法面临的二值码离散优化的难题,提出一种端到端的基于成对标签的哈希方法来学习更具有判别力的哈希码,通过优化损失函数来解决离散优化丢失信息的问题.引入锚点哈希码概念,以汉明空间中的锚点作为监督信息训练AlexNet网络,将表示图片的二值码拟合至各锚点附近,使用优化后的损失函数计算分类误差和锚点误差,使哈希函数生成具有强判别力的哈希码.在CIFOR-10数据集和ImageNet-100数据集上实验,检索精度优于当前主流方法.     

基于文本引导对抗哈希的跨模态检索方法

随着深度学习方法的不断发展,跨模态哈希检索技术也取得了长足的进步。但是,目前的跨模态哈希检索方法通常基于两种假设：a)相似文本描述的图像内容也相似;b)相同类别的图像有着较好的全局相似性。但是,真实数据集中的数据往往不能满足以上两种假设,导致了跨模态哈希检索模型性能的降低。针对以上两个问题,提出了一种基于文本引导对抗哈希的跨模态检索方法(text-guided adversarial hashing for cross-modal retrieval, TAH),此方法在构建的网络结构基础上,将文本哈希码作为训练图像网络的基础,并将图像的局部特征与全局特征结合用于表示图像内容。此外,还针对性地提出了文本模态内全局一致性损失、模态间局部与全局一致性损失和分类对抗损失用于训练跨模态网络。实验证明,TAH可以在三个数据集中取得良好的检索性能。     

深度哈希图像检索方法综述

随着网络上图像和视频数据的快速增长,传统图像检索方法已难以高效处理海量数据。在面向大规模图像检索时,特征哈希与深度学习结合的深度哈希技术已成为发展趋势,为全面认识和理解深度哈希图像检索方法,本文对其进行梳理和综述。根据是否使用标签信息将深度哈希方法分为无监督、半监督和监督深度哈希方法,根据无监督和半监督深度哈希方法的主要研究点进一步分为基于卷积神经网络（convolutional neural networks,CNN）和基于生成对抗网络（generative adversarial networks,GAN）的无监督/半监督深度哈希方法,根据数据标签信息差异将监督深度哈希方法进一步分为基于三元组和基于成对监督信息的深度哈希方法,根据各种方法使用损失函数的不同对每类方法中一些经典方法的原理及特性进行介绍,对各种方法的优缺点进行分析。通过分析和比较各种深度哈希方法在CIFAR-10和NUS-WIDE数据集上的检索性能,以及深度哈希算法在西安邮电大学图像与信息处理研究所（Center for Image and Information Processing,CⅡP）自建的两个特色数据库上的测试结果,对基于深度哈希的检索技术进行总结,分析了深度哈希的检索技术未来的发展前景。监督深度哈希的图像检索方法虽然取得了较高的检索精度。但由于监督深度哈希方法高度依赖数据标签,无监督深度哈希技术更加受到关注。基于深度哈希技术进行图像检索是实现大规模图像数据高效检索的有效方法,但存在亟待攻克的技术难点。针对实际应用需求,关于无监督深度哈希算法的研究仍需要更多关注。     

深度非对称离散跨模态哈希方法

大多数深度监督跨模态哈希方法采用对称的方式学习哈希码,导致其不能有效利用大规模数据集中的监督信息;并且对于哈希码的离散约束问题,常采用的基于松弛的策略会产生较大的量化误差,导致哈希码次优。针对以上问题,提出深度非对称离散跨模态哈希（DADCH）方法。首先构造了深度神经网络和字典学习相结合的非对称学习框架,以学习查询实例和数据库实例的哈希码,从而更有效地挖掘数据的监督信息,减少模型的训练时间;然后采用离散优化算法逐列优化哈希码矩阵,降低哈希码二值化的量化误差;同时为充分挖掘数据的语义信息,在神经网络中添加了标签层进行标签预测,并利用语义信息嵌入将不同类别的判别信息通过线性映射嵌入到哈希码中,增强哈希码的判别性。实验结果表明,在IAPR-TC12、MIRFLICKR-25K和NUS-WIDE数据集上,哈希码长度为64 bit时,所提方法在图像检索文本时的平均精度均值（mAP）较近年来提出的先进的深度跨模态检索方法——自监督对抗哈希（SSAH）分别高出约11.6、5.2、14.7个百分点。     

基于ViT的细粒度图像分类

为解决细粒度图像分类任务存在类内差异性和类间相似性大的问题，提出一种基于Vision Transformer(ViT)的细粒度图像分类方法。采取ViT作为特征编码网络，获取图像的全局特征表示；设计多级区域选择模块，捕捉细微的具有可判别性的层级化信息；利用一个简单且有效的中心损失函数，缩短深层特征与相应类中心在特征空间中的距离。在图像级标签的监督下，实现端到端的训练。结果在CUB-200-2011、NABirds以及Stanford Cars数据集上分别达到90.1%、90.2%和93.7%的分类准确率，超越当前最优算法。     

深度多模态融合服装风格检索

目的 服装检索方法是计算机视觉与自然语言处理领域的研究热点,其包含基于内容与基于文本的两种查询模态。然而传统检索方法通常存在检索效率低的问题,且很少研究关注服装在风格上的相似性。为解决这些问题,本文提出深度多模态融合的服装风格检索方法。方法 提出分层深度哈希检索模型,基于预训练的残差网络ResNet（residual network）进行迁移学习,并把分类层改造成哈希编码层,利用哈希特征进行粗检索,再用图像深层特征进行细检索。设计文本分类语义检索模型,基于LSTM（long short-term memory）设计文本分类网络以提前分类缩小检索范围,再以基于doc2vec提取的文本嵌入语义特征进行检索。同时提出相似风格上下文检索模型,其参考单词相似性来衡量服装风格相似性。最后采用概率驱动的方法量化风格相似性,并以最大化该相似性的结果融合方法作为本文检索方法的最终反馈。结果 在Polyvore数据集上,与原始ResNet模型相比,分层深度哈希检索模型的top5平均检索精度提高11.6%,检索速度提高2.57 s/次。与传统文本分类嵌入模型相比,本文分类语义检索模型的top5查准率提高29.96%,检索速度提高16.53 s/次。结论 提出的深度多模态融合的服装风格检索方法获得检索精度与检索速度的提升,同时进行了相似风格服装的检索使结果更具有多样性。     

噪声鲁棒的轻量级深度遥感场景图像分类检索

目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低。为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能。方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型。结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较。本文方法在AID（aerial image datasets）数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8%,在NWPU-RESISC45（benchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes）数据集上,分类精度比次优方法平均高出8.1%。在效率方面,本文方法的推理速度比CLEOT（classification loss with entropic optimal transport）方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5%。在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值（mean average precision,mAP）在3种不同哈希比特下比MiLaN（metric-learning based deep hashing network）方法平均提高了5.9%。结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性。     

目标提取与哈希机制的多标签图像检索

目的 哈希是大规模图像检索的有效方法。为提高检索精度,哈希码应保留语义信息。图像之间越相似,其哈希码也应越接近。现有方法首先提取描述图像整体的特征,然后生成哈希码。这种方法不能精确地描述图像包含的多个目标,限制了多标签图像检索的精度。为此提出一种基于卷积神经网络和目标提取的哈希生成方法。方法 首先提取图像中可能包含目标的一系列区域,然后用深度卷积神经网络提取每个区域的特征并进行融合,通过生成一组特征来刻画图像中的每个目标,最后再产生整幅图像的哈希码。采用Triplet Loss的训练方法,使得哈希码尽可能保留语义信息。结果 在VOC2012、Flickr25K和NUSWIDE数据集上进行多标签图像检索。在NDCG(normalized discounted cumulative gain)性能指标上,当返回图像数量为 1 000时,对于VOC2012,本文方法相对于DSRH(deep semantic ranking hashing)方法提高24个百分点,相对于ITQ-CCA(iterative quantization-canonical correlation analysis)方法能提高36个百分点;对于Flickr25,本文方法比DSRH方法能提高2个左右的百分点;对于NUSWIDE,本文方法相对于DSRH方法能提高4个左右的百分点。对于平均检索准确度,本文方法在NUSWIDE和Flickr25上能提高25个百分点。根据多项评价指标可以看出,本文方法能以更细粒度来精确地描述图像,显著提高了多标签图像检索的性能。结论 本文新的特征学习模型,对图像进行细粒度特征编码是一种可行的方法,能够有效提高数据集的检索性能。     

多任务分段紧凑特征的车辆检索方法

目的 随着公共安全领域中大规模图像监控及视频数据的增长以及智能交通的发展,车辆检索有着极其重要的应用价值。针对已有车辆检索中自动化和智能化水平低、难以获取精确的检索结果等问题,提出一种多任务分段紧凑特征的车辆检索方法,有效利用车辆基本信息的多样性和关联性实现实时检索。方法 首先,利用相关任务之间的联系提高检索精度和细化图像特征,因此构造了一种多任务深度卷积网络分段学习车辆不同属性的哈希码,将图像语义和图像表示相结合,并采用最小化图像编码使学习到的车辆的不同属性特征更具有鲁棒性;然后,选用特征金字塔网络提取车辆图像的实例特征并利用局部敏感哈希再排序方法对提取到的特征进行检索;最后,针对无法获取查询车辆目标图像的特殊情况,采用跨模态辅助检索方法进行检索。结果 提出的检索方法在3个公开数据集上均优于目前主流的检索方法,其中在CompCars数据集上检索精度达到0.966,在VehicleID数据集上检索精度提升至0.862。结论 本文提出的多任务分段紧凑特征的车辆检索方法既能得到最小化图像编码及图像实例特征,还可在无法获取目标检索图像信息时进行跨模态检索,通过实验对比验证了方法的有效性。     

哈希编码结合空间金字塔的图像分类

目的 稀疏编码是当前广泛使用的一种图像表示方法,针对稀疏编码及其改进算法计算过程复杂、费时等问题,提出一种哈希编码结合空间金字塔的图像分类算法。方法 首先,提取图像的局部特征点,构成局部特征点描述集。其次,学习自编码哈希函数,将局部特征点表示为二进制哈希编码。然后,在二进制哈希编码的基础上进行K均值聚类生成二进制视觉词典。最后,结合空间金字塔模型,将图像表示为空间金字塔直方图向量,并应用于图像分类。结果 在常用的Caltech-101和Scene-15数据集上进行实验验证,并和目前与稀疏编码相关的算法进行实验对比。与稀疏编码相关的算法相比,本文算法词典学习时间缩短了50%,在线编码速度提高了1.3～12.4倍,分类正确率提高了1%～5%。结论 提出了一种哈希编码结合空间金字塔的图像分类算法,利用哈希编码代替稀疏编码对局部特征点进行编码,并结合空间金字塔模型用于图像分类。实验结果表明,本文算法词典学习时间更短、编码速度更快,适用于在线词典学习和应用。     

增量角度域损失和多特征融合的地标识别

目的 地标识别是图像和视觉领域一个应用问题,针对地标识别中全局特征对视角变化敏感和局部特征对光线变化敏感等单一特征所存在的问题,提出一种基于增量角度域损失（additive angular margin loss,ArcFace损失）并对多种特征进行融合的弱监督地标识别模型。方法 使用图像检索取Top-1的方法来完成识别任务。首先证明了ArcFace损失参数选取的范围,并于模型训练时使用该范围作为参数选取的依据,接着使用一种有效融合局部特征与全局特征的方法来获取图像特征以用于检索。其中,模型训练过程分为两步,第1步是在谷歌地标数据集上使用ArcFace损失函数微调ImageNet预训练模型权重,第2步是增加注意力机制并训练注意力网络。推理过程分为3个部分：抽取全局特征、获取局部特征和特征融合。具体而言,对输入的查询图像,首先从微调卷积神经网络的特征嵌入层提取全局特征;然后在网络中间层使用注意力机制提取局部特征;最后将两种特征向量横向拼接并用图像检索的方法给出数据库中与当前查询图像最相似的结果。结果 实验结果表明,在巴黎、牛津建筑数据集上,特征融合方法可以使浅层网络达到深层预训练网络的效果,融合特征相比于全局特征（mean average precision,mAP）值提升约1%。实验还表明在神经网络嵌入特征上无需再加入特征白化过程。最后在城市级街景图像中本文模型也取得了较为满意的效果。结论 本模型使用ArcFace损失进行训练且使多种特征相似性结果进行有效互补,提升了模型在实际应用场景中的抗干扰能力。     

基于时域-频域哈希编码的电网图像检索方法

电网数据信息的准确检索在保障电网系统正常运行方面起着非常重要的作用。快速准确地从电网图像数据库中查找到与目标图像相似度高的图像可以有效地提高电网工作人员的工作效率,降低设备维护成本。针对传统检索方法检索精度低的问题,提出了一种基于时域-频域的端到端哈希编码方法。最后,在2个数据集上将该方法与最新的8种方法进行了比较,实验结果表明该方法是有效的。该方法创新性地结合了频域信息,以提高预测正确率,且结合了多任务学习和距圆损失来更加清晰地约束哈希编码任务的训练过程,使图像检索结果更加准确。     

面向大规模胸片图像的深度哈希检索

目的 医学图像检索在疾病诊断、医疗教学和辅助症状参考中发挥了重要作用,但由于医学图像类间相似度高、病灶易遗漏以及数据量较大等问题,使得现有哈希方法对病灶区域特征的关注较少,图像检索准确率较低。对此,本文以胸部X-ray图像为例,提出一种面向大规模胸片图像的深度哈希检索网络。方法 在特征学习部分,首先采用ResNet-50作为主干网络对输入图像进行特征提取得到初步特征,将该特征进行细化后获得全局特征;同时将初步特征输入构建的空间注意模块,该注意模块结合了3个描述符用于聚焦胸片图像中的显著区域,将该模块的输出进行细化得到局部特征;最后融合全局特征与局部特征用于后续哈希码优化。在哈希码优化部分,使用定义的二值交叉熵损失、对比损失和正则化损失的联合函数进行优化学习,生成高质量的哈希码用于图像检索。结果 为了验证方法的有效性,在公开的ChestX-ray8和CheXpert数据集上进行对比实验。结果显示,构建空间注意模块有助于关注病灶区域,定义特征融合模块有效避免了信息的遗漏,联合3个损失函数进行优化可以获得高质量哈希码。与当前先进的医学图像检索方法比较,本文方法能够有效提高医学图像检索的准确率...