语义保持哈希在跨模态检索中的应用

哈希表示能够节省存储空间,加快检索速度,所以基于哈希表示的跨模态检索已经引起广泛关注。多数有监督的跨模态哈希方法以一种回归或图约束的方式使哈希编码具有语义鉴别性,然而这种方式忽略了哈希函数的语义鉴别性,从而导致新样本不能获得语义保持的哈希编码,限制了检索准确率的提升。为了同时学习具有语义保持的哈希编码和哈希函数,提出一种语义保持哈希方法用于跨模态检索。通过引入两个不同模态的哈希函数,将不同模态空间的样本映射到共同的汉明空间。为使哈希编码和哈希函数均具有较好的语义鉴别性,引入了语义结构图,并结合局部结构保持的思想,将哈希编码和哈希函数的学习融合到同一个框架,使两者同时优化。三个多模态数据集上的大量实验证明了该方法在跨模态检索任务的有效性和优越性。     

语义相似性保持的判别式跨模态哈希

针对跨模态哈希检索方法中存在标签语义利用不充分,从而导致哈希码判别能力弱、检索精度低的问题,提出了一种语义相似性保持的判别式跨模态哈希方法.该方法将异构模态的特征数据投影到一个公共子空间,并结合多标签核判别分析方法将标签语义中的判别信息和潜在关联嵌入到公共子空间中;通过最小化公共子空间与哈希码之间的量化误差提高哈希码的判别能力;此外,利用标签构建语义相似性矩阵,并将语义相似性保留到所学的哈希码中,进一步提升哈希码的检索精度.在LabelMe、MIRFlickr-25k、NUS-WIDE三个基准数据集上进行了大量实验,其结果验证了该方法的有效性.     

语义嵌入重构的跨模态哈希检索

针对大多数跨模态哈希检索方法仅通过分解相似矩阵或标签矩阵,从而导致标签语义信息利用不充分、标签矩阵分解过程语义信息丢失以及哈希码鉴别能力差的问题,提出了一种语义嵌入重构的跨模态哈希检索方法。该方法首先通过最小化标签成对距离和哈希码成对距离之间的距离差,从而将标签矩阵的成对相似性嵌入哈希码;接着对标签矩阵分解并重构学得共同子空间,共同子空间再回归生成哈希码,从而将标签矩阵的类别信息嵌入哈希码,并有效地控制标签矩阵分解过程的语义信息丢失情况,进一步提高哈希码的鉴别能力。在公开的三个基准数据集上进行了多个实验,实验结果验证了该方法的有效性。     

深度联合语义跨模态哈希算法

哈希检索具有存储消耗低、查询速度快等优点,被广泛应用于跨模态检索研究,其中基于深度学习的跨模态哈希方法是热点研究问题.大多数深度哈希方法通常在多模态数据的特征关联性学习过程中忽略了数据内容的潜在相关性和语义判别性,从而导致哈希码的关联性不强,容易造成原始数据特征和神经网络特征的不兼容问题.针对以上问题,本文提出一种图像...     

自适应高效深度跨模态增量哈希检索算法

针对现阶段深度跨模态哈希检索算法无法较好地检索训练数据类别以外的数据及松弛哈希码离散化约束造成的次优解等问题,提出自适应深度跨模态增量哈希检索算法,保持训练数据的哈希码不变,直接学习新类别数据的哈希码。同时,将哈希码映射到潜在子空间中保持多模态数据之间的相似性和非相似性,并提出离散约束保持的跨模态优化算法来求解最优哈希码。此外,针对目前深度哈希算法缺乏有效的复杂度评估方法,提出基于神经网络神经元更新操作的复杂度分析方法,比较深度哈希算法的复杂度。公共数据集上的实验结果显示,所提算法的训练时间低于对比算法,同时检索精度高于对比算法。     

相似度保持跨模态哈希检索

由于不同模态数据之间的异构性以及语义鸿沟等特点,给跨模态数据分析带来巨大的挑战.本文提出了一个新颖的相似度保持跨模态哈希检索算法.利用模态内数据相似性结构使得模态内相似的数据具有相似的残差,从而保证学习到的哈希码能够保持模态内数据的局部结构.同时利用模态间数据的标签,使得来自于不同模态同时具有相同标签的数据对应的哈希码...     

基于映射字典学习的跨模态哈希检索

针对网络上出现越来越多的多模态数据,如何在海量数据中检索不同模态的数据成为一个新的挑战.哈希方法把数据映射到Hamming空间,大大降低了计算复杂度,为海量数据的跨模态检索提供了一条有效的路径.然而,大部分现存方法生成的哈希码不包含任何语义信息,从而导致算法性能的下降.为了解决这个问题,本文提出一种基于映射字典学习的跨模态哈希检索算法.首先,利用映射字典学习一个共享语义子空间,在子空间保持数据模态间的相似性.然后,提出一种高效的迭代优化算法得到哈希函数,但是可以证明问题的解并不是唯一的.因此,本文提出通过学习一个正交旋转矩阵最小化量化误差,得到性能更好的哈希函数.最后,在两个公开数据集上的实验结果说明了该算法优于其他现存方法.     

基于对抗投影学习的跨模态哈希检索

跨模态哈希检索以其较高的检索效率和较低的存储成本,在跨模态检索领域受到了广泛的关注.现有的跨模态哈希大多直接从多模态数据中学习哈希码,不能充分利用数据的语义信息,因此无法保证数据低维特征在模态间的分布一致性,解决这个问题的关键之一是要准确地度量多模态数据之间的相似度.为此,提出一种基于对抗投影学习的哈希(adversa...     

联合哈希特征和分类器学习的跨模态检索算法

为了解决跨模态检索算法检索准确率较低、训练时间较长等问题,文中提出联合哈希特征和分类器学习的跨模态检索算法(HFCL).采用统一的哈希码描述语义相同的不同模态数据.在训练阶段,利用标签信息学习具有鉴别性的哈希码.第二阶段基于生成的鉴别性哈希码,采用核逻辑回归学习各模态的哈希函数.在测试阶段,给定任意一个模态查询样本,利用学习的哈希函数生成哈希特征,从数据库中检索与之语义相关的另一模态数据.在3个公开数据集上的实验验证HFCL的有效性.     

基于模态语义增强的跨模态食谱检索方法

在跨模态食谱检索任务中,如何有效地对模态进行特征表示是一个热点问题。目前一般使用两个独立的神经网络分别获取图像和食谱的特征,通过跨模态对齐实现跨模态检索。但这些方法主要关注模态内的特征信息,忽略了模态间的特征交互,导致部分有效模态信息丢失。针对该问题,提出一种通过多模态编码器来增强模态语义的跨模态食谱检索方法。首先使用预训练模型提取图像和食谱的初始语义特征,并借助对抗损失缩小模态间差异;然后利用成对跨模态注意力使来自一个模态的特征反复强化另一个模态的特征,进一步提取有效信息;接着采用自注意力机制对模态的内部特征进行建模,以捕捉丰富的模态特定语义信息和潜在关联知识;最后,引入三元组损失最小化同类样本间的距离,实现跨模态检索学习。在Recipe 1M数据集上的实验结果表明,该方法在中位数排名(MedR)和前K召回率(R@K)等方面均优于目前的主流方法,为跨模态检索任务提供了有力的解决方案。     

面向Web图像检索的基于语义迁移的无监督深度哈希

当前主流的Web图像检索方法仅考虑了视觉特征,没有充分利用Web图像附带的文本信息,并忽略了相关文本中涉及的有价值的语义,从而导致其图像表达能力不强。针对这一问题,提出了一种新的无监督图像哈希方法——基于语义迁移的深度图像哈希（semantic transfer deep visual hashing,STDVH）。该方法首先利用谱聚类挖掘训练文本的语义信息;然后构建深度卷积神经网络将文本语义信息迁移到图像哈希码的学习中;最后在统一框架中训练得到图像的哈希码和哈希函数,在低维汉明空间中完成对大规模Web图像数据的有效检索。通过在Wiki和MIR Flickr这两个公开的Web图像集上进行实验,证明了该方法相比其他先进的哈希算法的优越性。     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。     

基于图卷积网络的无监督跨模态哈希检索算法

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题,提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征,输入到图卷积网络中挖掘单个模态的内部语义信息,将结果通过哈希编码层进行二值化操作后,与模态间的深度语义关联相似度矩阵进行对比计算损失,不断重构优化生成的二进制编码,直到生成样本对应的健壮哈希表达。实验结果表明,与经典的浅层方法和深度学习方法对比,该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息,所提模型具有更高的准确性和鲁棒性。     

面向视觉搜索的空间局部敏感哈希方法

目的 视觉检索需要准确、高效地从大型图像或者视频数据集中检索出最相关的视觉内容,但是由于数据集中图像数据量大、特征维度高的特点,现有方法很难同时保证快速的检索速度和较好的检索效果。方法 对于面向图像视频数据的高维数据视觉检索任务,提出加权语义局部敏感哈希算法（weighted semantic locality-sensitive hashing, WSLSH）。该算法利用两层视觉词典对参考特征空间进行二次空间划分,在每个子空间里使用加权语义局部敏感哈希对特征进行精确索引。其次,设计动态变长哈希码,在保证检索性能的基础上减少哈希表数量。此外,针对局部敏感哈希（locality sensitive hashing, LSH）的随机不稳定性,在LSH函数中加入反映参考特征空间语义的统计性数据,设计了一个简单投影语义哈希函数以确保算法检索性能的稳定性。结果 在Holidays、Oxford5k和DataSetB数据集上的实验表明,WSLSH在DataSetB上取得最短平均检索时间0.034 25 s;在编码长度为64位的情况下,WSLSH算法在3个数据集上的平均精确度均值（mean average precision,mAP）分别提高了1.2%32.6%、1.7%19.1%和2.6%28.6%,与几种较新的无监督哈希方法相比有一定的优势。结论 通过进行二次空间划分、对参考特征的哈希索引次数进行加权、动态使用变长哈希码以及提出简单投影语义哈希函数来对LSH算法进行改进。由此提出的加权语义局部敏感哈希（WSLSH）算法相比现有工作有更快的检索速度,同时,在长编码的情况下,取得了更为优异的性能。     

基于元学习的深度哈希检索算法

随着移动互联网技术的发展,图像数据的规模越来越大,大规模图像检索任务已经成为了一个紧要的问题。由于检索速度快和存储消耗低,哈希算法受到了研究者的广泛关注。基于深度学习的哈希算法要达到较好的检索性能,需要一定数量的高质量训练数据来训练模型。然而现存的哈希方法通常忽视了数据集存在数据类别非平衡的问题,而这可能会降低检索性能。针对上述问题,提出了一种基于元学习网络的深度哈希检索算法。所提算法可以直接从数据中自动学习加权函数。该加权函数是只有一个隐含层的多层感知机（MLP）,在少量无偏差元数据的指导下,加权函数的参数可以和模型训练过程中的参数同时进行优化更新。元学习网络参数的更新方程可以解释为：较符合元学习数据的样本权重将被提高,而不符合元学习数据的样本权重将被减小。基于元学习网络的深度哈希检索算法可以有效减少非平衡数据对图像检索的影响,并可以提高模型的鲁棒性。在CIFAR-10等广泛使用的基准数据集上进行的大量实验表明,在非平衡比率较大时,所提算法的平均准确率均值（mAP）最佳;在非平均比率为200的条件下,所提算法的mAP比中心相似度量化算法、非对称深度监督哈希（ADSH）算法和快速可扩展监督哈希（FSSH）算法分别提高0.54个百分点,30.93个百分点和48.43个百分点。     

基于大批量训练和正交正则化的跨模态哈希方法

基于深度学习的跨模态哈希方法都使用小批量训练方式来训练模型,然而小批量方式在每次更新参数时获取样本数量有限,不能得到很好的梯度,影响最终训练的模型检索性能。针对此问题,提出了一个新的跨模态哈希方法。该方法使用大批量方式进行训练,并引入正交正则化来增加大批量训练的稳定性;同时考虑了哈希码的离散性,将哈希码与特征之间的距离加入到目标函数中,使得哈希码能够更加真实地表示数据。在两个广泛使用的跨模态检索数据集上的实验表明,该方法比现有的几种哈希方法具有更好的性能。     

自适应混合注意力深度跨模态哈希

针对现有哈希方法在特征学习过程中无法区分各区域特征信息的重要程度和不能充分利用标签信息来深度挖掘模态间相关性的问题,提出了自适应混合注意力深度跨模态哈希检索（AHAH）模型。首先,通过自主学习得到的权重将通道注意力和空间注意力有机结合来强化对特征图中相关目标区域的关注度,同时弱化对不相关目标区域的关注度;其次,通过对模态标签进行统计分析,并使用所提出的相似度计算方法将相似度量化为0～1的数字以更精细地表示模态间的相似性。在4个常用的数据集MIRFLICKR-25K、NUS-WIDE、MSCOCO和IAPR TC-12上,当哈希码长度为16 bit时,与最先进的方法多标签语义保留哈希（MLSPH）相比,所提方法的检索平均准确率均值（mAP）分别提高了2.25%、1.75%、6.8%和2.15%。此外,消融实验和效率分析也证明了所提方法的有效性。     

耦合保持投影哈希跨模态检索

目的 基于哈希的跨模态检索方法因其检索速度快、消耗存储空间小等优势受到了广泛关注。但是由于这类算法大都将不同模态数据直接映射至共同的汉明空间,因此难以克服不同模态数据的特征表示及特征维度的较大差异性,也很难在汉明空间中同时保持原有数据的结构信息。针对上述问题,本文提出了耦合保持投影哈希跨模态检索算法。方法 为了解决跨模态数据间的异构性,先将不同模态的数据投影至各自子空间来减少模态“鸿沟”,并在子空间学习中引入图模型来保持数据间的结构一致性;为了构建不同模态之间的语义关联,再将子空间特征映射至汉明空间以得到一致的哈希码;最后引入类标约束来提升哈希码的判别性。结果 实验在3个数据集上与主流的方法进行了比较,在Wikipedia数据集中,相比于性能第2的算法,在任务图像检索文本（I to T）和任务文本检索图像（T to I）上的平均检索精度（mean average precision,mAP）值分别提升了6%和3%左右;在MIRFlickr数据集中,相比于性能第2的算法,优势分别为2%和5%左右;在Pascal Sentence数据集中,优势分别为10%和7%左右。结论 本文方法可适用于两个模态数据之间的相互检索任务,由于引入了耦合投影和图模型模块,有效提升了跨模态检索的精度。