基于跨媒体字典的图像检索

当前存在的图像检索大多是基于内容的检索,为提高检索的准确率,通过整合文本及视觉信息,提出一种自动将文本查询转化为可视化表示的方法,实现基于跨媒体字典的图像检索。采用标注图像集挖掘文本和图像间的关系,训练建立一个类似于双语字典的跨媒体字典,自动将文本查询转化为视觉查询,分别进行基于文本和基于视觉的图像检索,将2种方法检索到的图像合并作为最终检索结果。实验结果表明,该方法能有效地提高图像的查准率。     

跨域图像检索综述

受成像载体、成像光谱和成像条件等的影响,跨域图像在不同领域的应用日益增多,跨域图像检索已成为了许多领域研究的热点和前言。然而图像的跨域检索面临着图像视觉偏差的问题,通过传统同域图像检索的方法无法有效地得到结果。通过文献调研,系统梳理了近年来跨域图像检索领域的代表性方法。对跨域图像检索任务作出了简要说明并指出了关键问题;根据图像域的不同转换阶段,将跨域图像检索方法分为两类：基于特征空间迁移和基于图像域迁移的跨域图像检索方法,并对两类方法进行了系统总结和分析;整理了跨域图像检索在不同领域的数据集,对比了各类方法的性能;总结了现有跨域检索方法并对未来的研究方向进行了展望。     

结合注意力机制的跨域服装检索

针对跨域服装检索中服装商品图像拍摄严格约束光照、背景等条件,而用户图像源自复杂多变的日常生活场景,难以避免背景干扰以及视角、姿态引起的服装形变等问题.提出一种结合注意力机制的跨域服装检索方法.利用深度卷积神经网络为基础,引入注意力机制重新分配不同特征所占比重,增强表述服装图像的重要特征,抑制不重要特征;加入短连接模块融合局部重要特征和整幅图像的高层语义信息,提取更具判别力的特征描述子;联合分类损失函数和三元组损失共同约束网络训练过程,基于类别信息缩小检索范围.采用标准的top-k检索精度作为评价指标,选择DeepFashion数据集与当前跨域服装检索常用方法进行对比,文中方法在top-20检索精度对比中取得了最好的检索性能(0.503).实验结果表明,该方法能有效地处理视角、姿态引起的服装形变和复杂背景的干扰,同时不需要大量的样本标注信息,有效地提高了跨域服装检索的精度.     

基于映射字典学习的跨模态哈希检索

针对网络上出现越来越多的多模态数据,如何在海量数据中检索不同模态的数据成为一个新的挑战.哈希方法把数据映射到Hamming空间,大大降低了计算复杂度,为海量数据的跨模态检索提供了一条有效的路径.然而,大部分现存方法生成的哈希码不包含任何语义信息,从而导致算法性能的下降.为了解决这个问题,本文提出一种基于映射字典学习的跨模态哈希检索算法.首先,利用映射字典学习一个共享语义子空间,在子空间保持数据模态间的相似性.然后,提出一种高效的迭代优化算法得到哈希函数,但是可以证明问题的解并不是唯一的.因此,本文提出通过学习一个正交旋转矩阵最小化量化误差,得到性能更好的哈希函数.最后,在两个公开数据集上的实验结果说明了该算法优于其他现存方法.     

融合相关反馈和流形学习的语义图像检索方法研究

融合相关反馈和流形学习的图像检索方法．既可以解决基于内容图像检索的“语义鸿沟”问题．又可以解决因为用户反馈标记样例较少所导致的较难学习用户语义概念问题。深入研究近年来比较有代表性的方法,包括ARE和MMP,并在具体的系统中比较二者的性能;此外。进一步分析此类方法面临的挑战和实际应用时需迫切解决的问题。     

基于内容的图像检索在数字化学习资源中的应用

多媒体教学在教学中的广泛应用,需要大量图像等数字化学习资源,由此产生了资源管理等问题,基于内容的图像检索对学习资源的图像查找有重要的意义。本文研究的主要是检索算法在数字化学习资源中的应用。     

结合标签优化和语义分割的服装图像检索

针对缺少民族服装语义标签、局部特征繁杂等因素导致少数民族服装图像检索准确率低的问题,提出一种结合标签优化和语义分割的服装图像检索方法.首先基于自定义的少数民族服装通用语义标签和民族服装语义标签,构建视觉风格分析概率模型进行标签优化;然后在全卷积网络结构基础上加入侧分支网络和全连接条件随机场,结合带有标注对和优化语义标签的训练图像对待检图像进行语义分割;最后采用多任务的深度监督哈希算法将语义分割结果哈希映射为二进制码,通过相似度计算对少数民族服装图像进行检索并输出结果.在构建的少数民族服装图像集上的实验结果表明,该方法能够有效地提高少数民族服装图像语义分割和检索的准确率.     

基于空间信息的直方图图像检索

从具有同一灰度的像素角度出发,寻找空间分布差异,引入面积变量,构造了平均面积直方图,间接捕捉到色彩的空间分布特征,从而能够区别色彩分布相似但空间分布不同的图像,尤其适用于纹理丰富的图像的检索,获得了满意的效果.     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于多示例学习的图像检索方法

由于多示例学习能够有效处理图像的歧义性,因此被应用于基于内容的图像检索(CBIR)。本文提出一种基于多示例学习的CBIR方法,该方法将图像作为多示例包,基于高斯混合模型和改进的EM算法全自动分割图像,并提取颜色、纹理、形状和不变矩等区域信息作为示例向量生成测试图像包。根据用户选择的实例图像生成正包和反包,使用多种多示例学习算法进行学习,实现图像检索和相关反馈,得到了较好的效果。     

基于字典学习的跨媒体检索技术

在研究跨媒体信息检索时,对于不同模态数据的异构性提出了挑战,针对如何更好的克服异构问题以提高多模态数据之间的检索精度,提出了一种基于字典学习的新跨媒体检索技术。首先,通过字典学习方法学习两个不同模态数据之间的稀疏系数,然后,通过特征映射方案由两个不同的投影矩阵分别把它们投入共同的特征子空间,最后,通过标签对齐同一类来增强不同模态之间的相关性。实验结果表明,与传统的同构子空间学习方法相比,基于字典的算法分类性能优越,该实验方法在两个数据集上优于几种最先进的方法。     

基于多标签判别字典学习的图像自动标注

针对图像自动标注中底层视觉特征与高层语义之间的语义鸿沟问题,在传统字典学习的基础上,提出一种基于多标签判别字典学习的图像自动标注方法。首先,为每幅图像提取多种类型特征,将多种特征组合作为字典学习输入特征空间的输入信息;然后,设计一个标签一致性正则化项,将原始样本的标签信息融入到初始的输入特征数据中,结合标签一致性判别字典和标签一致性正则化项进行字典学习;最后,通过得到的字典和稀疏编码矩阵求解标签稀疏编向量,实现未知图像的语义标注。在Corel 5K数据集上测试其标注性能,所提标注方法平均查准率和平均查全率分别可达到35%和48%;与传统的稀疏编码方法（MSC）相比,分别提高了10个百分点和16个百分点;与距离约束稀疏/组稀疏编码方法（DCSC/DCGSC）相比,分别提高了3个百分点和14个百分点。实验结果表明,所提方法能够较好地预测未知图像的语义信息,与当前几种流行的图像标注方法进行比较,所提方法具有较好的标注性能。     

基于多视图特征投影与合成解析字典学习的图像分类

针对目前存在的合成解析字典学习方法不能有效地消除同类样本之间的差异性和忽略了不同特征对分类的不同影响的问题,提出了一种基于多视图特征投影与合成解析字典学习（MFPSDL）的图像分类方法。首先,在合成解析字典学习过程中为每种特征学习不同的特征投影矩阵,减小了类内样本间的差异对识别带来的影响;其次,对合成解析字典添加鉴别性的约束,使得同类样本具有相似的稀疏表示系数;最后通过为不同类型的特征学习权重,充分地融合多种特征。在公开人脸数据库（LFW）和手写体识别数据库（MNIST）上进行多项对比实验,MFPSDL方法在LFW和MNIST数据库上的训练时间分别为61.236 s和52.281 s,MFPSDL方法相比Fisher鉴别字典学习（FDDL）、类别一致的K奇异值分解（LC-KSVD）、字典对学习（DPL）等字典学习方法,在LFW和MNIST上的识别率提高了至少2.15和2.08个百分点。实验结果表明,所提方法在保证较低的时间复杂度的同时,获得了更好的识别效果,适用于图像分类。     

联合判别性低秩类字典与稀疏误差字典学习的人脸识别

目的 由于受到光照变化、表情变化以及遮挡的影响,使得采集的不同人的人脸图像具有相似性,从而给人脸识别带来巨大的挑战,如果每一类人有足够多的训练样本,利用基于稀疏表示的分类算法（SRC）就能够取得很好地识别效果。然而,实际应用中往往无法得到尺寸大以及足够多的人脸图像作为训练样本。为了解决上述问题,根据基于稀疏表示理论,提出了一种基于联合判别性低秩类字典以及稀疏误差字典的人脸识别算法。每一类的低秩字典捕捉这类的判别性特征,稀疏误差字典反映了类变化,比如光照、表情变化。方法 首先利用低秩分解理论得到初始化的低秩字典以及稀疏字典,然后结合低秩分解和结构不相干的理论,训练出判别性低秩类字典和稀疏误差字典,并把它们联合起来作为测试时所用的字典;本文的方法去除了训练样本的噪声,并在此基础上增加了低秩字典之间的不相关性,能够提高的低秩字典的判别性。再运用l₁范数法（同伦法）求得稀疏系数,并根据重构误差进行分类。结果 针对Extended Yale B库和AR库进行了实验。为了减少算法执行时间,对于训练样本利用随机矩阵进行降维。本文算法在Extended Yale B库的504维每类32样本训练的识别结果为96.9%。在无遮挡的540维每类4样本训练的AR库的实验结果为83.3%,1 760维的结果为87.6%。有遮挡的540维每类8样本训练的AR库的结果为94.1%,1 760维的结果为94.8%。实验结果表明,本文算法的结果比SRC、DKSVD（Discriminative K-SVD）、LRSI（Low rank matrix decomposition with structural incoherence）、LRSE+SC（Low rank and sparse error matrix+sparse coding）这4种算法中识别率最高的算法还要好,特别在训练样本比较少的情况下。结论 本文所提出的人脸识别算法具有一定的鲁棒性和有效性,尤其在训练样本较少以及干扰较大的情况下,能够取得很好地识别效果,适合在实际中进行应用。     

Combining visual dictionary, kernel-based similarity and learning strategy for image category retrieval

This paper presents a search engine architecture, RETIN, aiming at retrieving complex categories in large image databases. For indexing, a scheme based on a two-step quantization process is presented to compute visual codebooks. The similarity between images is represented in a kernel framework. Such a similarity is combined with online learning strategies motivated by recent machine-learning developments such as active learning. Additionally, an offline supervised learning is embedded in the kernel framework, offering a real opportunity to learn semantic categories. Experiments with real scenario carried out from the Corel Photo database demonstrate the efficiency and the relevance of the RETIN strategy and its outstanding performances in comparison to up-to-date strategies.     

基于MCA与判别字典学习的场景图文字检测方法

传统的文字检测方法在场景图像复杂背景、噪声污染和文字的多种形态特征的干扰下,检测的准确率很低,漏检、误检非常严重.针对这些问题,提出了基于形态成分分析(MCA)与判别字典学习的场景图像文字检测的方法.通过学习过完备字典将文字检测问题转化成稀疏和鲁棒表示的问题.利用MCA与改进的Fisher判别准则学习一个过完备字典,求解待检测图像文字部分的稀疏系数,重建待检测图像中的文字图像,进行文字检测.通过在ICDAR2003/2005/2011和MSRA-TDS00数据库中的大量的实验证明了与其他文字检测方法相比,该方法能有效提高检测准确率.     

基于近端梯度的快速字典学习方法的研究

基于稀疏表示的图像处理技术近年来成为研究热点,多种字典学习算法如K-SVD,OLM(Online dictionary learning Method)等予以提出;这类算法使用重叠的图像块来构建字典进行稀疏表示,产生了大量稀疏系数,致使计算过缓,且不能确保收敛。针对此问题开展研究,提出了基于近端梯度的快速字典学习算法;该算法结合了多凸优化求解,采用近端梯度算法求解字典学习过程中涉及的优化问题,有效地降低了每次迭代的复杂度,减少了迭代开销,同时能够确保收敛。合成数据上的实验表明,相较于其它经典算法,该算法进行字典学习速度更快,所耗时间较短,获得的字典更好;且在图像稀疏去噪的应用中,该算法的去噪效果表现优异。     

基于领域本体的学习资源语义检索模型*

为解决e-learning领域内学习资源的有效检索,提出了一个基于领域本体的e-learning学习资源语义检索模型。用Protégé构建了教育技术领域本体,通过对检索方法的研究分析和算法实现,开发了基于本体语义检索原型系统;并由对比全文检索和基于本体的语义检索两种方法的查准率,证明了基于本体的语义检索方式,在一定程度上能解决目前传统检索中存在的不足。     

基于字典学习的卫星图像压缩算法研究

针对卫星图像的特点及当前卫星图像在传输和存储上面临的问题,提出了一种基于稀疏表示的卫星图像二级无损压缩算法。通过传输稀疏表示后的稀疏系数来代替图像本身的传输,完成对卫星图像的第一级压缩;对非零稀疏系数先作预处理后实现聚类,然后依据聚类索引对原始非零稀疏系数的位置排序;最后对处理后的非零稀疏系数和位置数据分块,并利用改进的自适应哈夫曼算法对非零稀疏系数的数据块编码,利用差分编码和改进的自适应哈夫曼算法对位置数据块编码,完成对图像数据的第二级压缩。实验结果表明,与传统算法相比,所提算法具有明显优势,改进算法的压缩率是传统算法的1/3~1/2,且可同时实现卫星图像的高倍无损压缩与高分辨率重建。