弱标签环境下基于语义邻域学习的图像标注

图像语义自动标注是实现图像语义检索与管理的关键,是具有挑战性的研究课题.传统的图像标注方法需要具有完整、准确标签的数据集才能取得较好的标注性能.然而,在现实应用中获得数据的标签往往是不准确、不完整的,并且标签分布不均衡.对于Web图像和社会化图像尤其如此.为了更好地利用这些弱标签样本,提出了一种基于语义邻域学习的图像自动标注方法(semantic neighborhood learning from weakly labeled image, SNLWL).首先在邻域标签损失误差最小化意义下,填充训练集样本标签.通过递进式的邻域选择过程,保证建立的语义一致邻域内样本具有全局相似性、部分相关性和语义一致性,并且语义标签分布平衡.在邻域标签重构误差最小化意义下进行标签预测,降低噪声标签对性能的影响.多个数据集上的实验结果表明,与已知的具有较好标注效果的方法相比,此方法更适用于处理弱标签数据集,标准评测集上的测试也表明了此方法的有效性.     

一种适合弱标签数据集的图像语义标注方法

真实环境下数据集中广泛存在着标签噪声问题,数据集的弱标签性已严重阻碍了图像语义标注的实用化进程.针对弱标签数据集中的标签不准确、不完整和语义分布失衡现象,提出了一种适用于弱标签数据集的图像语义标注方法.首先,在视觉内容与标签语义的一致性约束、标签相关性约束和语义稀疏性约束下,通过直推式学习填充样本标签,构建样本的近似语义平衡邻域.鉴于邻域中存在噪声干扰,通过多标签语义嵌入的邻域最大边际学习获得距离测度和图像语义的一致性,使得近邻处于同一语义子空间.然后,以近邻为局部坐标基,通过邻域非负稀疏编码获得目标图像和近邻的部分相关性,并构建局部语义一致邻域.以邻域内的语义近邻为指导并结合语境相关信息,进行迭代式降噪与标签预测.实验结果表明了方法的有效性.     

基于集成分类算法的自动图像标注

基于语义的图像检索技术中,按照图像的语义进行自动标注是一个具有挑战性的工作. 本文把图像的自动标注过程转化为图像分类的过程,通过有监督学习对每个图像区域分类并得到相应关键字,实现标注. 采用一种快速随机森林(Fast random forest, FRF)集成分类算法,它可以对大量的训练数据进行有效的分类和标注. 在基于Corel数据集的实验中,相比经典算法, FRF改善了运算速度,并且分类精度保持稳定. 在图像标注方面有很好的应用.     

Automatic Annotation and Retrieval of Images

Although a variety of techniques have been developed for content-based image retrieval (CBIR), automatic image retrieval by semantics still remains a challenging problem. We propose a novel approach for semantics-based image annotation and retrieval. Our approach is based on the monotonic tree model. The branches of the monotonic tree of an image, termed as structural elements, are classified and clustered based on their low level features such as color, spatial location, coarseness, and shape. Each cluster corresponds to some semantic feature. The category keywords indicating the semantic features are automatically annotated to the images. Based on the semantic features extracted from images, high-level (semantics-based) querying and browsing of images can be achieved. We apply our scheme to analyze scenery features. Experiments show that semantic features, such as sky, building, trees, water wave, placid water, and ground, can be effectively retrieved and located in images.     

基于本体的图像语义标注与检索模型

存储于计算机上日益庞大的数字图像存在语义表达隐含、存储孤立、检索不便等缺点,导致图像应用效率低。该文提出基于本体的图像语义标注与检索模型ImageQ,其具有层次及模块化特点且与领域本体相独立,支持领域本体进化和系列推理深度不同的图像检索方法。基于ImageQ的实验系统运行结果表明,该模型的图像管理性能良好,实现了图像智能检索功能。     

基于内容检索的图像自动标注方法研究

图像标注技术是近年来的研究热点。为了更好地解决图像自动标注问题,提出了一个基于检索和重排序的标注方法。在检索阶段,通过使用基于MSF的全局特征对待标注图像进行基于内容的检索,从而在图像数据库中得到一系列的相似图像数据集;在重排序阶段,利用随机漫步方法对相似图像数据集的标注信息进行重排序,最终排序后的关键词则为待标注图像的标注信息。该方法不仅跳过了漫长的训练阶段,而且充分利用了网络上那些已经具有标注信息的图像,具有较好的稳定性和可扩展性。实验结果显示了该方法的有效性。     

基于QPSO-MIL算法的图像标注

在多数现有图像标注图像库中,关键字只标注在图像级而非区域级,使有监督学习方法在图像标注中难以应用.基于量子粒子群优化算法(quantum-behaved particle swarm optimization,QPSO)提出了一种新的多示例学习(multi-instance learning,MIL)算法--QPSO-MIL算法,在多示例学习的框架下将基于区域的图像标注问题描述成一个有监督的学习问题.该方法将图像当作包,分割的区域当作包中的示例,利用多样性密度(DD)函数,定义了粒子的适应度向量.在示例空间,利用QPSO方法在各个维度上同时搜索DD函数的全局极大值点,作为关键字的概念点,然后根据Bayesian后验概率最大准则(MAP)对图像进行标注.通过ECCV 2002图像库的实验结果表明,QPSO-MIL算法是有效的.     

Region-based Image Retrieval Using Probabilistic Feature Relevance Learning

Region-Based Image Retrieval (RBIR), a specialisation of content-based image retrieval, is a promising and important research area. RBIR usually requires good segmentation, which is often difficult to achieve in practice for several reasons, such as varying environmental conditions and occlusion. It is, therefore, imperative to develop effective mechanisms for interactive, region-based visual query in order to provide confident retrieval performance. In this paper, we present a novel RBIR system, Finding Region In the Pictures (FRIP), that uses human-centric relevance feedback to create similarity metric on-the-fly in order to overcome some of the limitations associated with RBIR systems. We use features such as colour, texture, normalised area, shape and location, extracted from each region of a segmented image, to represent image content. For each given query, we estimate local feature relevance using probabilistic relevance model, from which to create a flexible metric that is highly adaptive to query location. As a result, local data densities can be sufficiently exploited, whereby rapid performance improvement can be achieved. The efficacy of our method is validated and compared against other competing techniques using real world image data.     

基于贝叶斯理论的图像标注和检索

图像自动语义标注是基于内容图像检索中很重要且很有挑战性的工作.提出用语义约束的聚类方法对分割后的图像区域进行聚类,在图像标注阶段,使用贪心选择连接(GSJ)算法找出聚类区域的独立子集,然后使用贝叶斯理论进行语义标注.对图像进行标注以后,使用标注的关键字进行检索.在一个包含500幅图像的图像库进行实验,结果表明,提出的方法具有较好的检索性能.     

图像数据的结构化协同标注与检索

通过分析图像数据对语义信息的检索需求,提出一种表达图像信息的结构化方法,并定义一种根据图像中隐含语义信息来判定相似度的算法。该方法在一定程度上克服了基于内容的图像检索和基于文本的元数据图像检索这2种常用图像检索方法缺乏语义信息匹配上的不足。原型系统根据结构化协同标注中语义信息的丰富程度与图像检索的精确程度,证明了该方法的有效性。     

一种基于知识的图象信息表示与检索系统

给出了一种使用一阶谓词逻辑（Prolog语言）为图象内容建模,并结合知识库,实现高效图象检索的方案。基于知识的图象信息表示与检索系统（KIRS）将图象的人工注释、机器自动提取的图象低层信息以及知识库中的知识统一于一致的概念,以知识推理的方式进行检索。     

使用基于多例学习的启发式SVM算法的图像自动标注

在基于内容的图像检索中,按照图像的语义内容进行自动标注是一个具有挑战性的难题.将解释语义内容的关键词当做图像类别标签可使自动标注问题转化为图像分类问题.对于多数训练数据,关键词仅仅是针对整幅图像来标注的,并不是针对图像中的具体区域.为了克服这个问题,提出了多例学习(MIL)框架下基于支持向量机(SVM)的启发式算法HSVM-MIL.使用迭代的启发式最优化算法来解决多例学习中复杂的整型规划问题,以使分类风险最小化.每次迭代试图改变一个样例的类别以最大化普通SVM的分类间隔.在图像数据库和多例学习的经典数据集MUSK上的实验表明,HSVM-MIL算法具有优良的分类性能.由于该算法针对个体样例的正负分类进行判断,因而能够确定图像区域与关键词之间的对应关系,克服了大多数多例学习算法的缺点.     

历史信息学习的相关反馈图像检索

相关反馈技术被有效的应用于基于内容的图像检索.传统的相关反馈未能充分利用检索的历史信息.为了进一步提高检索的效率与准确性,提出一种基于历史检索信息学习的相关反馈检索方法.该方法将每次检索的结果作为历史检索信息保存.进行新的检索时,判断当前查询图像与历史检索信息的语义相关性,预测检索结果,以期减少相关反馈次数.对包含80 00幅图像的图像库实验表明,与传统相关反馈技术相比,该方法明显的改善了检索性能.     

基于Contourlet旋转不变特征的遥感图像检索

除了具有纹理属性外,遥感图像中还包含大量的结构性边缘特征,如何有效捕捉这些特征中的信息进行检索,成为提高遥感图像检索效率的关键。文章依据Contourlet在离散域的多尺度几何分析的功能,提出一种利用Contourlet子带能量分布特性提取原始图像在多个尺度下的边缘方向信息进行检索的方法。针对Contourlet变换捕获不同特征方向能力的差别,文章采用正交补偿法加以改正,并通过傅里叶算子的处理,实现基于结构性边缘特征旋转不变的图像检索。实验结果表明,该检索算法对含有丰富规则边缘特征的遥感图像更为有效。     

基于图学习的自动图像标注

自动图像标注是图像检索任务中重要而具有挑战性的工作.文中首先讨论并解释了自动图像标注问题,通过总结现有的研究工作,提出了一种基于图学习的图像标注框架.在该框架下,图像标注被分为两个阶段来完成,即基本图像标注与图像标注改善.其中,前者是通过以图像间相似性为依据的图学习过程来提供图像的初始标注,而后者是通过以词汇间语义相关性为依据的图学习过程来改善前者取得的标注结果.该框架主要涉及到图像与文本词汇两种媒体的内部和相互之间的各种关系的估计问题.基于此,作者又给出了针对上述各子问题的改进方法,并将它们综合起来实现了有效的图像标注.最后,通过Corel图像集与网络数据集上一系列实验结果,验证了该模型框架及所提出解决方案的有效性.     

基于k个标记样本的弱监督学习框架

聚类是机器学习领域中的一个研究热点,弱监督学习是半监督学习中一个重要的研究方向,有广泛的应用场景.在对聚类与弱监督学习的研究中,提出了一种基于k个标记样本的弱监督学习框架.该框架首先用聚类及聚类置信度实现了标记样本的扩展.其次,对受限玻尔兹曼机的能量函数进行改进,提出了基于k个标记样本的受限玻尔兹曼机学习模型.最后,完成了对该模型的推理并设计相关算法.为了完成对该框架和模型的检验,选择公开的数据集进行对比实验,实验结果表明,基于k个标记样本的弱监督学习框架实验效果较好.     

Learning Noise-Assisted Robust Image Features for Fine-Grained Image Retrieval

Fine-grained image search is one of the most challenging tasks in computer vision that aims to retrieve similar images at the fine-grained level for a given query image. The key objective is to learn discriminative fine-grained features by training deep models such that similar images are clustered, and dissimilar images are separated in the low embedding space. Previous works primarily focused on defining local structure loss functions like triplet loss, pairwise loss, etc. However, training via these approaches takes a long training time, and they have poor accuracy. Additionally, representations learned through it tend to tighten up in the embedded space and lose generalizability to unseen classes. This paper proposes a noise-assisted representation learning method for fine-grained image retrieval to mitigate these issues. In the proposed work, class manifold learning is performed in which positive pairs are created with noise insertion operation instead of tightening class clusters. And other instances are treated as negatives within the same cluster. Then a loss function is defined to penalize when the distance between instances of the same class becomes too small relative to the noise pair in that class in embedded space. The proposed approach is validated on CARS-196 and CUB-200 datasets and achieved better retrieval results (85.38% recall@1 for CARS-196% and 70.13% recall@1 for CUB-200) compared to other existing methods.     

图像检索中的主动学习及其可测量性

主动学习对于复杂、主观、使用少量训练实例的图像检索查询具有非常有效的作用。在图像检索中应用主动学习与支持向量机相结合的方法进行相关反馈,通过两者的互补来有效地提高图像检索的精度。对比了推理算法、简单主动算法以及角度多样性算法3种主动学习算法,并研究了最好的样本选择策略。还讨论了主动学习中概念复杂度的可测量性,并对未来的研究方向提出了建议。相信随着这些可测量性问题被重点提出,主动学习的成果可以被广泛应用。     

图像检索中的主动学习及其可测量性

主动学习对于复杂、主观、使用少量训练实例的图像检索查询具有非常有效的作用。在图像检索中应用主动学习与支持向量机相结合的方法进行相关反馈，通过两者的互补来有效地提高图像检索的精度。对比了推理算法、简单主动算法以及角度多样性算法3种主动学习算法，并研究了最好的样本选择策略。还讨论了主动学习中概念复杂度的可测量性，并对未来的研究方向提出了建议。相信随着这些可测量性问题被重点提出，主动学习的成果可以被广泛应用。