基于SVM的图像分类

现有的图像检索系统多是针对底层特征的系统,而人类往往习惯于在语义级别进行相似性判别。如何跨越底层特征和高层语义之间的＂鸿沟＂,成为基于内容检索的研究重点。本文提出一种利用SVM提取图像的高层特征,然后对图像进行语义级别的分类。实验结果表明,该方法在一定程度上跨越＂语义鸿沟＂。     

一种基于SVMS的语义图像分类方法*

如何跨越图像低层视觉特征到高层语义特征的"语义鸿沟"已成为语义图像检索问题的分类图像分成五个区域;然后在提取图像底层特征的基础上,采用基于支持向量机组(SVMS)的方法建立图像低层视觉特征到高层语义特征之间的映射,将一幅图像同时归入一类或几类图像语义.实验结果表明,该方法具有较好的检索查全率和准确率.     

应用BP神经网络对自然图像分类

针对图像的低层视觉特征和高层语义特征之间的鸿沟,利用一个多输出的BP神经网络,分析低层视觉特征,提取图像的主要颜色、灰度共生矩阵和7个不变矩向量作为网络的输入,用语义期望值作为网络的输出,并用加入动量因子和自适应学习率的BP算法来训练该网络。训练完成后,该网络能够对自然图像进行多种语义分类,从而建立起了从低层视觉特征到语义特征之间的映射。改进的BP算法提高了训练的速度和可靠性,实验证明,该方法取得了较好的检索查全率和准确率。     

基于层次分析法语义知识的人脸表情识别新方法

在目前的人脸表情识别系统中,人脸表情的机器识别和人类感知之间存在着本质的差异,造成人脸表情识别率不高。为了减小人脸图像底层视觉特征与高层语义之间的语义鸿沟,提出一种基于层次分析法（AHP）语义知识的人脸表情识别新方法。该方法首先采用层次分析法对训练集中人脸图像进行高层语义描述,建立语义特征向量,在底层视觉特征提取阶段,提出一种二阶PCA（principal component analysis）方法来提取人脸图像的纹理特征;在识别阶段,仅利用输入人脸图像的底层视觉特征,采用K-NN（k-nearest neighbor）算法并结合学习阶段建立的语义特征向量,进行人脸表情分类识别。提出的人脸表情识别方法结合底层视觉特征和高层语义知识,减小了人脸图像底层视觉特征与高层语义之间的语义鸿沟。在JAFFE人脸表情数据库中进行实验,获得了93.92%的平均识别率。理论分析和实验结果表明,与其他的人脸表情识别方法相比,该方法具有更好的识别效果。     

基于分块权值的语义图像检索

图像低层视觉特征和高层语义间的“语义鸿沟”是图像检索的关键问题.为了进一步提高基于语义的图像检索系统工作效率,以分块权值和视觉词库为基础,结合图像低层特征和高层语义的相关性,提出了一种基于分块权值的语义图像模型,该模型用来反映图像的视觉特性,对图像的高层语义进行有效检测,从而提高语义图像的检索效率.实验结果表明,该方法提高了语义图像检索系统的查全率和查准率.     

一种图像底层视觉特征到高层语义的映射方法

基于语义内容的图像检索已经成为解决图像底层特征与人类高层语义之间“语义鸿沟”的关键。根据图像语义检索的思想,提出了一种采用支持向量机(Support Machine Vector)实现图像底层视觉特征到高层语义的映射方法,并在此基础上针对特例库实现了图像的语义标注和检索。实验结果表明,该映射方法能较好地表达人的语义,以提高图像的检索效率。     

基于模糊熵的空间语义图像检索模型研究*

根据模糊熵理论和改进的空间信息分布,提出了颜色空间特征语义图像检索模型。阐述基于语法规则的颜色空间特征语义描述方法,构造从低层颜色空间特征到高层语义之间的映射,根据这些模糊语义值进行图像检索。实验结果表明,该模型能够有效地对图像高层语义进行刻画,由此实现的模型不仅能获得高效和稳定的检索结果,获得与人类视觉感知较好的一致性,该算法还能很好地消除低层图像空间特征和高层语义之间的语义鸿沟。     

颜色语义特征描述提取及其在图像分类中的应用

为了弥补图像底层特征到高层语义之间的语义鸿沟,提出一种颜色语义特征的构建方法以建立新的语义映射来提高图像分类准确率。通过提取底层颜色特征,构建包含颜色概念的语义网络,建立了颜色语义特征三元组,利用机器学习分类算法进行图像分类。实验结果表明,利用文章提出的新方法构建的语义特征向量进行图像分类,不仅可以取得优秀的分类结果,同时对不同的分类算法具有鲁棒性。     

基于FSRM的相关反馈图像检索算法

在基于内容的图像检索中,低层视觉特征和高层语义之间的“语义鸿沟”一直是基于内容图像检索技术前进的一大障碍。相关反馈机制在一定程度上缩小了图像检索中的“语义鸿沟”。提出了一种基于模糊语义相关矩阵(FSRM)的相关反馈算法。该算法根据用户对检索结果的反馈调整模糊语义相关矩阵中的权值,从而捕捉用户的检索企图,通过对模糊语义相关矩阵中数据的学习不断修正语义矩阵,达到低层视觉特征到高层语义特征的过渡,最终提高了查询的准确度。实验结果证明了该算法的有效性。     

一种新的图像语义与视觉特征的映射方法

建立低层视觉特征与高层语义的映射关系能够很好地解决图像检索中的“语义鸿沟”问题。提出一种图像视觉特征与高层语义的映射方法。该方法通过用户的相关反馈来获得图像的语义信息,构造图像特征-语义决策表并结合粗糙集中的知识约简删除了与语义无关的冗余特征,实现了高层语义与底层视觉特征的映射。实验结果表明该方法能够显著减少与语义无关的视觉特征数量,降低分类的复杂性和计算代价,具有较好的分类准确率。     

融合弱监督目标定位的细粒度小样本学习

目的 小样本学习旨在通过一幅或几幅图像来学习全新的类别。目前许多小样本学习方法基于图像的全局表征,可以很好地实现常规小样本图像分类任务。但是,细粒度图像分类需要依赖局部的图像特征,而基于全局表征的方法无法有效地获取图像的局部特征,导致很多小样本学习方法不能很好地处理细粒度小样本图像分类问题。为此,提出一种融合弱监督目标定位的细粒度小样本学习方法。方法 在数据量有限的情况下,目标定位是一个有效的方法,能直接提供最具区分性的区域。受此启发,提出了一个基于自注意力的互补定位模块来实现弱监督目标定位,生成筛选掩膜进行特征描述子的筛选。基于筛选的特征描述子,设计了一种语义对齐距离来度量图像最具区分性区域的相关性,进而完成细粒度小样本图像分类。结果 在miniImageNet数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法高出0.56%和5.02%。在细粒度数据集Stanford Dogs和Stanford Cars数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法分别提高了4.18%,7.49%和16.13,5.17%。在CUB 200-2011（Caltech-UCSD birds）数据集中,本文方法在5-shot下的分类精度相较性能第2的方法提升了1.82%。泛化性实验也显示出本文方法可以更好地同时处理常规小样本学习和细粒度小样本学习。此外,可视化结果显示出所提出的弱监督目标定位模块可以更完整地定位出目标。结论 融合弱监督目标定位的细粒度小样本学习方法显著提高了细粒度小样本图像分类的性能,而且可以同时处理常规的和细粒度的小样本图像分类。     

结合模型集成与特征融合的图像拷贝检测

基于内容的图像拷贝检测关键在于提取的图像特征能够针对不同形式的图像拷贝攻击具有不变性。现实中拷贝攻击手段变化多样,且存在很多相似图像的干扰,目前并没有任何一种图像特征可以对抗所有不同形式的图像攻击。现有方法虽然在图像特征表示上做了很多改进,但都局限于单个特征表示。因此从特征融合的角度对提取特征进行增强,基于卷积神经网络融合图像高层特征以及低层特征以实现特征多样性,集成ImageNet预训练分类模型以及提出的距离度量模型以实现特征互补性。度量模型针对该类问题在预训练模型的基础上通过学习合适的距离度量来对抗由于图像编辑引起的特征差异,拉近拷贝图像与原始图像在特征空间的距离。实验结果表明,结合模型集成和多层深度特征融合的方式可以有效增强特征的鲁棒性,相比单一特征的检测效果提升十分明显。     

一种融合语义距离的最近邻图像标注方法

传统的基于最近邻的图像标注方法效果不佳,主要原因在于提取图像视觉特征时,损失了很多有价值的信息.提出了一种改进的最近邻分类模型.首先利用距离测度学习方法,引入图像的语义类别信息进行训练,生成新的语义距离;然后利用该距离对每一类图像进行聚类,生成多个类内的聚类中心;最后通过计算图像到各个聚类中心的语义距离来构建最近邻分类模型.在构建最近邻分类模型的整个过程中,都使用训练得到的语义距离来计算,这可以有效减少相同图像类内的变动和不同图像类之间的相似所造成的语义鸿沟.在ImageCLEF2012图像标注数据库上进行了实验,将本方法与传统分类模型和最新的方法进行了比较,验证了本方法的有效性.     

基于显著性语义区域加权的图像检索算法

针对计算视觉领域图像实例检索的问题，提出了一种基于深度卷积特征显著性引导的语义区域加权聚合方法。首先提取深度卷积网络全卷积层后的张量作为深度特征，并利用逆文档频率（IDF）方法加权深度特征得到特征显著图；然后将其作为约束，引导深度特征通道重要性排序以提取不同特殊语义区域深度特征，排除背景和噪声信息的干扰；最后使用全局平均池化进行特征聚合，并利用主成分分析（PCA）降维白化得到图像的全局特征表示，以进行距离度量检索。实验结果表明，所提算法提取的图像特征向量语义信息更丰富、辨识力更强，在四个标准的数据库上与当前主流算法相比准确率更高，鲁棒性更好。     

基于多特征融合和相关反馈的图像检索

鉴于单一视觉特征不能很好地表达图像内容,提出一种融合图像颜色、形状、纹理特征的图像检索方法。最后采用支持向量机（SVM）的相关反馈算法提高图像检索的准确度,缩小低层特征和高层语义之间的语义鸿沟。实验结果说明提出的方法具有良好的检索性能。     

基于特征分组与特征值最优化的距离度量学习方法

主流的距离度量学习方法都需要求解半正定规划（Semi definite programming, SDP ）问题,而其中每次循环迭代中的矩阵完全 特征分解运算使得现有方法计算复杂度很高,实用性不强,难以应用在大规模数据环境。 本文提出了一种基于特征分组与特征值最优化的距离度量学习方法。引入特征分 组算法,根据特征各维数之间相关性对图像底层特征进行分组。在一定的约束条件下 ,将求解SDP问题转化为特征值最优化问题,在每次循 环迭代中只需计算矩阵最大特征值对应的特征向量。实验结果表明该方法能有效地降低计算 复杂度,减少度量矩阵的学习时间,并且能取得较好的分类结果。     

基于多特征融合的多尺度服装图像精准化检索

为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."     

基于多源信息融合的分布式词表示学习

分布式词表示学习旨在用神经网络框架训练得到低维、压缩、稠密的词语表示向量。然而,这类基于神经网络的词表示模型有以下不足: (1) 罕见词由于缺乏充分上下文训练数据,训练所得的罕见词向量表示不能充分地反映其在语料中的语义信息; (2) 中心词语的反义词出现于上下文时,会使意义完全相反的词却赋予更近的空间向量表示; (3) 互为同义词的词语均未出现于对方的上下文中,致使该类同义词学习得到的表示在向量空间中距离较远。基于以上三点,该文提出了一种基于多源信息融合的分布式词表示学习算法(MSWE),主要做了4个方面的改进: (1) 通过显式地构建词语的上下文特征矩阵,保留了罕见词及其上下文词语在语言训练模型中的共现信息可以较准确地反映出词语结构所投影出的结构语义关联; (2) 通过词语的描述或解释文本,构建词语的属性语义特征矩阵,可有效地弥补因为上下文结构特征稀疏而导致的训练不充分; (3) 通过使用同义词与反义词信息,构建了词语的同义词与反义词特征矩阵,使得同义词在词向量空间中具有较近的空间距离,而反义词则在词向量空间中具有较远的空间距离; (4) 通过诱导矩阵补全算法融合多源特征矩阵,训练得到词语低维度的表示向量。实验结果表明,该文提出的MSWE算法能够有效地从多源词语特征矩阵中学习到有效的特征因子,在6个词语相似度评测数据集上表现出了优异的性能。     

Collaborative image retrieval via regularized metric learning

In content-based image retrieval (CBIR), relevant images are identified based on their similarities to query images. Most CBIR algorithms are hindered by the semantic gap between the low-level image features used for computing image similarity and the high-level semantic concepts conveyed in images. One way to reduce the semantic gap is to utilize the log data of users' feedback that has been collected by CBIR systems in history, which is also called “collaborative image retrieval.” In this paper, we present a novel metric learning approach, named “regularized metric learning,” for collaborative image retrieval, which learns a distance metric by exploring the correlation between low-level image features and the log data of users' relevance judgments. Compared to the previous research, a regularization mechanism is used in our algorithm to effectively prevent overfitting. Meanwhile, we formulate the proposed learning algorithm into a semidefinite programming problem, which can be solved very efficiently by existing software packages and is scalable to the size of log data. An extensive set of experiments has been conducted to show that the new algorithm can substantially improve the retrieval accuracy of a baseline CBIR system using Euclidean distance metric, even with a modest amount of log data. The experiment also indicates that the new algorithm is more effective and more efficient than two alternative algorithms, which exploit log data for image retrieval.     

部件检测和语义网络的细粒度鞋类图像检索

目的 细粒度图像检索是当前细粒度图像分析和视觉领域的热点问题。以鞋类图像为例,传统方法仅提取其粗粒度特征且缺少关键的语义属性,难以区分部件间的细微差异,不能有效用于细粒度检索。针对鞋类图像检索大多基于简单款式导致检索效率不高的问题,提出一种结合部件检测和语义网络的细粒度鞋类图像检索方法。方法 结合标注后的鞋类图像训练集对输入的待检鞋类图像进行部件检测;基于部件检测后的鞋类图像和定义的语义属性训练语义网络,以提取待检图像和训练图像的特征向量,并采用主成分分析进行降维;通过对鞋类图像训练集中每个候选图像与待检图像间的特征向量进行度量学习,按其匹配度高低顺序输出检索结果。结果 实验在UT-Zap50K数据集上与目前检索效果较好的4种方法进行比较,检索精度提高近6%。同时,与同任务的SHOE-CNN（semantic hierarchy of attribute convolutional neural network）检索方法比较,本文具有更高的检索准确率。结论 针对传统图像特征缺少细微的视觉描述导致鞋类图像检索准确率低的问题,提出一种细粒度鞋类图像检索方法,既提高了鞋类图像检索的精度和准确率,又能较好地满足实际应用需求。