基于支持向量机的图像语义分类

图像的低层可视特征与高层语义特征之间存在着一道鸿沟,人们不能直接理解由计算机自动生成的低层特征.另外,基于内容的图像分类和检索的性能极大地依赖于可视特征的提取和描述.出于这些考虑,提出了新的图像纹理、边缘描述子提取方法,并将它们表示为直方图.在此基础上,集成纹理、边缘和颜色直方图作为图像的特征向量,用支持向量机(SVM)实现图像的语义分类.实验结果表明,集成的图像特征表示在图像分类实验中取得了很好的效果,具有比其他特征表示(如Gabor纹理、颜色直方图)更好的性能.     

基于线条方向直方图的图像情感语义分类

图像语义分类在基于语义的图像检索中具有重要意义,但是图像的情感语义描述和分类方面的研究在近年来才刚刚起步。该文利用图像的低层特征实现了图像高层情感语义(“静感”和“动感”)的分类。图像的线条与情感之间存在明显的联系,选用线条方向直方图作为图像特征,利用概率神经网络(PNN)完成语义分类,实验表明该方法具有较好的效果。     

基于语义短语的空间金字塔词袋模型图像分类方法

针对空间金字塔词袋模型缺少对局部特征之间语义分布关系的表达,提出了一种基于语义短语的空间金字塔词袋模型图像表示方法.首先,将局部特征映射为具有一定语义信息的视觉单词,通过统计局部特征邻域范围内其他相关特征点的语义分布情况来构造语义短语.其次,将语义短语采用稀疏编码进行量化生成语义词典,图像则表示成基于语义词典的空间金字塔式稀疏统计直方图向量.最后,将图像表示向量代入分类器中进行训练和测试.实验结果表明,本文方法能够较大幅度地提高图像分类的准确率.     

基于模糊支持向量机的面向语义图像检索算法*

为了缩减图像低层特征和高层语义之间的“语义鸿沟”,本文提出一种基于模糊支持向量机的面向语义图像检索(SBIR-FSVM)算法。在提取图像的低层特征的基础上,本文将最小隶属度模糊支持向量机引入到图像检索技术中,获取图像语义信息及消除传统支持向量机(SVM)在多类分类中产生的不可分区域,从而实现面向语义的图像检索。实验结果表明,本文提出的SBIR-FSVM算法与基于SVM的图像检索算法及综合多特征的基于内容的图像检索算法相比均有了显著的改进。     

图像语义分类的树结构SVM方法

为了减小低层视觉特征和高层语义之间存在的"语义鸿沟",提出一种采用树结构支持向量机实现图像底层视觉特征到高层语义的映射方法。利用二叉树结构构建支持向量机(SVM),在SVM核函数空间利用距离作为树节点处的分类度量。二叉树的结构可以大大减小语义分类的时间,而将距离较大的语义类先分离开保证了语义分类具有较高的准确率。实验证明,该方法在保证准确率的同时可以在较大程度上缩短分类检索时间。     

融合显著信息的层次特征学习图像分类

高效的图像特征表示是计算机视觉的基础.基于图像的视觉显著性机制及深度学习模型的思想,提出一种融合图像显著性的层次稀疏特征表示用于图像分类.这种层次特征学习每一层都由3个部分组成:稀疏编码、显著性最大值汇聚(saliency max pooling)和对比度归一化.通过在图像层次稀疏表示中引入图像显著信息,加强了图像特征的语义信息,得到图像显著特征表示.相比于手工指定特征,该模型采用无监督数据驱动的方式直接从图像中学习到有效的图像特征描述.最后采用支持向量机(support vector machine,SVM)分类器进行监督学习,实现对图像进行分类.在2个常用的标准图像数据集(Caltech 101和Caltech 256)上进行的实验结果表明,结合图像显著性信息的层次特征表示,相比于基于局部特征的单层稀疏表示在分类性能上有了显著提升.     

基于决策树和模糊SVM的图像情感分类研究

将二叉决策机制融入到模糊支持向量机分类系统中,对图像进行情感语义层面的分类。其难点在于建立从图像的低阶特征到高层情感语义之间的映射关系,以及合理的参数选择问题。采用与决策树方法相结合,实现了多类分类。实验结果表明,本系统在图像情感分类中具有简单、快速、高效等特点。     

一种基于语义的图像数据库分类系统

实现了一种分等级的图像数据库自动语义分类系统，其中主要涉及白天、夜晚、日出／日落、室内、室外、建筑物以及风景等几个典型的语义信息。通过对图像的信息以及现有底层特征的分析，针对各级分类提取了一些判别能力好的特征。采用支持向量机(SVM)作为分类器；同时为了提高分类准确率，将支持向量机的输出改为概率形式，引入拒绝机制来拒绝一些置信度较低的样本。将Coogle检索出来的图像作为系统的测试样本取得了很好的分类结果，实验表明本系统可以对Google检索系统的结果进行一定的改进。     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

一种新的图像语义与视觉特征的映射方法

建立低层视觉特征与高层语义的映射关系能够很好地解决图像检索中的“语义鸿沟”问题。提出一种图像视觉特征与高层语义的映射方法。该方法通过用户的相关反馈来获得图像的语义信息,构造图像特征-语义决策表并结合粗糙集中的知识约简删除了与语义无关的冗余特征,实现了高层语义与底层视觉特征的映射。实验结果表明该方法能够显著减少与语义无关的视觉特征数量,降低分类的复杂性和计算代价,具有较好的分类准确率。     

图像检索中语义映射方法综述

"语义鸿沟"已成为基于内容图像检索的瓶颈,解决这个问题需要建立从图像的低层特征到高层语义的映射.对当前语义映射研究进行了综述,首先给出一个结合语义的图像检索框架,并分析了图像内容的层次模型及图像语义的表示方法;然后根据算法的特点,将现有的语义映射方法和技术分为4大类,重点阐述了各类方法提出的思路、模型.并讨论各自的优势和局限性;最后以图像检索实际应用的需要为依据,提出在图像语义检索相关领域的重要课题和研究方向.     

图像情感语义规则抽取的研究

针对图像视觉特征和情感语义之间的语义鸿沟,以图像纹理为低层特征,通过使用BP神经网络完成了图像低层特征到情感语义的映射;并在精度保持不变的前提下,对训练好的网络模型进行剪枝,最后通过神经网络规则抽取算法将隐含在神经网络模型中的知识转化为易于理解的IF-THEN规则形式。实验验证了方法的有效性和规则的可理解性。     

一种图像局部特征的语义提取方法

本文提出了一种基于期望最大化(EM)算法的局部图像特征的语义提取方法。首先提取图像的局部图像特征,统计特征在视觉词汇本中的出现频率,将图像表示成词袋模型;引入文本分析中的潜在语义分析技术建立从低层图像特征到高层图像语义之间的映射模型;然后利用EM算法拟合概率模型,得到图像局部特征的潜在语义概率分布;最后利用该模型提取出的图像在潜在语义上的分布来进行图像分析和理解。与其他基于语义的图像理解方法相比,本文方法不需要手工标注,以无监督的方式直接从图像低层特征中发掘图像的局部潜在语义,既求得了局部语义信息,又获得了局部语义的空间分布特性,因而能更好地对场景建模。为验证本文算法获取语义的有效性,在15类场景图像上进行了实验,实验结果表明,该方法取得了良好的分类准确率。     

一种基于区域特征关联的图像语义标注方法

图像语义的标注需要解决图像高层语义和底层特征间存在的语义鸿沟。采用基于图像分割、并结合图像区域特征抽取的方法,建立图像区域语义与底层特征间的关联,采用基于距离的分类算法,计算区域特征间的相似性,并对具有相同或相近特征的区域的语义采用关联关键字的方法进行区分,用关键字实现图像语义的自动标注。     

一种基于图像高层语义信息的图像检索方法

由于基于图像高层语义信息的图像检索与传统的图像特征匹配检索相比，在检索的准确性、结果相关性以及降低误检率等方面具有明显的优势，因此高效的图像检索方法应该充分利用图像蕴涵的高层语义信息。为了利用图像的高层语义信息来进行图像检索，在深入研究图像高层语义的低层特征描述的基础上，提出了图像语义的层次划分，并对每个高层语义层提出了语义抽取和检索算法。实验结果表明，该检索算法可以有效地对图像高层语义信息进行提取，并可作为新型高效图像检索系统的一个模型。     

基于多头图注意力网络与图模型的多标签图像分类

多标签图像分类是多标签数据分类问题中的研究热点.针对目前多标签图像分类方法只学习图像的视觉表示特征,忽略了图像标签之间的相关信息以及标签语义与图像特征的对应关系等问题,提出了一种基于多头图注意力网络与图模型的多标签图像分类模型(ML-M-GAT).该模型利用标签共现关系与标签属性信息构建图模型,使用多头注意力机制学习标签的注意力权重,并利用标签权重将标签语义特征与图像特征进行融合,从而将标签相关性与标签语义信息融入到多标签图像分类模型中.为验证本文所提模型的有效性,在公开数据集VOC-2007和COCO-2014上进行实验,实验结果表明, ML-M-GAT模型在两个数据集上的平均均值精度(mAP)分别为94%和82.2%,均优于CNN-RNN、ResNet101、MLIR、MIC-FLC模型,比ResNet101模型分别提高了4.2%和3.9%.因此,本文所提的ML-M-GAT模型能够利用图像标签信息提高多标签图像分类性能.     

结合相关反馈日志与语义网络的图像标注

连接高层语义和低层视觉特征的图像语义标注技术能够很好地表示图像的语义,提出并实现了一种结合相关反馈日志与语义网络的图像标注方法。该方法以收集的用户相关反馈日志为基础获得图像的语义信息,通过计算图像间的语义相似度进行语义聚类并采用语义传播的方式实现图像的语义标注。实验结果表明,随着相关反馈日志库的不断扩充,图像库中越来越多的图像会在反馈的过程中得到标注且标注的准确率会随着反馈次数的增加而趋于稳定。