基于复杂性网络的图像检索语义保存研究

目前多数基于内容的图像检索研究是在如何理解图像的内容,挖掘图像内容的特征,并组织这些特征用于图像检索上。检索得到的结果往往丢弃不顾,不能用于未来相似语义图像的检索。提出了一种新颖的基于语义保存的图像检索方案：将检索得到的多个相似图像组成相似图像网络,并运用复杂性网络的子网络分割方法,划分出语义子网络,找出语义概念并保存;检索未来相似内容的图像只需匹配保存的图像语义概念。实验表明,检索后得到的图像网络具有小世界网络的特征;保存的图像语义能准确地匹配相似语义内容图像,并能极大地加快检索相似语义图像。     

一种基于语义网络的图像检索方法

当前基于内容的图像检索主要采用底层特征检索技术,如颜色、形状和空间分析。然而无法表达图像的高层语义信息,造成了检索结果的不精确。结合低层特征,提出一种基于关键字语义网络的图像检索方法。通过语义网络的不断完善,检索的精确度也将随之提高。     

利用蚁群算法的记忆式图像检索方法

如何有效利用用户的相关反馈信息来进行基于语义的图像检索,是一个具有重要意义并且极具挑战性的问题.介绍了一种基于蚁群算法的记忆式图像检索方法,它是传统记忆式图像检索方法的一种改进.用蚁群算法的思想,利用用户的反馈信息建立图像的语义网络,并依据该语义网络用迭代的方法来检索图像.实验表明,该方法不仅有效,而且存储量小、计算量...     

基于文本与语义相关性分析的图像检索

为了更加有效地检索到符合用户复杂语义需求的图像，提出一种基于文本描述与语义相关性分析的图像检索算法。该方法将图像检索分为两步：基于文本语义相关性分析的图像检索和基于SIFT特征的相似图像扩展检索。根据自然语言处理技术分析得到用户文本需求中的关键词及其语义关联，在选定图像库中通过语义相关性分析得到“种子”图像；接下来在图像扩展检索中，采用基于SIFT特征的相似图像检索，利用之前得到的“种子”图像作为查询条件，在网络图像库中进行扩展检索，并在结果集上根据两次检索的图像相似度进行排序输出，最终得到更加丰富有效的图像检索结果。为了证明算法的有效性，在标准数据集Corel5K和网络数据集Deriantart8K上完成了多组实验，实验结果证明该方法能够得到较为精确地符合用户语义要求的图像检索结果，并且通过扩展算法可以得到更加丰富的检索结果。     

基于视觉显著计算的图像语义检索方法

网络标签已经开始广泛地用于图像内容的标注和分享,由于图像本身的差异和人们对图像的不同理解,对图像语义检索提出了新的挑战。该文首先引入视觉显著模型,突出图像的显著信息;然后提取视觉显著特征,建立图像内容的相似关系;最后基于随机漫步模型平衡图像内容及网络标签间的关系。实验表明该文提出的方法能够有效地实现图像的语义理解并用于图像检索。     

结合标签优化和语义分割的服装图像检索

针对缺少民族服装语义标签、局部特征繁杂等因素导致少数民族服装图像检索准确率低的问题,提出一种结合标签优化和语义分割的服装图像检索方法.首先基于自定义的少数民族服装通用语义标签和民族服装语义标签,构建视觉风格分析概率模型进行标签优化;然后在全卷积网络结构基础上加入侧分支网络和全连接条件随机场,结合带有标注对和优化语义标签的训练图像对待检图像进行语义分割;最后采用多任务的深度监督哈希算法将语义分割结果哈希映射为二进制码,通过相似度计算对少数民族服装图像进行检索并输出结果.在构建的少数民族服装图像集上的实验结果表明,该方法能够有效地提高少数民族服装图像语义分割和检索的准确率.     

基于GIS语义的遥感图像检索

语义图像检索为填补图像低层视觉特征和用户高层语义之间的鸿沟而产生,图像语义描述和提取是其关键。提出了一种基于G IS语义的遥感图像检索(G IS sem antics-based remote sensing im age retrieval,简称G ISSB IR)方法,主要涉及空间对象的语义表达和语义匹配两方面内容。利用面向对象G IS语义模型和概念语义网络共同表达空间对象的语义,设计了语义调解器处理用户与系统之间的语义不一致。通过对G IS原子查询结果进行布尔运算得到矢量查询结果,在此基础上得到与G IS数据具有统一坐标框架的遥感图像检索结果。实验结果表明G ISSB IR方法是有效的。     

基于最短路径法的语义图像检索

在语义层和底层特征之间的语义断层是网络图像语义检索中的难点。由于用户习惯使用文本表示检索意图,来自网络的图片一般带有文字,故利用文本构建图像语义层,将图像底层特征处理为HSV空间中的向量,通过同维处理使二者可进行相似度计算。语义层和图像底层之间相似性倒数作为边权值,问题转化为求有向无环图中最短路径;用改进的Dijkstra算法求该路径。实验表明检索精度较传统的颜色直方图检索有一定提高。     

部件检测和语义网络的细粒度鞋类图像检索

目的 细粒度图像检索是当前细粒度图像分析和视觉领域的热点问题。以鞋类图像为例,传统方法仅提取其粗粒度特征且缺少关键的语义属性,难以区分部件间的细微差异,不能有效用于细粒度检索。针对鞋类图像检索大多基于简单款式导致检索效率不高的问题,提出一种结合部件检测和语义网络的细粒度鞋类图像检索方法。方法 结合标注后的鞋类图像训练集对输入的待检鞋类图像进行部件检测;基于部件检测后的鞋类图像和定义的语义属性训练语义网络,以提取待检图像和训练图像的特征向量,并采用主成分分析进行降维;通过对鞋类图像训练集中每个候选图像与待检图像间的特征向量进行度量学习,按其匹配度高低顺序输出检索结果。结果 实验在UT-Zap50K数据集上与目前检索效果较好的4种方法进行比较,检索精度提高近6%。同时,与同任务的SHOE-CNN（semantic hierarchy of attribute convolutional neural network）检索方法比较,本文具有更高的检索准确率。结论 针对传统图像特征缺少细微的视觉描述导致鞋类图像检索准确率低的问题,提出一种细粒度鞋类图像检索方法,既提高了鞋类图像检索的精度和准确率,又能较好地满足实际应用需求。     

一种基于本体与描述文本的网络图像语义标注方法

网络图像语义自动标注是实现对互联网中海量图像管理和检索的有效途径,而自动有效地挖掘图像语义是实现自动语义标注的关键。网络图像的语义蕴含于图像自身,但更多的在于对图像语义起不同作用的各种描述文本,而且随着图像和描述知识的变化,描述文本所描述的图像语义也随之变化。提出了一种基于领域本体和不同描述文本语义权重的自适应学习的语义自动标注方法,该方法从图像的文本特征出发考查它们对图像语义的影响,先通过本体进行有效的语义快速发现与语义扩展,再利用一种加权回归模型对图像语义在其不同类型描述文本上的分布进行自适应的建模,进而实现对网络图像的语义标注。在真实的Wcb数据环境中进行的实验中,该方法的有效性得到了验证。     

基于神经网络生成图像语义的算法研究

提出一种利用神经网络获取图像语义的算法。通过构建一个RBF神经网络,在图像的颜色、纹理、形状等低层视觉特征和高层语义特征之间建立映射关系。利用遗传算法训练RBF网络,获得RBF网络的隐节点个数、中心、宽度和连接权值等参数值,训练成功后的神经网络能够自动获取图像的语义。实验结果表明,该算法具有较好的基于语义的检索效果,体现了人对图像内容的理解,符合人的思维习惯。     

增量学习语义属性的图像内容检索系统增强

大规模图像内容检索是实现图像语义信息获取的重要手段, 其首要需解决图像低层特征与用户高层语义间的语义鸿沟问题。针对该问题, 引入图像语义属性, 并结合增量分类学习方法(online core vector machine, OCVM), 提出了一种增量构建大规模图像内容检索系统的新方法。该方法借助检索反馈学习机制可以提升图像语义属性的辨别准确性, 能在扩张图像库规模的同时, 提升图像内容检索的可靠性。实验结果表明了上述方法的有效性, 其检索性能可逐步地达到离线构建方法的最佳性能, 但具有更好的可扩展性和自提升能力。     

结合深度多标签解析的哈希服装检索

目的 服装检索对于在线服装的推广和销售有着重要的作用。而目前的服装检索算法无法准确地检索出非文本描述的服装。特别是对于跨场景的多标签服装图片,服装检索算法的准确率还有待提升。本文针对跨场景多标签服装图片的差异性较大以及卷积神经网络输出特征维度过高的问题,提出了深度多标签解析和哈希的服装检索算法。方法 该方法首先在FCN（fully convolutional network）的基础上加入条件随机场,对FCN的结果进行后处理,搭建了FCN粗分割加CRFs（conditional random fields）精分割的端到端的网络结构,实现了像素级别的语义识别。其次,针对跨场景服装检索的特点,我们调整了CCP（Clothing Co-Parsing）数据集,并构建了Consumer-to-Shop数据集。针对检索过程中容易出现的语义漂移现象,使用多任务学习网络分别训练了衣物分类模型和衣物相似度模型。结果 我们首先在Consumer-to-Shop数据集上进行了服装解析的对比实验,实验结果表明在添加了CRFs作为后处理之后,服装解析的效果有了明显提升。然后与3种主流检索算法进行了对比,结果显示,本文方法在使用哈希特征的条件下,也可以取得较好的检索效果。在top-5正确率上比WTBI（where to buy it）高出1.31%,比DARN（dual attribute-aware ranking network）高出0.21%。结论 针对服装检索的跨场景效果差、检索效率低的问题,本文提出了一种基于像素级别语义分割和哈希编码的快速多目标服装检索方法。与其他检索方法相比,本文在多目标、多标签服装检索场景有一定的优势,并且在保持了一定检索效果的前提下,有效地降低了存储空间,提高了检索效率。     

图像数据的结构化协同标注与检索

通过分析图像数据对语义信息的检索需求,提出一种表达图像信息的结构化方法,并定义一种根据图像中隐含语义信息来判定相似度的算法。该方法在一定程度上克服了基于内容的图像检索和基于文本的元数据图像检索这2种常用图像检索方法缺乏语义信息匹配上的不足。原型系统根据结构化协同标注中语义信息的丰富程度与图像检索的精确程度,证明了该方法的有效性。     

基于多尺度卷积特征融合的肺结节图像检索方法

为了解决肺结节图像检索中特征提取难度大、检索精度低下的问题,提出了一种深度网络模型——LMSCRnet用于提取图像特征。首先采用多种不同尺寸滤波器卷积的特征融合方法以解决肺结节大小不一引起的局部特征难以获取的问题,然后引入SE-ResNeXt块来得到更高级的语义特征同时减少网络退化,最后得到肺结节图像的高级语义特征表示。为满足现实中大数据量检索任务的需求,将距离计算及排序过程部署到Spark分布式平台上。实验结果表明,基于LMSCRnet的特征提取方法能够更好地提取图像高级语义信息,在肺结节预处理数据集LIDC上能够达到84.48%的准确率,检索精度高于其他检索方法,而且使用Spark分布式平台完成相似度匹配及排序过程使得检索方法能够满足大数据量检索任务需求。     

Joint semantics and feature based image retrieval using relevance feedback

Relevance feedback is a powerful technique for image retrieval and has been an active research direction for the past few years. Various ad hoc parameter estimation techniques have been proposed for relevance feedback. In addition, methods that perform optimization on multilevel image content model have been formulated. However, these methods only perform relevance feedback on low-level image features and fail to address the images' semantic content. In this paper, we propose a relevance feedback framework to take advantage of the semantic contents of images in addition to low-level features. By forming a semantic network on top of the keyword association on the images, we are able to accurately deduce and utilize the images' semantic contents for retrieval purposes. We also propose a ranking measure that is suitable for our framework. The accuracy and effectiveness of our method is demonstrated with experimental results on real-world image collections.