基于CNN特征和标签信息融合的图像检索

针对基于内容的图像检索(CBIR)中图像底层视觉特征与高层语义特征之间存在的"语义鸿沟"问题,提出了一种基于卷积神经网络(CNN)特征和标签信息融合的图像检索算法。首先使用CNN模型提取图像的CNN特征以及标签信息,然后使用余弦距离分别计算这两个特征的相似度,最后将这两个相似度进行加权融合,用作图像检索排序准则。在caltech101和caltech256数据集上分别进行实验,实验结果表明,所提算法加强了图像特征与高层语义的结合,大大提高了图像检索的查准率。     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性，提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制，利用双重注意力建立文本与图像之间的关联以增强文本语义；在图像语义增强模块引入保留强度和更新强度，控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估，实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

基于兴趣区域特征融合的半监督图像检索算法

提出一种融合底层特征、基于兴趣区域的半监督学习图像检索方法,实现了图像内容的语义关联。该方法首先划分图像兴趣区域,提取图像的综合底层特征,然后将其作为训练数据,对图像类别进行半监督学习,建立图像和类别的语义映射,最后分别采用二次式距离和改进的Canberra距离对图像底层特征进行度量,特征空间中图像类的区域中心用正反馈进行迭代更新。通过实验对比,该图像检索算法具有较高的准确率,优于传统的基于内容的图像检索算法。     

面向Web图像检索的语义关联多模态哈希方法

随着计算机网络和多媒体技术的迅猛发展,针对大规模多模态图像检索的需求变得越来越广泛。如何有效解决多模态性,语义鸿沟和大规模性已经成为Web图像检索中的三大重要挑战。最近提出的语义标注和哈希技术可以分别用来解决语义鸿沟和大规模性,但它们无法涵盖目前存在的所有问题。在本文中,我们提出了语义关联多模态哈希用于多模态图像检索,它能够综合语义学习和哈希技术的优点。首先,通过基于图学习的半监督学习来增强训练样本的语义。然后构造所有样本的语义关联并将其保存在哈希函数中。学习出的哈希函数能够将所有模态均映射到统一的哈希空间中,从而支持多模态检索。在两个真实图像数据集上的实验结果证明了所提出方法的检索效果和效率。此外,实验结果也证明学习语义关联能够提高检索效果。     

基于改进FCM算法和贝叶斯分类的图像自动标注

为跨越高层语义概念与底层视觉特征之间的语义鸿沟, 本研究提出一种新的图像自动标注方法。该方法首先采用灰度直方图方法对图像分割并提取图像区域的纹理特征, 然后利用FCM算法中增大关联度高的特征权重更好地实现对分割后图像区域的聚类效果。最后改进贝叶斯分类器建立图像区域和语义概念间的关联模型, 通过比较测试图像和训练图像间的最大相似度实现测试图像的自动标注。在Corel通用图像数据集上与其他几种方法进行了对比实验, 实验结果表明改进后的标注方法优于传统标注方法。     

一种基于视觉特征语义描述的图像分类检索方法

基于内容的图像检索技术克服了文本检索方式主观片面的缺陷,客观地描述了图像的本质特征,然而却丢掉了文本方式下对图像的语义描述,导致检索准确率降低.借鉴数据挖掘技术中的图像分类方法,提出了结合视觉特征与图像语义描述以提高检索系统性能的思想,主要进行了图像显著特征选择、图像分类算法特征约简以及检索系统优化设计3方面工作,以提高检索系统的人机界面和交互性能.     

基于多模态判别性嵌入空间的图像情感分析

为了解决图像情感分析中存在的情感鸿沟和大的类内方差问题,提出了一种可以同时利用视觉模态和文本模态之间的深度潜在关联、视觉模态的深度线性判别和图像中层语义融合的弱监督方法.利用多模态深度网络结构找到一个视觉模态和文本模态之间最大深度关联且视觉模态具有深度判别性的潜在嵌入空间,并在该潜在空间中将文本的语义映射特征迁移到图像的判别性视觉映射特征中;结合注意力机制,设计涵盖潜在空间中映射特征的注意力网络,用于情感分类.在真实数据集上的实验结果表明,所提出的方法获得了更好的情感分类准确率.     

基于数据挖掘的乳腺X线图像分类研究

研究了基于灰度空域统计特征以及灰度共生矩阵的医学乳腺X线图像的特征提取方法,以及这些特征对于数据挖掘中的两种算法——基于神经网络的算法和基于关联规则挖掘的算法在乳腺肿瘤检查和分类中的作用,结果表明这些特征在两种分类方法中均表现良好,对良性与恶性肿瘤分类的准确率均超过了75%.实验证明所提出的特征提取方法对于神经网络和关联规则的挖掘在乳腺X线图像分类中是有效的.     

基于模糊粗糙集的图像自动分类研究

如何使用图像底层特征有效表达高层语义是实现图像自动分类难以逾越的鸿沟。本文将模糊粗糙集理论引入图像自动分类,在使用图像底层特征表达高层语义的图像自动分类过程中,把高维特征向量处理、合适的描述符集合选择难题转换为模糊决策表,使用图像语义贴近度概念来检验图像特征属性间的数据依赖关系,以达到属性约简,剔除冗余信息和图像分类规则推导的目的,并定义了图像类别隶属度函数对图像进行分类。实验结果表明该图像分类系统的分类正确率达81.7%,说明该方法具有很好的精确性和有效性,能较好地实现图像自动分类。     

增强视觉特征的视觉问答任务研究

视觉问答是一种涉及计算机视觉和自然语言处理两大领域的学习任务。该任务融合视觉和语言的特征实现问答,是多模态研究的重要任务之一,已经成为人工智能领域的一个研究重点。通过对已有模型的分析,现有方法在进行图像特征表示时,仅仅只采用图像的网格特征、对象特征等整体视觉特征,而忽略了图像中对象本身以及不同对象之间的位置信息。提出在原有视觉特征的基础上,引入图像中每个对象的坐标信息,得到增强的视觉特征,使模型能够更加准确地学习图像中所蕴含的深层语义。在VQA-v2数据集上的对比实验证明,在图像特征中融入对象的坐标信息有效提高了本文模型的性能。     

一个语义制导的图像检索框架

基于语义分类的图像检索是根据图像的逻辑特征和抽象属性进行检索的技术,给出了一个语义制导的图像检索框架,它在图像、图像语义和视觉特征之间建立了联系,兼顾了基于文本和基于内容的两种图像检索方式.     

使用加权图像标注改进Web图像检索

为了提高Web图像的检索质量,提出了一种融合文本关键字和图像视觉内容的Web图像检索方法.通过改进的图像自动标注模型,将Web图像本身所蕴含的低层视觉特征映射到图像高层语义特征,即图像文本标注;再将词汇相似性计算技术作为语义信息的度量手段,将图像文本标注转换成带有权重的文本标注;利用贝叶斯推理网检索模型内在的多信息融合能力,将带权重的Web图像文本标注特征和Web文档中的文本信息无缝地融合在一起实现Web图像检索.实验结果表明,将Web中的文本关键字和Web图像视觉内容融合起来可在一定程度上提高Web图像检索质量.     

基于 global-local feature和 adaptive-attention的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

基于全局?局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法. 在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能. 实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

基于 global-local feature和 adaptive-attention的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

一种基于反馈的JPEG图像检索研究

基于内容的图像检索研究的焦点是应用最初发源于文本文档检索的相关反馈技术来提高检索性能.但这一技术没有能够填补底层图像特征和高层语义内容之间的空白,这一空白被认为是CBIR的瓶颈,也是图像压缩和视屏检索的瓶颈.阐述了在DCT域中进行图像检索的基本方法和相关反馈的当前发展状况,并提出一个在CBIR中集成相关反馈的框架算法.     

基于深度特征聚类的海量人脸图像检索

针对海量人脸图像数据库检索时长的问题,提出了一种基于深度特征聚类的海量人脸图像检索算法.该算法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸图像分类训练,在此基础上采用三元组损失方法对已训练好的人脸图像分类网络模型进行微调,使得网络能够更加有效地提取人脸图像的高层语义特征,构建更具有表征性的人脸图像深度特征.其次采用K-means聚类算法对提取的人脸图像深度特征进行聚类,使得同一个人的人脸图像能够划分到同一簇中,然后在相应的簇中进行人脸图像的深度特征相似度匹配执行人脸图像检索任务.为了进一步提高系统的检索性能,提出人脸图像深度特征融合的查询扩展方法,对待检索的人脸图像深度特征进行融合再次执行检索任务得到最终的检索结果.通过在两个人脸检索数据集(Celebrities Face Set和Labeled Faces in the Wild dataset)上进行详尽实验验证,结果表明,该算法能极大地缩小海量人脸图像数据库的检索范围,在保证一定准确率的前提下有效地提高了人脸图像检索的速度.     

基于最优特征加权的图像分类算法

通过研究图像分类过程中特征选择和分类器构建问题,提出了一种基于最优特征加权的图像分类算法.首先提取图像的颜色和纹理特征,接着采用混沌粒子群优化算法对特征的权值进行求解,确定每一个特征对图像分类的贡献,最后采用相关向量机对加权的图像样本集进行学习,构建分类器,从而实现图像的分类.实验结果表明,相对于当前较流行的图像分类模型,该模型不仅能够提高图像的分类准确率,而且能够大幅度减少了图像的分类时间,具有一定的实际应用价值.     

基于多类神经网络机的自然图像分类

基于底层视觉特征把图像分为具有特定意义的类别，对于基于内容的图像检索意义重大。因为在这种分类基础上，可以在图像库中建立一种有效的索引机制。在底层视觉特征方面．文中主要提取了图像的主颜色特征和GABOR纹理特征，然后．提出了一种多类神经网络机用于图像的分类。在一个含有4000幅的图像库中，实验结果证明这种方法可以达到70％以上的准确率。     

基于感知特性的动态相似度量

在基于内容的图像检索中，常用的Minkowski距离还不能实现与视觉感知距离的精确匹配。依据韦伯-费克纳法则，提出一种基于感知特性的相似度量算法。通过构造动态感知因子，新算法能够有效地降低相关图像相关特征之间的距离，从而提高相似度量与感知系统相似评价的一致性。实验证明：新算法能有效降低相关图像在检索结果中相似排序的序数，有效地提高检索效率。