基于 global-local feature和 adaptive-attention的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

基于全局?局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法. 在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能. 实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.     

基于视觉关系推理与上下文门控机制的图像描述

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块. 该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出. 通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献. 实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.     

基于双向特征金字塔和深度学习的图像识别方法

图像物体识别与检测(图像识别)是计算机视觉领域的一个基础性任务.近年来,深度神经网络等推进了图像物体识别的发展.多尺度问题是图像识别的难点问题之一.引入特征金字塔是解决图像多尺度物体识别的有效途径之一.然而,现有基于特征金字塔的方法大多采用自上而下的语义特征信息融合方式,无法提升大尺度物体识别的精确率.为解决该问题,提...     

基于CNN特征和标签信息融合的图像检索

针对基于内容的图像检索(CBIR)中图像底层视觉特征与高层语义特征之间存在的"语义鸿沟"问题,提出了一种基于卷积神经网络(CNN)特征和标签信息融合的图像检索算法。首先使用CNN模型提取图像的CNN特征以及标签信息,然后使用余弦距离分别计算这两个特征的相似度,最后将这两个相似度进行加权融合,用作图像检索排序准则。在caltech101和caltech256数据集上分别进行实验,实验结果表明,所提算法加强了图像特征与高层语义的结合,大大提高了图像检索的查准率。     

面向场景解析的空间结构化编码深度网络

为了研究有效的特征提取和精确的空间结构化学习对提升场景解析效果的作用,本文提高出基于全卷积神经网络空间结构化编码深度网络,网络内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法,算法能够比较准确地描述物体所处空间的物体分布以及物体间的空间位置关系。通过空间结构化编码深度网络,网络不仅能够提取包含多层形状信息的多维视觉特征,而且可以生成包含结构化信息的空间关系特征,从而得到更为准确表达图像语义信息的混合特征。实验结果表明:在SIFT FLOW和PASCAL VOC 2012标准数据集上,空间结构化编码深度网络较现有方法能够显著地提升场景解析的准确率。     

多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题,以生成对抗网络为基础,提出一种多尺度语义学习的编解码人脸图像修复模型.首先,将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量,用不同尺寸的卷积核提取多尺度特征,通过提取合适的局部特征来提升修复结果的细节;其次,将提取的多尺度特征输入至语义学习模块,从通道和空间两个角度学习特征之间的语义关系,从而增强修复结果的全局一致性;最后,引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失,改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验,结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升,修复的结果在视觉上局部细节和全局语义更合理.     

基于类激活映射-注意力机制的图像描述方法

基于软注意力机制的图像描述算法,提出类激活映射-注意力机制的图像描述方法。利用类激活映射算法得到卷积特征包含定位以及更丰富的语义信息,使得卷积特征与图像描述具有更好的对应关系,解决卷积特征与图像描述的对齐问题,生成的自然语言描述能够尽可能完整的描述图像内容。选择双层长短时记忆网络改进注意力机制结构,使得新的注意力机制适合当前全局和局部信息的特征表示,能够选取合适的特征表示生成图像描述。试验结果表明,改进模型在诸多评价指标上优于软注意力机制等模型,其中在MSCOCO数据集上Bleu-4的评价指标相较于软注意力模型提高了16.8%。类激活映射机制可以解决图像空间信息与描述语义对齐的问题,使得生成的自然语言减少丢失关键信息,提高图像描述的准确性。     

一种基于视觉特征语义描述的图像分类检索方法

基于内容的图像检索技术克服了文本检索方式主观片面的缺陷,客观地描述了图像的本质特征,然而却丢掉了文本方式下对图像的语义描述,导致检索准确率降低.借鉴数据挖掘技术中的图像分类方法,提出了结合视觉特征与图像语义描述以提高检索系统性能的思想,主要进行了图像显著特征选择、图像分类算法特征约简以及检索系统优化设计3方面工作,以提高检索系统的人机界面和交互性能.     

基于空间位置关系改进的物体识别上下文模型

常见的物体识别算法是基于图像局部低维特征的,在图像成像质量较差、分辨率较低情况下存在不确定和歧义性;图像上下文包含了场景信息以及物体之间彼此关联的丰富信息,可作为图像低维特征补充从而有助于提高物体识别率。该文在已有上下文模型基础上,进一步考虑了物体的空间位置关系信息,将图像全局特征、物体同现性关系和空间位置关系信息、局部检测器输出整合到同一个概率框架中,并充分利用树结构图模型高效推理的优势,改进了物体识别性能。最后通过标准图像集进行算法验证测试和对比来说明该文算法的有效性。     

使用加权图像标注改进Web图像检索

为了提高Web图像的检索质量,提出了一种融合文本关键字和图像视觉内容的Web图像检索方法.通过改进的图像自动标注模型,将Web图像本身所蕴含的低层视觉特征映射到图像高层语义特征,即图像文本标注;再将词汇相似性计算技术作为语义信息的度量手段,将图像文本标注转换成带有权重的文本标注;利用贝叶斯推理网检索模型内在的多信息融合能力,将带权重的Web图像文本标注特征和Web文档中的文本信息无缝地融合在一起实现Web图像检索.实验结果表明,将Web中的文本关键字和Web图像视觉内容融合起来可在一定程度上提高Web图像检索质量.     

基于SURF算法的服装视觉图像检索研究

提出了基于SURF算法的服装视觉图像检索系统,使用实时、丰富的移动视觉图像进行服装信息的检索.首先对移动端视觉图像进行预处理,然后利用SURF算法完成服装视觉图像特征检测、特征信息描述和特征匹配,从而完成检索.对SURF-36,SURF-64和SURF-100描述向量的匹配效率、匹配准确度等方面进行试验.结果表明,SURF-64能够在效率与准确度之间达到很好的平衡,较快、较好地完成服装视觉图像的检索.     

物体分类识别中视觉词汇生成方法研究

针对目前Bag of words模型将聚类中心作为视觉单词,而导致语义信息表达不完全的问题,提出了一种新的改进的视觉词汇生成方法。首先,提取图像的SIFT特征点并聚类;然后利用核函数进行核密度估计,选取每个聚类中若干个有代表性的特征点;最后,通过SVM训练生成视觉词汇。实验结果表明,改进后的视觉词汇生成方法,在物体分类识别中,与以聚类中心为视觉单词的生成方法相比,增强了语义信息的表达,提高了查全率,使得物体分类识别率大大增加。     

一种二值图像物体形状特征计算方法

二值图像连通域(物体)的形状特征(面积、周长、圆形度和重心等)在物体识别、文档图像分析等计算机视觉领域有着广泛的应用.在进行连通域形状特征的计算时,首先要使用连通域标记算法将每个连通域用不同标号标记,再计算每个连通域的形状特征.针对现有的相关算法只能计算没有孔洞的连通域的形状特征的问题,提出一种可以计算含有孔洞的物体的形状特征的算法.在基于边界追踪的连通域标记算法的基础上,在进行连通域标记的同时融合形状特征的计算.算法在线性时间内完成且所需内存空间小.实验结果表明,算法能正确地、有效地计算含有孔洞的物体的形状特征.     

基于注意力机制与多尺度融合学习的车辆重识别方法

在车辆重识别任务中,通常会出现相机角度变化和场景变化等情况,导致重识别准确率降低,为此提出了一种基于注意力与多尺度融合学习的车辆重识别方法,在多尺度下提取并融合浅层细节信息和深层语义信息。首先,构造一种深度学习网络,通过注意力机制学习车辆图像的显著性特征;然后,在多个尺度下对描述车辆身份的信息进行提取,将浅层表达的细节信息和深层表达的语义信息相融合构造空间特征;其次,对空间特征进行分解与重组,得到具有空间鲁棒性的局部特征,并与全局特征融合,构造车辆身份重识别特征;最后,利用该特征计算不同车辆图像间相似度,判断是否具有相同的身份。实验结果表明:在VeRi-776数据集上测试得到的Rank-1指标达到了94.0%,mAP指标达到了72.2%,表明该方法在相机角度变化、场景变化等情况下可以有效提高车辆重识别的准确率。     

基于改进纹理特征的现堪图像检索算法

针对灰度共生矩阵缺少图像纹理的整体空间分布特征与双树复小波变换对图像结构细节敏感的缺陷,提出一种融合图像空间分布与结构细节的纹理特征提取算法,应用于现堪图像检索。首先,利用灰度共生矩阵与双数复小波提取图像的纹理信息;然后,将图像均匀分块,分别计算各个块的角点疏密度和纹理细节特征并级联,以此组成图像的空间分布特征和结构细节特征;最后,对纹理信息融合图像的空间分布特征与结构细节特征,完成现堪图像的纹理特征提取。在现堪图库上的检索实验结果表明,该算法能更全面的描述图像的纹理内容,并且可有效提升现堪图像检索算法的检索准确率。     

基于多尺度融合的遥感图像变化检测模型

为精准识别双时相遥感图像的变化区域,提出了一种基于多尺度融合的遥感图像变化检测模型。该模型在源图像特征提取阶段构造多尺度输入金字塔,接受多层次的感受野,增强对特征信息的感知;并通过对深层差异特征进行多尺度计算,实现精准定位变化区域与充分挖掘细节信息间的平衡;同时融合网络不同层级的差异特征检测结果,极大程度识别并保留语义变化信息。实验结果表明：本文模型在主观评价与客观指标上都具有良好的表现效果。     

一种语义级文本协同图像识别方法

为解决单纯依赖图像低级视觉模态信息进行图像识别准率低的问题. 考虑到许多图像中存在文本信息,提出了利用图像中的文本信息辅助图像识别的语义级文本协同图像识别方法. 该方法通过文本定位方法定位到图像中的文本块,对其进行分割、二值化、提取特征等处理;然后获取语义,提取图像底层视觉信息,计算两模态的相关性,从而得到协同后验概率; 最后,得到联合后验概率,并取其中最大联合后验概率对图像进行识别. 在自建体育视频帧数据库中,通过与以朴素贝叶斯为代表的单模态方法进行比较,方法在3种不同视觉特征下均具有更高的准确率. 实验结果表明,文本协同方法能够有效辅助图像识别,具有更好的识别性能.     

基于自适应多特征表观模型的目标压缩跟踪

针对压缩跟踪算法中表观模型的视觉表达特征单一、统计模型缺乏柔性的问题,提出一种自适应的多特征表观建模方法.该方法引入了对梯度、边缘等图像细节描述能力更强的Surf特征,并通过构建两级观测矩阵解决多维特征的观测问题,与亮度特征进行融合,使视觉表达更加丰富、全面;通过计算正负样本特征所服从的概率分布曲线的Hellinger距离,分析特征对目标和背景的区分能力,自适应地调整统计模型中各特征之间的权重,使统计模型能更好地利用对目标跟踪有益的信息,根据目标和背景的变化及时进行更新.实验结果表明:该自适应多特征表观模型能更加准确地描述实际场景中目标和背景的复杂变化,在保持高效率的同时,极大地提高了跟踪算法的鲁棒性和准确性.