融合稀疏编码与深度学习的草图特征表示

针对小数据集下单纯使用深度学习方法的草图特征提取可分辨性低下的问题,提出一种融合稀疏编码和深度学习的草图特征表示方法.该算法首先对草图进行语义分割;然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心;最后利用部件聚类中心向量初始化稀疏编码中的字典,交替迭代求取获得最终的草图特征.不同于以往的草图特征表示方法,将迁移深度学习获得的草图部件特征引入到稀疏编码中,作为字典的初始基向量,将语义信息融入到稀疏编码,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性.实验结果显示,所提方法下的草图识别率高于采用传统非深度学习和深度学习方法提取的草图特征的草图识别率.     

基于深度学习的草图分割算法综述

草图一直是人类传递信息的重要工具之一.草图可以通过简单明了的形式更快地表达人类的一些复杂思想,因此,草图处理算法一直是计算机视觉领域的研究热点之一.目前,对草图的研究主要集中在识别、检索和补全等方面.随着研究者对于草图细粒度操作的重视,对草图分割方面的研究也得到越来越多的关注.近年来,随着深度学习与计算机视觉技术的发展,出现了大量基于深度学习的草图分割方法,草图分割的精确度和效率也都得到了较大提升.但是,由于草图自身的抽象性、稀疏性和多样性,草图分割仍然是一个非常具有挑战性的课题.对基于深度学习的草图分割算法进行整理、分类、分析和总结,首先阐述了3种基本的草图表示方法与常用的草图分割数据集,再按草图分割算法的预测结果分别介绍了草图语义分割、草图感知聚类与草图解析算法,然后在主要的数据集上收集与整理草图分割算法的评测结果并对结果进行分析,最后总结了草图分割相关的应用并探讨未来可能的发展方向.     

基于深度学习的图像语义分割方法综述

近年来,深度学习技术已经广泛应用到图像语义分割领域.主要对基于深度学习的图像语义分割的经典方法与研究现状进行分类、梳理和总结.根据分割特点和处理粒度的不同,将基于深度学习的图像语义分割方法分为基于区域分类的图像语义分割方法和基于像素分类的图像语义分割方法.把基于像素分类的图像语义分割方法进一步细分为全监督学习图像语义分割方法和弱监督学习图像语义分割方法.对每类方法的代表性算法进行了分析介绍,并详细总结了每类方法的基本思想和优缺点,系统地阐述了深度学习对图像语义分割领域的贡献.对图像语义分割相关实验进行了分析对比,并介绍了图像语义分割实验中常用公共数据集和性能评价指标.最后,预测并分析总结了该领域未来可能的研究方向及相应的发展趋势.     

基于深度卷积-递归神经网络的手绘草图识别方法

针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征,而忽略了草图中笔画的顺序信息的问题,利用手绘草图的笔画顺序信息,将深度卷积神经网络与递归神经网络相结合,提出一种基于深度卷积-递归神经网络的手绘草图识别方法.首先按照绘画草图时的笔画顺序提取笔画,生成多幅子笔画草图,并形成一个笔画数依次递增的子笔画草图序列;然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征,并将提取的图像特征按照原先子笔画草图排列的顺序进行排序,作为递归神经网络的输入;最后利用递归神经网络来构建不同图像特征间的时序关系,以提高手绘草图的识别准确率.在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明,文中方法能有效地提升手绘草图的识别准确率.     

联合语义部件的鸟类图像细粒度识别

由于子类别的高度相似性引起的类间微小差异,以及姿态、尺度和旋转方面的类内变化,使得细粒度图像识别成为一个具有挑战性的计算机视觉问题.为了对鸟类图像进行细粒度识别,提出一种联合语义部件的深度卷积神经网络模型.该模型由2个子网络组成:一个是语义部件检测子网,使用深度残差网络对鸟类图像语义部件进行精确定位;另一个是分类子网,使用三路深度残差网络对检测子网检测到的语义部件进行联合分类.收集了一个新的鸟类图像数据集YUB-200-2017,用于鸟类图像细粒度识别实验.结果表明,在YUB-200-2017和CUB-200-2011数据集上,文中方法具有较高的语义部件检测精度和识别准确率.     

深度卷积神经网络图像实例分割方法研究进展

图像实例分割是图像处理和计算机视觉技术中关于图像理解的重要环节,随着深度学习和深层卷积神经网络日趋成熟,基于深度卷积神经网络的图像实例分割方法取得了跨越性进展.实例分割任务实际上是目标检测和语义分割两项任务的结合,可以在像素层面完成识别图像中目标轮廓的任务.实例分割不仅可以定位图像中目标的位置,从像素层面上分割所有目标...     

图像区域粗糙分割情况下的区域物体分类

提出一种改进的语义物体分类方法,可在图像区域分割结果不精确的情况下,对图像区域进行分类.结合统计文本分析中的bag-of-words方法与多示例学习,将图像区域物体切分为若干小图像块,提取图像区域物体的图像特征作为其粗糙语义概念并计算置信度;根据粗糙语义概念进一步提取出各种区域物体类型的语义特征作为其特征语义概念;使用分类器对特征语义概念进行学习,实现了对区域物体的分类.实验结果表明,采用文中方法可在分割粗糙的图像区域上获得很好的区域物体分类准确率.     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

基于深度学习的图像语义分割算法综述

随着自动驾驶及虚拟现实技术等领域的发展,图像语义分割方法受到越来越多的计算机视觉和机器学习研究人员的关注。首先介绍了图像语义分割领域的常用术语以及需要了解的背景概念,并介绍语义分割问题中几种经典的深度学习算法,如全卷积神经网络(FCN)、Deeplab等。最后针对当前图像语义分割算法的应用,总结展望未来研究方向。     

深度神经网络图像语义分割方法综述

图像语义分割是计算机视觉领域近年来的热点研究课题,随着深度学习技术的兴起,图像语义分割与深度学习技术进行融合发展,取得了显著的进步,在无人驾驶、智能安防、智能机器人、人机交互等真实场景中应用广泛。首先对应用于图像语义分割的几种深度神经网络模型进行简单介绍,接着详细阐述了现有主流的基于深度神经网络的图像语义分割方法,依据实现技术的区别对图像语义分割方法进行分类,并对每类方法中代表性算法的技术特点、优势和不足进行分析与总结。之后归纳了图像语义分割常用的大规模公共数据集和性能评价指标,并在此基础上对经典的语义分割方法的实验结果进行了对比,最后对语义分割领域未来可行的研究方向进行展望。     

结合图元与感知哈希的手写输入简笔画识别

目的 为了克服手写输入中随意性强和自由度大的缺陷,同时兼顾简笔画的整体属性和局部特征,提出一种基于图元识别与感知哈希技术相结合的手写输入简笔画二级识别算法。方法 首先提取笔画的几何特征、笔序特征及结构特征且进行识别,然后查找由图元信息、笔画结构信息和笔序信息构成的简笔画语义库,完成由规则的几何图元构成的简笔画识别;若未被识别,则生成简笔画图像,利用感知哈希技术完成简笔画图像的识别。结果 基于本文提出的简笔画识别方法,实现了对样本库中150种简笔画对象的识别,平均识别率为82.6%。结论 实验结果表明,对于不同用户手写输入的任意样本库中的简笔画,该方法具有较高的识别率,此外,还可以通过在简笔画语义库和样本库中增加简笔画的种类等方式实现对更多种类简笔画的扩展识别。     

基于树形语义框架的神经语义解析方法

语义解析的目标是将自然语言表达映射为机器可理解的逻辑表达,该任务的关键挑战在于难以刻画自然语言中蕴含的组合语义。目前,结合深度神经网络模型的语义解析方法已经成为该领域的主流方法,该类方法通常采用编码器—解码器框架,通过设计树形结构的解码器或者在解码器中添加语法限制,从语法层面上提升逻辑表达生成的准确率。与现有的神经语义解析方法不同,该文从语义建模角度出发,以语义框架作为中间形式,通过自顶向下的生成方式,显式地建模自然语言表达中蕴含的层次化语义结构。模型先根据自然语言输入,自顶向下地生成语义框架,再将语义框架表示融入到逻辑表达的生成过程中。三个数据集上的实验结果表明,该文提出的模型能更准确地生成语义框架,并且在语义解析任务中取得更好的效果。     

草图理解技术研究进展

本文概述了草图理解技术(包括草图识别和语义理解)的现状。首先，草图识别包括预处理和图形识别．根据各种图形处理机制，介绍了四种图形识别方法：基于笔划的、基于图元的、基于几何特征的、基于组合图形的。其次．深入分析了几个语义理解方法，一般包括三个环节：语义获取关系分析和高层应用。最后，本文提出了几何模型、用户模型和领域模型。讨论了草图理解中的主要问题并给出初步解决方案。     

基于跨模态自蒸馏的零样本草图检索

零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像。因此,这个任务同时面临两个挑战：草图和图像之间的模态差异以及可见类和未见类的不一致性。过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入（如词向量和词相似度）来弥合可见类和未见类的语义不一致。在本文中,我们提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练。具体而言,我们首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络。然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性。为了进一步提升知识在草图模态内的集成和传播,我们进一步地提出草图自蒸馏。通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性。我们在三个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了我们提出的跨模态自蒸馏方法与当前方法相比较的优越性。     

基于时序特征的草图识别方法

草图识别是一项很具有挑战性的工作。目前,大部分草图识别的工作都将草图当作普通的纹理图像,忽视了草图的时序性。因此,文中通过挖掘草图的时序性,将草图笔画按照时间分组。为进一步利用时序特征在草图识别过程中的作用,使用了循环神经网络将笔画分组按照时间序列作为输入,最后使用联合贝叶斯将各个时序下获得的草图特征进行整合,完成草图的识别工作。在公开标准数据集上对所提算法进行了测试,实验结果显示该算法的识别准确率明显高于其他算法。     

基于双层级联GAN的草图到真实感图像的异质转换

不同于pix2pix框架将边缘线条图转换为真实感图像的工作,文中探讨更便于人机交互的手绘草图到真实感图像的转换问题.首先设计双层级联生成对抗网络(GAN)结构实现转换任务.第一层GAN根据草图的形态结构、语义内容等信息生成粗粒度真实感图像,第二层GAN将第一层的结果转换为更生动形象的高分辨真实感图像.然后,针对上述网络训练中现有可用的“草图-图像”数据集十分稀缺的问题,提出依据给定的图像自动生成模拟草图数据的方法.通过改进HED边缘检测算法获得草图轮廓,并采用移动最小二乘策略对轮廓进行变形,模拟草图形态意向可辨、线条简洁、具有随意性的特点.实验表明,将手绘草图作为输入,文中方法转换结果图的合理性和视觉真实感优于基于边缘线条图训练的方法.此外,文中方法可以推广到涉及草图处理的其它应用领域.     

结合细粒度特征与深度卷积网络的手绘图检索

目的 传统的手绘图像检索方法主要集中在检索相同类别的图像，忽略了手绘图像的细粒度特征。对此，提出了一种新的结合细粒度特征与深度卷积网络的手绘图像检索方法，既注重通过深度跨域实现整体匹配，也实现细粒度细节匹配。方法 首先构建多通道混合卷积神经网络，对手绘图像和自然图像分别进行不同的处理；其次通过在网络中加入注意力模型来获取细粒度特征；最后将粗细特征融合，进行相似性度量，得到检索结果。结果 在不同的数据库上进行实验，与传统的尺度不变特征（SIFT）、方向梯度直方图（HOG）和深度手绘模型Deep SaN（sketch-a-net）、Deep 3DS（sketch）、Deep TSN（triplet sketch net）等5种基准方法进行比较，选取了Top-1和Top-10，在鞋子数据集上，本文方法Top-1正确率提升了12%，在椅子数据集上，本文方法Top-1正确率提升了11%，Top-10提升了3%，与传统的手绘检索方法相比，本文方法得到了更高的准确率。在实验中，本文方法通过手绘图像能在第1幅检索出绝大多数的目标图像，达到了实例级别手绘检索的目的。结论 提出了一种新的手绘图像检索方法，为手绘图像和自然图像的跨域检索提供了一种新思路，进行实例级别的手绘检索，与原有的方法相比，检索精度得到明显提升，证明了本文方法的可行性。