基于NSCT边缘直方图的草图检索

基于草图的图像检索,存在着大量的应用空间。针对查询草图和数据库图像的差异,提出了一种利用非降采样Cotourlet（NSCT）变换和边缘直方图的草图检索算法。利用NSCT变换分解图像,对所有子带进行边缘检测,提取子带的边缘直方图用来作为描述图像和草图的特征。将该方法与边缘直方图比较实验表明,其检索效果更准确。     

基于空间注意力下边缘图融合的草图图像检索

基于草图的图像检索任务根据用户提供的手绘草图,从图像数据库中检索得到与该草图对应的自然图像.与传统基于内容的图像检索不同,草图和自然图像间存在明显的域差异,这使得二者的特征难以直接进行比较.针对自然图像边缘图和草图的相似性,提出了空间注意力下的边缘图融合模型,将自然图像和对应的边缘图分别编码到各自的特征空间,再通过空间注意力掩膜进行加权融合,进而用于草图图像检索.所提模型可以更有效地编码物体边缘轮廓的特征,分别在Sketchy和Flickr15K数据集的草图图像检索任务上取得了比前人方法更高的Recall@1和MeanAP指标.     

基于时序特征的草图识别方法

草图识别是一项很具有挑战性的工作。目前,大部分草图识别的工作都将草图当作普通的纹理图像,忽视了草图的时序性。因此,文中通过挖掘草图的时序性,将草图笔画按照时间分组。为进一步利用时序特征在草图识别过程中的作用,使用了循环神经网络将笔画分组按照时间序列作为输入,最后使用联合贝叶斯将各个时序下获得的草图特征进行整合,完成草图的识别工作。在公开标准数据集上对所提算法进行了测试,实验结果显示该算法的识别准确率明显高于其他算法。     

基于草图纹理和形状特征融合的草图识别

人类具有很强的草图识别能力. 然而, 由于草图具有稀疏性和缺少细节的特点, 目前的深度学习模型在草图分类任务上仍然面临挑战. 目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异. 提出一种端到端的手绘草图识别模型, 简称双模型融合网络, 它可以通过相互学习策略获取草图的纹理和形状信息. 具体地, 该模型由2个分支组成: 一个分支能够从图像表示(即原始草图)中自动提取纹理特征, 另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征. 此外, 提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性, 这样可以保证2个分支关注相同的判别性区域. 最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化. 在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验, 评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.     

在线多笔画重复绘制草图的判定与聚类

多笔画重复绘制是设计师传递设计意图的常用方式,为在手绘图识别系统中支持多笔画重复绘制,提出一种将在线多笔画重复绘制草图解释为二维线图的判定与聚类算法.首先通过笔画逼近折线段的折点序列,构造一个带圆弧过渡的等距边线围成的多边形区域作为笔画容差带;然后利用2条笔画之中最小包络矩形面积较小的笔画的采样点落入另一条笔画的容差带的个数,进行多笔画重复绘制的快速判定;最后提出将草图分成若干个子草图的聚类算法,根据子草图中笔画的单笔画识别结果将子草图分为同类型子草图和混合类型子草图,并给出相应的子草图拟合方法.通过自主开发的FSR_DJ原型系统对文中算法加以验证的结果表明,该算法能有效地解决多笔画重复绘制草图的识别问题,为后期手绘图的识别研究奠定了基础.     

基于卷积神经网络的遮挡目标图像检测识别技术研究

为了尽可能降低图像目标的重复识别概率、错误率,提出了利用卷积神经网络算法对图像识别信息的重复识别进行分析的实验研究。遮挡目标的数据集经过图像增强后输入给卷积层卷积,初始化得到的图像数据经过卷积层卷积后,提交至池化层进行进一步处理,提取图像特征数据,将提取的图像特征数据经过池化层处理后进行压缩,提取遮挡目标的关键特征信息。最后经过TensorFlow深度机器学习框架的实验测试,进一步证明使用注意模块后可以通过引导网络去关注被遮挡目标图像上的可视细节部分,并完善对遮挡目标图像检测进行验证研究。     

HOG的一种改进算法在人脸检测上的应用

针对传统HOG算法只使用梯度信息来描绘图像和提取图像特征,从而在进行图像检测与图像识别时正确率较低等问题,提出了一种改进的HOG算法.首先在图像上利用HOG算法提取特征,然后在原始图像进行全局归一化后,把图像切割成一个个独立的单元,并提取出每一个单元的均值,方差以及与标准人脸的差值信息,最后将所有单元提取出的信息排列成向量再与原始的HOG特征进行结合.通过在LWF数据集上对两种算法进行了对比实验,证明图像在进行不同数量的单元划分情况下,新算法的正确率要优于原始HOG算法.     

基于多尺度HOG的草图检索

草图检索是图像处理领域中的重要研究内容。提出了一种将高斯金字塔和局部HOG特征融合的特征提取改进方法,并将其用于草图检索。采用高斯金字塔将图像分解到多尺度空间,在所有尺度上进行兴趣点提取,获得基于兴趣点的多尺度HOG特征。利用图像的多尺度HOG特征集生成视觉词典,最终形成与视觉词典相关的特征描述向量,通过相似度匹配实现草图检索。将该算法与单一尺度下的HOG算法及其他几种算法比较,实验结果表明了其可行性和有效性。     

笔输入草图的分层识别

针对计算机支持的草图设计技术中的草图识别这个核心问题，给出了一套分步逐层的识别方案：从原始笔划的在线识别与线元转换，到几何层基于上下文的草图规整，到语义层基于领域知识的草图理解．整个识别过程通过一个带有黑板的知识库系统实现，逐步有效地解决了草图的模糊性与不确定性，将原始草图转换为精确的几何图形．文中方法已经过原型草图工具系统ISID的验证，并取得良好效果．     

一种用于快速草图设计的草图单元特征插入法

具有局部相似结构的复杂零件草图,其草图几何以及施加的约束重复操作,设计效率低下。文章提出了一种草图单元特征插入的新方法,把局部相似部分作为一个二维单元特征加入到当前设计的草图中,从而提高参数化设计程度和设计效率。分析了草图单元特征的特点,提出了关键技术的解决方法,最后给出了一个实例验证。     

草图理解技术研究进展

本文概述了草图理解技术(包括草图识别和语义理解)的现状。首先，草图识别包括预处理和图形识别．根据各种图形处理机制，介绍了四种图形识别方法：基于笔划的、基于图元的、基于几何特征的、基于组合图形的。其次．深入分析了几个语义理解方法，一般包括三个环节：语义获取关系分析和高层应用。最后，本文提出了几何模型、用户模型和领域模型。讨论了草图理解中的主要问题并给出初步解决方案。     

基本形及其在概念交通工具创意草图设计中的运用

概念交通工具造型创新是形态创新的过程,创意草图是形态推演的常用手段。在了解基本形概念、形体组合方式的基础上,结合造型形态的设计原则,对基本形的绘制原则和方法进行分析。通过案例的设计应用,阐述了基本形的抽象性、发散性与概念交通工具造型设计具有适应性和可应用性,为概念交通工具创意草图设计提供了较为可行的方法。     

基于空间关系的手绘草图检索

手绘草图是人类最自然的人机交互方式,在普适计算模式下手绘草图将得到越来越多的应用,手绘草图的检索也成为一个新的课题。本文提出一种高效的草图检索方法,该方法以独立于用户绘制习惯的手绘草图统一表示为基础,以手绘草图空间关系为检索相似度匹配特征,并采用特征点调整的相关反馈机制优化检索结果。实验表明本文提出的方法具有很好的检索效果。     

Sketch recognition by fusion of temporal and image-based features

The increasing availability of pen-based hardware has recently resulted in a parallel growth in sketch-based user interfaces. Sketch-based user interfaces aim to combine the expressive power of free-hand sketching with the processing power of computers. Most sketch-based systems require intelligent ink processing capabilities, which makes the development of robust sketch recognition algorithms a primary concern in the field. So far, the research in sketch recognition has produced various independent approaches to recognition, each of which uses a particular kind of information (e.g., geometric and spatial constraints, image-based features, temporal stroke-ordering patterns). These methods were designed in isolation as stand-alone algorithms, and there has been little work treating various recognition methods as alternative sources of information that can be combined to increase sketch recognition accuracy. In this paper, we focus on two such methods and fuse an image-based method with a time-based method in an attempt to combine the knowledge of how objects look (image data) with the knowledge of how they are drawn (temporal data). In the course of combining spatial and temporal information, we also introduce a mathematically well founded fusion method for combining recognizers. Our combination method can be used for isolated sketch recognition as well as full diagram recognition. Our evaluation with two databases shows that fusing image-based and temporal features yields higher recognition rates. These results are the first to confirm the complementary nature of image-based and temporal recognition methods for full sketch recognition, which has long been suggested, but never supported by data.     

手绘草图识别中的相关反馈方法

手绘草图是人类思维外化和表达设计意图的有效工具之一,手绘草图的模糊性和用户适应性问题是草图识别中的关键问题。本文提出了将相关反馈机制引入到手绘草图识别中以捕捉用户意图的方法,该方法以抽取手绘草图的向量化特征为基础,首先利用基于图形特征的相似度计算,给出手绘草图候选识别结果集,然后借助用户对识别结果的相关性评价,通过逐渐调整图形构成特征的权重来捕捉用户输入意图,并提高识别效果。实验表明本文所提出的方法具有很好的效果。     

数据流复杂查询处理的研究

在连续的数据流上提供查询的应答对很多应用环境来说是一个极为重要的需求。本文主要探索了如何使用有限的内存在数据流上进行聚集SQL查询，以获得近似的结果。使用随机草图技术，计算非常小的数据流草图，以获得泉集查询的近似结果，并保证误差能在一定的范围之内。并讨论了．在草图方法中如何利用已有的直方图统计信息来提高应答的质量。其关键的思想就是对属性域进行智能化的划分，分解草图化问题，确保所获得查询的结果具有合适的近似精度。不论从理论还是实验上都可以证明草图提供的聚集查询结果比传统的直方图更有效、更精确。     

面向细粒度草图检索的对抗训练三元组网络

将草图作为检索示例用于图像检索称之为基于草图的图像检索.在这其中,细粒度检索问题或类内检索问题是2014年被研究者提出并快速成为广受关注的研究方向.目前研究者通常用三元组网络来解决类内检索问题,且取得了不错的效果.但是三元组网络的训练非常困难,很多情况下很难收敛甚至不收敛,且存在着容易过拟合的风险.本文借鉴循环生成对抗训练的思想,设计了SketchCycleGAN帮助提高三元组网络训练过程的效率,以对抗训练的方式使其参与到三元组网络的训练过程中,通过充分挖掘数据集自身信息的方式取代了利用其他数据集进行预训练的过程,在简化训练步骤的基础上取得了更好的检索性能.通过在常用的细粒度草图检索数据集上的一系列对比实验,证明了所提方法的有效性和优越性.     

An IGA-based design support system for realistic and practical fashion designs

In this paper, a customised fashion design system is proposed for non-professional users (general customers) to create their preferred fashion designs in a user-friendly way. The proposed sketch design system consists of a sketch representation and composing method, an interactive genetic algorithm (IGA)-based design model, and a user-friendly interface. The sketch representation and composing method generates feasible design sketches, based on the design parameters defined by the IGA-based design model, and the sketches are presented to customers via the user-friendly interface. Experimental results have demonstrated that the proposed system is effective in generating fashion design sketches reflecting users’ preference.     

基于范畴论的素描数据模型

针对关系数据库语义表达的不足,讨论了一种语义数据模型--基于范畴论的素描数据模型,从素描数据模型的形式化定义出发,以一种非形式化的方法分析了素描数据模型的基本概念,为更好地使用素描数据模型提供了基础.     

基于隐性马尔可夫模型的手势识别设计和优化

新型的笔式交互技术要求能够高效地识别用户手势,适应用户的手绘风格。本文建立了基于隐形马尔可夫的手势识别模型,在此基础上提出了在重采样阶段的中点补偿方法和编码阶段的方向编码优化方法。实验结果表明该识别模型能以更精简的采样点数量表示手势并给出良好的识别结果,减少了模型训练的运算量。