基于自适应多类中心和半异构网络的三维模型草图检索

草图具有易于构建且不受语言、专业、年龄限制等优势,基于手绘草图的三维模型检索受到越来越多的关注.然而在三维模型草图检索任务中,三维模型具有复杂性,草图具有类内多样性,同时三维模型与草图之间又具有巨大的域间差异性,这些特点的相互作用严重影响检索的准确性.针对以上问题,提出了一种基于自适应多类中心和半异构网络的三维模型草图...     

程序流程草图的存储表示及自动翻译算法

将手绘草图识别技术融于在线手绘程序流程草图的识别中,设计了一个存储图元的节点结构,提出基于上下文的在线手绘程序流程草图自动翻译算法,实现在线手绘程序流程草图的存储、识别和到C 语言代码的自动翻译和运行,实验证明该方法具有较高的识别效率。     

基于深度卷积-递归神经网络的手绘草图识别方法

针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征,而忽略了草图中笔画的顺序信息的问题,利用手绘草图的笔画顺序信息,将深度卷积神经网络与递归神经网络相结合,提出一种基于深度卷积-递归神经网络的手绘草图识别方法.首先按照绘画草图时的笔画顺序提取笔画,生成多幅子笔画草图,并形成一个笔画数依次递增的子笔画草图序列;然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征,并将提取的图像特征按照原先子笔画草图排列的顺序进行排序,作为递归神经网络的输入;最后利用递归神经网络来构建不同图像特征间的时序关系,以提高手绘草图的识别准确率.在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明,文中方法能有效地提升手绘草图的识别准确率.     

基于草图纹理和形状特征融合的草图识别

人类具有很强的草图识别能力. 然而, 由于草图具有稀疏性和缺少细节的特点, 目前的深度学习模型在草图分类任务上仍然面临挑战. 目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异. 提出一种端到端的手绘草图识别模型, 简称双模型融合网络, 它可以通过相互学习策略获取草图的纹理和形状信息. 具体地, 该模型由2个分支组成: 一个分支能够从图像表示(即原始草图)中自动提取纹理特征, 另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征. 此外, 提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性, 这样可以保证2个分支关注相同的判别性区域. 最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化. 在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验, 评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.     

基于深度学习的人体动作草图到三维骨骼模型重建方法的研究

为了提高三维人体骨骼模型的建模效率并简化交互规则,提出了一种基于深度学习的手绘人体动作草图到三维骨骼模型的重建方法。首先将三维骨骼模型渲染为二维图像来建立维度映射关系,进而使用图像分类方法识别手绘草图动作并根据维度映射实现三维骨骼模型重建。在实验中使用基于深度卷积神经网络对图像分类模型进行构建,使用浅层卷积网络作为训练单元,并使用逐级分类与分块训练策略加速网络收敛速度来提高训练效率。最后实验结果验证了该方法的可行性与有效性。     

手绘草图识别中的相关反馈方法

手绘草图是人类思维外化和表达设计意图的有效工具之一,手绘草图的模糊性和用户适应性问题是草图识别中的关键问题。本文提出了将相关反馈机制引入到手绘草图识别中以捕捉用户意图的方法,该方法以抽取手绘草图的向量化特征为基础,首先利用基于图形特征的相似度计算,给出手绘草图候选识别结果集,然后借助用户对识别结果的相关性评价,通过逐渐调整图形构成特征的权重来捕捉用户输入意图,并提高识别效果。实验表明本文所提出的方法具有很好的效果。     

基于贝叶斯网络的在线草图识别算法

针对手绘草图识别算法大多采用限制用户绘制习惯来实现笔画分组的问题,提出一种基于贝叶斯网络的手绘草图识别算法。该算法将手绘草图识别中的笔画分组和符号识别统一为一个过程,用贝叶斯网络拓扑结构来表达草图结构信息。基于该网络,根据最大后验概率对连续输入的笔画进行动态最优分组,同时在线预测每组笔画的符号类别。实验结果表明,该方法是一种有效的在线递进式笔画分组和识别算法,在电路符号手绘识别中达到71.3%的过程识别率和85%的最终识别率。     

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索（sketch-based image retrieval,简称SBIR）领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络（multi-layer deep fusion convolutional neural network）的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络（convolutional neural network,简称CNN）的特征.     

采用快速图元匹配的手绘非规则军标识别

在线手绘非规则军标识别是基于草图的态势标绘系统的重要组成部分.针对非规则军标的图形线条可变性大的问题,提出一种结构化识别方法.首先定义并识别非规则军标草图的图元;然后用模糊方法描述图元间的拓扑关系,建立待识别样本与模板图形的图元匹配代价矩阵,并基于指派问题模型计算图形相似度;最后提出2种计算不完整的输入草图与模板图形相似度的方法.实验结果表明,文中方法是有效的.     

基于草图的面向概念设计的协同图表绘制工具

概念设计过程使用了多种图表来表示设计概念以及构建功能结构.将手绘草图作为设计者之间的一种通信语言引入到异地同步协同概念设计过程,提出了基于手绘草图的协同图表绘制多agent 系统,包含草图交互、草图识别、通信、协调等多个agent.讨论了各agent 之间的通信机制以及主要agent 的实现策略,包括草图识别以及语义一致性维护策略.将系统应用到协同流程图绘制领域,运行结果表明,该工具能够改善人机交互模式,促进多用户之间的交流和协作.