基于草图的人机交互技术研究进展

从草图识别和语义理解这两个方面对基于草图的人机交互技术的研究状况进行了分析和总结．对草图识别方法按其模式单元定义（笔划、图元、特征和组合图形）进行了分类和剖析;对草图语义理解所涉及的语义获取、语义解释和语义应用这三个关键问题及其解决方法进行了分析和阐述;并分别从基于草图的人机交互技术的几何模糊性、用户适应性和应用独旁性及其关系角度提出了这一领域的主要研究课题及其解决思路．     

在线手绘草图识别中的用户建模方法

提出了一种在线手绘草图识别的用户建模方法。该方法首先利用用户输入笔划的速率和曲率特性进行笔划特征点抽取和笔划分段,从而将用户的输入草图分解成基本图元表示;进而,利用决策树收集和记录用户输入草图的时序信息,实现对复杂手绘草图的用户建模和在线识别,并通过对用户输入模式使用频率的统计实现对用户模型的动态管理和更新。实验表明:该方法不仅能显著提高复杂图形的识别效率,而且具有在线训练能力。     

融合稀疏编码与深度学习的草图特征表示

针对小数据集下单纯使用深度学习方法的草图特征提取可分辨性低下的问题,提出一种融合稀疏编码和深度学习的草图特征表示方法.该算法首先对草图进行语义分割;然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心;最后利用部件聚类中心向量初始化稀疏编码中的字典,交替迭代求取获得最终的草图特征.不同于以往的草图特征表示方法,将迁移深度学习获得的草图部件特征引入到稀疏编码中,作为字典的初始基向量,将语义信息融入到稀疏编码,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性.实验结果显示,所提方法下的草图识别率高于采用传统非深度学习和深度学习方法提取的草图特征的草图识别率.     

基于手绘草图的三维CAD系统

Post-IMP界面是下一代用户界面的主要范式。该文研究并实现了一种新型的基于笔的手绘草图三维CAD系统。实现手绘草图三维CAD系统的关键是设计一个自然、合理、高效的草图语义表达与获取框架,它要着眼于解决用户在做什么和在哪里做这两方面的问题。该文详细地讨论了草图语义表达和获取框架的设计思路及实现方法,并开发出一个原型系统,该系统以一支手写笔和一块手写板为交互输入设备,能够较自然高效地进行一些复杂的三维实体和三维场景设计。     

基于设计草图的零配件检索算法

在机械制造智能化进程中不可避免地产生了海量零配件模型信息,给数据的高效检索带来了巨大的挑战。考虑到设计草图具备用户友好且轻量级的特性,方法通过构造深度跨域表征模型进行基于设计草图的机械零配件模型检索。针对草图和三维模型的跨模态信息关联问题,提出特征联合学习方法,旨在控制检索对象类内及类间差异的过程中,使特征描述符习得单一域特征的同时融合跨域信息,建立跨模态数据在共嵌空间下的一致性关联表征。最后,利用哈希编码构建索引表实现海量数据的快速检索。在零部件数据上的实验结果表明,所提出的基于设计草图的零配件检索方法在同期方法中既能实现最准确的检索结果,也具备较高的检索效率。方法在提升跨模态零配件信息检索准确性的同时提高了数据管理效率,从而间接提升了产品设计的效率和便捷性,相关系统已经在部分企业落地应用且获得良好反馈。     

基于草图纹理和形状特征融合的草图识别

人类具有很强的草图识别能力. 然而, 由于草图具有稀疏性和缺少细节的特点, 目前的深度学习模型在草图分类任务上仍然面临挑战. 目前的工作只是将草图看作灰度图像而忽略了不同草图类别间的形状表示差异. 提出一种端到端的手绘草图识别模型, 简称双模型融合网络, 它可以通过相互学习策略获取草图的纹理和形状信息. 具体地, 该模型由2个分支组成: 一个分支能够从图像表示(即原始草图)中自动提取纹理特征, 另一个分支能够从图形表示(即基于点的草图)中自动提取形状特征. 此外, 提出视觉注意一致性损失来度量2个分支之间视觉显著图的一致性, 这样可以保证2个分支关注相同的判别性区域. 最终将分类损失、类别一致性损失和视觉注意一致性损失结合完成双模型融合网络的优化. 在两个具有挑战性的数据集TU-Berlin数据集和Sketchy数据集上进行草图分类实验, 评估结果说明了双模型融合网络显著优于基准方法并达到最佳性能.     

基于深度学习的草图检索方法研究进展

草图检索(SBIR)是基于内容的图像检索(CBIR)的扩展,是一种灵活便捷的目标图像检索方式,其研究的焦点是如何减少手绘草图域与自然图像域之间的域差。传统方法提取手工特征完成草图域与图像域之间的近似转换以减少域差,但该类方法无法有效拟合2个域内容,导致检索精度不高。深度学习方法依赖大量数据进行图像高维特征的提取,突破了传统方法的局限,已被证明可以有效解决跨域建模问题。研究聚焦于基于深度学习的草图检索方法,在深度特征提取模型、公开的数据测试集、粗粒度和细粒度检索、哈希技术和类别泛化等几个方面对草图检索的深度学习方法的相关研究工作进行了综述和评论。然后进行了实验比较研究,一方面,对现有3个公开的SBIR测试集Sketchy、TU-Berlin和QuickDraw进行适用性评估;另一方面,选取3个最新的SBIR深度学习模型GRLZS模型、SEM-PCYC模型和SAKE模型进行性能分析与比较。最后,对草图检索面临的挑战和未来研究方向进行了总结与展望。     

基于联合特征映射的端到端三维模型草图检索

在草图-三维模型检索任务中,草图具有类内多样性,三维模型具有复杂性,且草图-三维模型之间存在巨大的域间的差异性,这些特点的相互作用使得基于草图的三维模型检索任务变得特别困难.针对这一问题,提出一种基于联合特征映射的端到端三维模型草图检索框架.首先将三维模型转化为一组二维视图,建立跨域数据的共享数据空间;然后通过网络权值共享,建立端到端的三元度量学习网络,实现跨域数据草图和视图的联合特征映射;最后基于联合特征分布,提出4种草图-三维模型相似评价算法来实现草图-三维模型的检索.在大型公共数据集SHREC2013和SHREC2014上的检索精度分别为81.8%和75.6%,比现有算法在7项检索指标PR曲线, NN, FT, ST, E,DCG和MAP上都有所提升,检索性能突出.     

程序流程草图的存储表示及自动翻译算法

将手绘草图识别技术融于在线手绘程序流程草图的识别中,设计了一个存储图元的节点结构,提出基于上下文的在线手绘程序流程草图自动翻译算法,实现在线手绘程序流程草图的存储、识别和到C 语言代码的自动翻译和运行,实验证明该方法具有较高的识别效率。     

基于草图界面的应用系统框架研究与实现

现有的草图系统重在设计对象外形的表达,忽略了隐含在设计过程中用户思维活动的信息;另一方面,目前笔的交互方式尚不能自然、流畅地表达用户设计意图.通过分析草图界面信息对象和交互过程的特点,提出面向构思设计的应用系统框架ISF,以满足设计意图原型的快速生成;同时结合交互的任务、环境和用户偏好等上下文信排息,建立从物理设备到逻辑工具映射的交互模型,旨在为此类系统的交互设计提供一定指导的方法.最后给出面向轻纺行业服装设计的应用实例--草图图板系统.应用结果表明,ISF能够为此类草图应用系统的设计给予一定的指导,满足自然、流畅的交互设计要求.     

一种基于图匹配的复杂草图识别方法

复杂草图识别是手绘草图输入中的一个困难任务。现存的草图识别方法强调的是图形对象简单．但这不适合具有不同复杂性的复杂草图的识别。本文对具有不同复杂性的复杂图形对象提出一个基于图形的统一表示法，文中根据不同信息枉度将复杂图形分别转化为空间关系图(SRG)。文中提出了一个约束的部分枚举．以减小识别复杂草图时匹配SRG的状态空间。实验结果显示．我们的方法可适用于具有不同复杂度的各种复杂图形对象的识别。     

基于用户建模的手绘草图识别

在线草图识别包括预处理、特征提取、图形规整和用户建模等几个方面的问题。其中用户建模是手绘草图识别的核心和关键问题。提出了一种在线草图识别用户建模方法,方法用动态用户建模技术进行笔划和复杂图形的识别。方法采用增量决策树记录草图的笔划构成及其手绘过程,实现对复杂手绘草图的用户建模和在线识别。实验表明所提出的方法不仅能得到较好的检索结果,而且具有较好的用户适用性     

手绘草图识别中的相关反馈方法

手绘草图是人类思维外化和表达设计意图的有效工具之一,手绘草图的模糊性和用户适应性问题是草图识别中的关键问题。本文提出了将相关反馈机制引入到手绘草图识别中以捕捉用户意图的方法,该方法以抽取手绘草图的向量化特征为基础,首先利用基于图形特征的相似度计算,给出手绘草图候选识别结果集,然后借助用户对识别结果的相关性评价,通过逐渐调整图形构成特征的权重来捕捉用户输入意图,并提高识别效果。实验表明本文所提出的方法具有很好的效果。     

面向多源数据融合的稀疏表示目标跟踪

传统的基于稀疏表示的目标跟踪方法主要利用目标的灰度特征构建稀疏表示模型。由于灰度特征对光照变化敏感，这会影响目标跟踪在复杂场景下的鲁棒性。基于多源数据融合的目标跟踪可以明显提升目标跟踪鲁棒性，但如何有效融合不同维度，不同类型的多源目标特征成为基于多源数据融合的目标跟踪所要解决的关键问题。提出了一个基于目标状态以及灰度特征的稀疏表示目标跟踪方法。所提出的方法可通过基于核函数表示的稀疏表示模型，在探究目标状态以及灰度特征相关性的基础上，将两种不同维度的特征进行有效融合，提升目标跟踪在复杂场景下的鲁棒性。     

基于状态和变化的统一时空数据模型

提出了一个基于状态和变化的统一时空数据模型SCUDM(state and change based unified spatio-temporial datamodel).时空数据库的状态是关于对象、空间和时间的三元组,时空数据库的变化就是状态的变化.按照对象域、空间域和时间域将时空数据库中的变化分别投影分解,显式地表达在对象、空间和时间上的变化.而事件是在某一时刻前后,时空实体的变化关系,在事件表达中蕴涵了空间实体之间的时间拓扑关系.SCUDM不仅支持状态和变化的表达,而且支持时间拓扑和空间拓扑的表达.     

基于Internet的直接网络数据服务的基本概念与技术框架

直接网络数据服务为计算程序提供了一种通过Internet直接访问远程数据的手段 ,它在通讯和计算技术上分别以SOAP协议和Java跨平台计算能力为基础。本文分析了Internet应用技术的现状和发展 ,结合当前数据交换技术和化工数据应用的特点 ,提出了一种新的化工数据应用方法 ,即建立基于Internet的直接网络数据服务的计算模型。实现此计算体系涉及多方面的数据协议和计算技术 ,其中最重要的思想是通过构建一个易用的数据规范框架 ,以简化整个体系的用户使用界面 (包括编程接口和访问语法 )。该框架定义了数据的描述规范、存储规范、查询规范、传输规范和使用规范。该计算模型主要包括 3个部分 ,即服务器端的数据库模型、基于SOAP的数据传输模型和客户端的应用编程接口。该系统以远程程序为数据消费对象 ,最终将实现对数据库透明的访问能力和可扩充的分布服务能力。在此基础上 ,可以进一步发展为分布式计算服务体系     

采用单幅草图的正交多面体模型生成方法

为便于用户在工程设计时使用草图进行三维模型设计,提出一种从单幅草图生成正交多面体模型的方法.根据正交多面体模型的结构特点定义了建模过程中的特征层次体系及其转换规则,通过规则推理实现各层次特征的转换,以支持用户使用简图方式快速地生成多面体模型;同时,使用决策树管理转换规则集合实现对规则的训练和更新,以保证规则集的可拓展性和鲁棒性.实验结果表明:该方法能生成多种复杂的正交多面体模型,且决策树方法能有效地支持对规则集合的训练和更新.     

基于自适应HMM的在线草图识别方法

用户适应性是在线手绘草图识别的一个关键问题。本文以实现草图识别的自适应性为目标,对草图识别中的用户适应性问题进行了深入的研究和实验,提出了一种自适应草图识别解决方法,并针对在线草图识别的特点,提出了一种基于笔划曲率,速率以及整体几何特性的组合特征。本文重点研究并实现了基于自适应HMM的草图识别,在已有HMM的基础上,针对在线草图识别的特点,提出了状态数可变自适应HMM的学习方法。实验表明本文所提出的方法具有很好的效果。     

基于改进多嵌入空间的实时语义数据流推理

将语义数据流处理引擎与知识图谱嵌入表示学习相结合,可以有效提高实时数据流推理查询性能,但是现有的知识表示学习模型更多关注静态知识图谱嵌入,忽略了知识图谱的动态特性,导致难以应用于实时动态语义数据流推理任务。为了使知识表示学习模型适应知识图谱的在线更新并能够应用于语义数据流引擎,建立一种基于改进多嵌入空间的动态知识图谱嵌入模型PUKALE。针对传递闭包等复杂推理场景,提出3种嵌入空间生成算法。为了在进行增量更新时更合理地选择嵌入空间,设计2种嵌入空间选择算法。基于上述算法实现PUKALE模型,并将其嵌入数据流推理引擎CSPARQL-engine中,以实现实时语义数据流推理查询。实验结果表明,与传统的CSPARQL和KALE推理相比,PUKALE模型的推理查询时间分别约降低85%和93%,其在支持动态图谱嵌入的同时能够提升实时语义数据流推理准确率。     

Conceptual framework for document semantic modelling: an application to document and knowledge management in the legal domain

The main contribution of this paper is to lay down a conceptual framework for document semantics modeling. This framework provides a generic graphical knowledge representation model based on Sowa’s conceptual structures. Modeling primitives are introduced to represent factual and ontological knowledge that can be expressed in electronic documents. Binding features are proposed so as to keep knowledge representation and knowledge formulation linked together.

This framework may be applied to various domains and may accept, for this purpose, many different ontological extensions. Thus an extension is provided so as to properly handle the particular kind of knowledge encountered in the legal domain.