基于卷积神经网络的Leap Motion运动数据优化网络

为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数.     

面向关节坐标运动数据重定向的通用双向循环自编码器

针对面向关节坐标表示的骨骼运动数据重定向网络缺乏通用性的问题,提出一种能够实现源骨骼到多种骨骼运动重定向的通用双向循环自编码器.该自编码器由基于关节坐标表示的运动数据以重建误差为损失函数训练得到.在完成训练后,首先用自编码器计算源运动数据对应的隐变量和重建运动,然后对重建运动施加骨骼长度约束、足迹约束、根关节位置约束以及骨骼角度约束,并将损失反向传播至隐变量空间中优化隐变量,通过多次迭代得到重定向后运动.在CMU运动数据库上的实验结果表明,提出的自编码器及4种约束能够实现基于关节坐标表示的运动数据的重定向,并且得到的重定向运动在骨骼长度误差、骨骼角度误差、末端效应器轨迹以及平滑性上具有更好的效果.     

深度迭代融合的脑部磁共振图像颅骨去除网络

目的 去除颅骨是脑部磁共振图像处理和分析中的重要环节。由于脑部组织结构复杂以及采集设备噪声的影响导致现有方法不能准确分割出脑部区域,为此提出一种深度迭代融合的卷积神经网络模型实现颅骨的准确去除。方法 本文DIFNet（deep iteration fusion net）模型的主体结构由编码器和解码器组成,中间的跳跃连接方式由多个上采样迭代融合构成。其中编码器由残差卷积组成,以便浅层语义信息更容易流入深层网络,避免出现梯度消失的现象。解码器网络由双路上采样模块构成,通过具有不同感受野的反卷积操作,将输出的特征图相加后作为模块输出,有效还原更多细节上的特征。引入带有L2正则的Dice损失函数训练网络模型,同时采用内部数据增强方法,有效提高模型的鲁棒性和泛化能力。结果 为了验证本文模型的分割性能,分别利用两组数据集与传统分割算法和主流的深度学习分割模型进行对比。在训练数据集同源的NFBS（neurofeedback skull-stripped）测试数据集上,本文方法获得了最高的平均Dice值和灵敏度,分别为99.12%和99.22%。将在NFBS数据集上训练好的模型直接应用于LPBA40（loni probabilistic brain atlas 40）数据集,本文模型的Dice值可达98.16%。结论 本文提出的DIFNet模型可以快速、准确地去除颅骨,相比于主流的颅骨分割模型,精度有较高提升,并且模型具有较好的鲁棒性和泛化能力。     

混合高斯变分自编码器的聚类网络

目的 经典的聚类算法在处理高维数据时存在维数灾难等问题,使得计算成本大幅增加并且效果不佳。以自编码或变分自编码网络构建的聚类网络改善了聚类效果,但是自编码器提取的特征往往比较差,变分自编码器存在后验崩塌等问题,影响了聚类的结果。为此,本文提出了一种基于混合高斯变分自编码器的聚类网络。方法 使用混合高斯分布作为隐变量的先验分布构建变分自编码器,并以重建误差和隐变量先验与后验分布之间的KL散度（Kullback-Leibler divergence）构造自编码器的目标函数训练自编码网络;以训练获得的编码器对输入数据进行特征提取,结合聚类层构建聚类网络,以编码器隐层特征的软分配分布与软分配概率辅助目标分布之间的KL散度构建目标函数并训练聚类网络;变分自编码器采用卷积神经网络实现。结果 为了验证本文算法的有效性,在基准数据集MNIST （Modified National Institute of Standards and Technology Database）和Fashion-MNIST上评估了该网络的性能,聚类精度（accuracy,ACC）和标准互信息（normalized mutual information,NMI）指标在MNIST数据集上分别为95.86%和91%,在Fashion-MNIST数据集上分别为61.34%和62.5%,与现有方法相比性能有了不同程度的提升。结论 实验结果表明,本文网络取得了较好的聚类效果,且优于当前流行的多种聚类方法。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

面向运动想象脑电图识别的镜卷积神经网络

目的 脑电图（electroencephalogram,EEG）是一种灵活、无创、非侵入式的大脑监测方法,广泛应用于运动想象脑机接口系统中,运动想象脑电图识别精度是决定系统性能的关键因素。然而由于脑电图采集时间长、个体差异大等原因,导致单个受试者可用于模型训练的样本数量少,严重影响了卷积神经网络在脑电图识别任务中的表现。为此,本文提出一种镜卷积神经网络（mirror convolutional neural network,MCNN）模型,使用集成学习与数据扩增方法提高运动想象脑电图识别精度。方法 在训练阶段,基于源脑电通过互换左右侧脑电通道构造镜像脑电,并与源脑电一起用于源卷积网络训练,有效扩增了训练样本;在预测阶段,复制已训练源卷积网络作为镜像卷积网络,将测试集中的源脑电输入源卷积网络,构造的镜像脑电输入镜像卷积网络,集成源卷积网络与镜像卷积网络输出的类别预测概率,形成最终类别预测。结果 为了验证模型的有效性和通用性,基于3种不同运动想象脑电图识别卷积网络模型分别构造镜卷积网络,并在第4届脑机接口大赛2a与2b数据集上进行实验验证。实验结果与原始模型相比,运动想象四分类和二分类准确率分别平均提高了4.83%和4.61%,显著提高了识别精度。结论 本文面向运动想象脑电图识别,提出了镜卷积神经网络模型,通过集成学习与数据扩增方法提高运动想象识别精度,有效改善了运动想象脑机接口性能。     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。     

面向纹理平滑的方向性滤波尺度预测模型

目的 传统图像处理的纹理滤波方法难以区分梯度较强的纹理与物体的结构,而深度学习方法使用的训练集生成方式不够合理,且模型表示方式比较粗糙,为此本文设计了一种面向纹理平滑的方向性滤波尺度预测模型,并生成了含有标签的新的纹理滤波数据集。方法 在现有结构图像中逐连通区域填充多种纹理图,生成有利于模型训练的纹理滤波数据集。设计了方向性滤波尺度预测模型,该模型包含尺度感知子网络和图像平滑子网络。前者预测得到的滤波尺度图不但体现了该像素与周围像素是否为同一纹理,而且还隐含了该像素是否为结构像素的信息。后者以滤波尺度图和原图的堆叠作为输入,凭借少量的卷积层快速得出纹理滤波的结果。结果 在本文的纹理滤波数据集上与7个算法进行比较,峰值信噪比(peak signal to noise ratio,PSNR)与结构相似度(structural similarity,SSIM)分别高于第2名2.79 dB、0.0133,均方误差(mean squared error,MSE)低于第2名6.863 8,运算速度快于第2名0.002 s。在其他数据集上的实验对比也显示出本文算法更好地保持结构与平滑纹理。通过比较不同数据集上训练的同一网络模型,证实了本文的纹理滤波数据集有助于增强模型对于强梯度纹理与物体结构的区分能力。结论 本文制作的纹理滤波数据集使模型更好地区分强梯度纹理与物体结构并增强模型的泛化能力。本文设计的方向性滤波尺度预测模型在性能上超越了已有的大多数纹理平滑方法,尤其在强梯度纹理的抑制和弱梯度结构的保持两个方面表现优异。     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

Combining inverse blending and Jacobian‐based inverse kinematics to improve accuracy in human motion generation

We present in the paper a hybrid method for motion editing combining motion blending and Jacobian‐based inverse kinematics (IK). When the original constraints are changed, a blending‐based IK solver is first employed to find an adequate joint configuration coarsely. Using linear motion blending, this search corresponds to a gradient‐based minimization in the weight space. The found solution is then improved by a Jacobian‐based IK solver by further minimizing the distance between the end effectors and constraints. To accelerate the searching in the weight space, we introduce a weight map, which pre‐computes the good starting positions for the gradient‐based minimization. The advantages of our approach are threefold: first, more realistic motions can be generated by utilizing motion blending techniques, compared with pure Jacobian‐based IK. The blended results also increase the rate of convergence of the Jacobian‐based IK solver. Second, the Jacobian‐based IK solver modifies poses in the pose configuration space and the computational cost does not scale with the number of examples. Third, it is possible to extrapolate the given example motions with a Jacobian‐based IK solver, while it is generally difficult with pure blending‐based techniques. Copyright © 2014 John Wiley & Sons, Ltd.     

面向内容的三维人体运动检索技术研究综述

三维人体运动数据检索技术是计算机动画领域的研究热点,系统分析了当前基于内容的三维人体运动数据检索技术的研究现状。分析比较了基于运动数值特征、基于运动能量特征和基于语义信息特征三种运动数据的特征表示方法;从局部相似性度量和全局相似性判断两个角度阐述了运动相似性匹配算法;总结目前基于内容的人体运动数据检索技术中存在的问题,探讨了未来开展基于语义的检索技术所需的工作。     

基于可分级视频编码的双向双维运动信息可分级*

为进一步提高基于一种运动信息可分级模型的可分级视频编码的编码效率,减小运动信息可分级的最低码率限制,对该运动可分级模型的二维多向性进行了具体研究与改进,更新了运动估计的流程,提出了多向上的两个运动可分级维度的运动分级等级一致性原则以及二维数据的渐进式存储存取结构,从而实现了二维多向上的运动可分级。实验测试结果证明该二维多向的运动信息模型优于不可分级的运动信息,能有效提高可分级视频编码系统的效率。     

基于运动序列分割的运动捕获数据关键帧提取

采用线性时不变系统把高维运动数据映射到低维状态空间;在低维状态空间中,定义了姿态之间的相似性度量;并采用误差平方和准则对时序的低维数据点集进行运动分割,分割点上的运动姿态被定义为关键帧．实验结果表明：该算法能够较好地提取出运动序列中的关键帧,并且这些关键帧能够很好地概括原始运动序列的内容．     

基于数据手套与虚拟模型的手臂动作识别方法

为了配合残疾人使用助残假手完成日常活动,提出了一种基于数据手套与虚拟模型的手臂动作识别方法.通过数据手套上的MEMS传感器测量手臂运动数据,结合虚拟交互环境中的手臂模型,完成模型对真实手臂的动作复现,并获取手臂模型的位置数据.而后将传感器加速度、角速度等数据的时域特征与手臂模型位置数据的动作轨迹特征结合起来,使用支持向量机算法对预定义的5种手臂动作进行分类识别,识别率达到99.33％,验证了提出的手臂动作识别方法的可行性.     

人体运动的非线性降维及新运动生成

为了提高现有运动数据的可重用性,生成更为丰富的新运动,提出快速自适应比例高斯过程隐变量模型,以及基于该模型的人体运动数据降维及运动生成方法.通过对运动数据进行统计学习,获得运动数据在隐空间的一个低维映射来实现非线性降维,同时获得了该运动的姿态空间的概率分布,其大小反映了该姿态的自然逼真程度;在给定末端约束条件下求取满足约束的、同时概率最大的姿态,并将其作为逆向运动学的解,克服了传统逆向运动学算法计算烦琐、效果不逼真的缺点.实验结果表明,该模型具有更快的收敛速度和更高的收敛精度,同时能够自适应运动编辑的方向,有效地扩大运动的可编辑幅度.     

基于隐空间的运动捕获数据自动分割*

提出一种运动捕获数据自动分割方法。利用高斯过程隐变量模型对运动捕获数据进行降维,将其从高维观察空间映射到低维隐空间;在隐空间中构造运动特征函数,该函数具有结构简单、对所有关节敏感等优点,通过分析运动特征函数几何特征的变化,探测运动捕获数据的分割点,实现运动自动分割。实验结果表明,该方法具有较高的准确度和较好的普适性。     

运动控制系统中数据实时采集的实现

在运动控制系统的调试和运行过程中实时显示相关数据是十分必要的。本文介绍了PMAC的数据采集方式,分析了Win32应用程序与PMAC之间通信的原理和主要问题,在此基础上提出的在VisualC＋＋6．0环境下对PMAC进行数据实时采集与显示的方法,适合于自主开发基于PMAC的开放式运动及数控系统,具有一定的实际意义。     

Efficient Detection of Patterns in 2D Trajectories of Moving Points

Moving point object data can be analyzed through the discovery of patterns in trajectories. We consider the computational efficiency of detecting four such spatio-temporal patterns, namely flock, leadership, convergence, and encounter, as defined by Laube et al., Finding REMO—detecting relative motion patterns in geospatial lifelines, 201–214, (2004). These patterns are large enough subgroups of the moving point objects that exhibit similar movement in the sense of direction, heading for the same location, and/or proximity. By the use of techniques from computational geometry, including approximation algorithms, we improve the running time bounds of existing algorithms to detect these patterns.

自动匹配虚拟人模型与运动数据

使用运动数据驱动虚拟人模型运动是人体运动仿真的常用方法.通常,运动数据本身定义了适合该运动数据的骨架结构,这要求被其驱动的虚拟人模型也必须有相匹配的骨架定义.提出了一种推迟到运动数据导入时再为模型生成骨架结构的基于语义分析的懒匹配算法(lazy match based on semantic analysis,简称LMSA),该算法先用一组平行平面切分人体模型以生成备选关节点集,并在导入运动数据后对备选关节点集和运动数据的骨架结构进行语义分析,匹配具有相同语义的备选关节点和骨架结构的各关节,使已有的虚拟人几何模型能够直接应用于具有不同骨架结构的人体运动数据.