基于双Leap Motion的三维可视化交互方法研究

由于Leap Motion硬件设备识别范围和其图像识别算法的局限性,当交互手势中手指平面平行于Leap Motion视觉探测方向时容易因产生手指混叠现象,降低手势识别的精度而影响交互体验.为解决手指遮挡问题提高交互体验,提出在不同角度设置双Leap Motion的方法.首先垂直设置双Leap Motion于预定位置;然后对上边Leap Motion探测数据进行矩阵转换;最后对双Leap Motion数据进行数据融合计算,得到手势运动类型.一系列用户对比实验结果表明,该方法在减少手指混叠现象、提高易用性方面有明显作用,具有实际应用价值.     

融合Kinect和IMU多模态数据的多阶段运动去噪网络

运动数据去噪在影视特效、游戏和康复医疗等动作捕捉应用中起着重要作用.为提高低成本动作捕捉设备的精确度和鲁棒性,提出一种融合Kinect和惯性测量单元(IMU)两种模态运动数据的多阶段去噪网络MMCapNet,利用特征提取器从两种模态数据中提取并融合运动特征,使用关节位置估计器分阶段预测关键关节、身体关节和手部关节坐标位置.为了提高方法的泛化能力,在现有2180332帧多模态数据的基础上,采集了227160帧包含高噪声的多模态运动数据集.实验结果表明,在日常运动和高噪声多模态数据集上输出结果的关节点位置精度均有提升.与BRA、DIP和STTrans方法相比,在日常运动数据集上全身估计误差分别降低78.5%、87.1%和31%,在高噪声数据上的估计结果更加合理.本文通过特征提取,融合多模态数据和多阶段预测,在降低位置估计误差的同时增强了对高噪声数据的处理能力.     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.     

基于Leap Motion的三维模型草图检索

对三维模型检索的需求在搜索领域日益增长,而基于草图的三维模型检索也已然成为最为有效且易用的检索方式。为了更好地提升草图检索的体验,着眼于人机交互的方式并对其加以改进是必由之路。其中,Leap Motion系统可高精度实时检测并跟踪手指的位置和手势信息等,为大屏幕、远距离交互提供了有效途径。文中提出了一种基于Leap Motion的三维模型草图检索系统用于三维模型检索。通过Leap Motion获得的数据将手的运动模拟信息实时地反映到浏览器上,实现草图的绘制和模型的检索。在草图检索部分,提出了一种改进的流形排序方法用于对模型间的相似度进行排序,结合模型语义分类信息的排序约束方法,提高了同类模型的排名分数。实验显示,该方法使得草图检索更加贴近和方便用户,进一步提高了草图检索的易用性以及三维模型检索的准确性。     

基于Leap Motion的手势识别在虚拟交互中的研究*

针对虚拟场景中的自然手势交互进行了研究,提出了基于Leap Motion的动态指尖手势轨迹识别方法。首先借助Leap Motion设备采集指尖在场景中运动时产生的坐标并同时对数据进行预处理,然后从这一系列坐标中找出起始和结束位置并提取出有效的手势轨迹,再进行轨迹优化和手势初步分类,基于加权欧氏距离将轨迹和手势模板进行相似度计算,得到识别结果。采集200组手势数据进行实验,结果证明提出的方法具有很高的识别率,将方法应用在手势交互系统中,实现使用自然手势和虚拟物品进行交互,增加了交互乐趣,改善了交互体验。     

基于三维手部骨架数据的连续手语识别

为有效地消除手语识别过程中背景、光照等干扰因素带来的视觉问题,采用低冗余的骨架数据表达手语信息,设计了一个端到端连续手语识别模型.首先,分别从帧内和帧间提取手型和轨迹特征,可以有效地降低原始样本的离散程度;其次,构建一系列并行的双路残差网络对手型和轨迹特征进行优化与融合,生成时空特征序列;最后,基于注意力机制的编码-解码网络实现时空特征序列到翻译文本的映射.使用Leap Motion收集建立了一个基于三维手部骨架数据的手语数据集LMSLR.实验结果表明,在LMSLR数据集和公共的CSL数据集上,该模型与大多数基于视频处理的模型相比具有较高的准确率和较小的计算量.     

基于Leap Motion指尖位置的手势提取和识别技术研究

Leap Motion是最近推出的一款比较新颖的手部信息采集设备,它能够高精度、高帧率地跟踪捕获手部信息,基于此特性,本文阐述了一种基于指尖位置和方向信息进行手势提取和识别的研究方案。采用Leap Motion传感器进行手势的三维空间坐标信息采集,从中提取指尖坐标及方向向量信息,建立手势识别模型,构建手势特征数据。对特征数据进行归一化处理后输入到支持向量机进行训练,实现对特定手势的识别。实验结果表明,提出的手势识别方案平均识别精度达到97.33%,具有较高的准确性和鲁棒性。     

基于肌电信号的手部动作模式识别新思路

为了更好地识别手部动作,提出了一种新思路,将单个手指的状态作为识别目标集。采集常用手部联合动作的6路表面肌电信号,以单个手指的状态为基准将动作合理规划,提取各通道样本均值构造特征向量,设计3个并行BP神经网络,从联合动作样本中学习单个手指的状态,使得分类基数小,从而降低分类的复杂度,克服了传统多分类方法中需要采集动作多的缺点。实验结果表明,采集12种手部动作的肌电信号,将手部动作合理简化为手指动作后,利用手指的状态来训练神经网络,就能够识别出手指的3个状态的所有组合动作,即所有常用的18种手部联合动作。     

面向人体骨骼运动数据优化的双自编码器网络

目的 针对包含混合噪声的3维坐标形式的骨骼运动数据优化问题,提出一种由双向循环自编码器和卷积自编码器串联构成的优化网络,其中双向循环自编码器用于使网络输出的优化数据具有更高的位置精度,卷积自编码器用于使优化数据具有更好的平滑性。方法 首先,利用高精度动捕数据库预训练一个感知自编码器;然后,用“噪声—高精度”数据对训练双自编码器,并在训练过程中添加隐变量约束。其中隐变量约束由预训练的感知自编码器返回,其作用在于能够使网络输出保持较高的精度并具有合理骨骼结构,使算法适用于提升运动数据的细节层次。结果 实验分别在合成噪声数据集和真实噪声数据集上进行,与最新的卷积自编码器(convolutional auto-encoder, CAE)、双向循环自编码器(bidirectional recurrent auto-encoder,BRA)以及双向循环自编码器加感知约束(BRA with perceptual constraint, BRA-P)3种深度学习方法进行比较,在位置误差、骨骼长度误差和平滑性误差3项量化指标上,本文方法的优化结果与最新的3种方法在合成噪声数据集上相比,分别提高了33.1%、25.5%、12.2%;在真实噪声数据集上分别提高了27.2%、39.2%、16.8%。结论 本文提出的双自编码器优化网络综合了两种自编码器的优点, 使网络输出的优化数据具有更高的数据精度和更好的平滑性,且能够较好地保持运动数据的骨骼结构。     

基于Leap Motion的动态手势识别

动态手势识别作为人机交互的一个重要方向，在各个领域具有广泛的需求。相较于静态手势，动态手势的变化更为复杂，对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题，利用高精度的Leap Motion传感器对手部三维坐标信息进行采集，提出了一种包含手指姿势和手掌位移的特征在内的、能够充分描述复杂动态手势的特征序列，并结合长短期记忆网络模型进行动态手势识别。实验结果表明，提出的方法在包含16种动态手势的数据集上的识别准确率为98.50%；与其他特征序列的对比实验表明，提出的特征序列，能更充分准确地描述动态手势特征。     

基于Leap Motion和Unity3D的虚拟沙画手势识别及交互

虚拟仿真技术的快速发展及体感设备的不断更新为沙画动画这一全新的艺术创作形式带来新的灵感。针对沙画现场作画工序复杂的问题,结合Leap Motion设备和Unity3D开发环境完成手势识别并驱动虚拟手实现虚拟沙画效果。首先,依据Leap Motion捕捉到的手势坐标及方向信息提取手部关键点;然后提出角域划分的方法并引入新的特征向量,将其与提取信息串联作为手势分类依据;最后,根据自行定义的沙画手势语义驱动虚拟手完成虚拟沙画创作。实验证明,利用Leap Motion完成近距离手势识别效果较其他方法结果更加精准,实时性较高,手势跟踪稳定,虚拟沙画绘画过程沉浸感强。     

Leap Motion手势交互层次化校正方法研究

Leap Motion手势识别在识别区域边缘和手指遮挡部位存在识别不稳定的现象。提出了一种Leap Motion手势交互层次校正方法。该方法通过实时对比阈值方式分析Leap Motion的识别错误,并采用层次化的校正算法校正人手位置,解决人手交互过程中的识别不稳定现象。通过对实验进行分析,75%参与者对实验交互方式满意,80%参与者认为该方法更精确,且交互内容识别精度超过89%,充分证明了该方法能够提高Leap Motion的识别准确率,提升用户体验。     

基于Leap Motion和S曲线的飞行机器人机械臂控制研究

针对带有多自由度机械臂的飞行机器人,提出基于Leap Motion的控制方法以实现机械臂跟随人体手掌位置姿态运动的功能。采用DH方法建立了机械臂数学模型,给出了将Leap Motion获取的人手运动映射到机械臂末端的推导过程。利用7段S型曲线调速方法近似实现舵机角加速度连续没有突变,减轻了舵机快速响应给飞行器带来的冲击问题。设计制作了实物样机对控制方法的可实现性进行验证测试,在飞行测试中,成功地利用Leap Motion控制远端的机械臂抓取到地面目标。     

基于Leap Motion的电影前期预演人机交互方法

随着虚拟现实(VR)技术的发展,虚拟预演逐渐成为电影制作流程中不可或缺的一环,如何使用 自然、多模态的交互方式,结合三维实时渲染引擎,提高电影制作人员在前期预演中的参与感,是该领域的重 要研究内容。针对当前虚拟预演中使用的交互方式大多为光学运动捕捉系统等,存在价格昂贵、操作难度高、 便携性差等问题。提出一种基于 Leap Motion 的电影前期预演人机交互方式,在获得精准数据的同时,大大降 低了操作难度与设备成本,电影制作人员使用手势交互控制虚拟角色的运动轨迹,完成不同运动状态的切换, 并结合运动捕获数据库,直接参与到前期预演中。通过方案验证,该方法的用户体验更加自然、友好、直观和 高效。     

基于多约束融合的人手臂三维运动分析

为了在没有任何特殊标志的情况下,实现从单目序列图象中分析、估计人手臂的三维运动,提出了一种多约束融合的方法,该方法是利用棍棒模型来模拟人的手臂,首先通过处理单目图象序列来自动获取图象序列中手臂关节点的对应;然后再利用多约束融合及基于图象序列中关节点的对应,即估计尺度意义下关节点的三维相对运动轨迹;最后利用真实图象来获得相应人手臂的三维运动轨迹,并将其与通过运动捕捉系统获得的人手臂的真实三维运动轨迹进行了比较实验。实验结果表明,该方法用于对人手臂的运动分析非常有效。     

基于时空约束的运动编辑和运动重定向

近年来兴起的运动捕获已成为人体动画中最有应用前景的技术之一，目前运动捕获手段很多，但是通常成本高，而且捕获到的运动类型比较单一，为了提高运动捕获数据的重用性，生成与复杂场景协调的多样的动画，必须对捕获的运动数据进行编辑和重定向处理，介绍了一种基于时空约束的运动编辑和运动重定向方法，通过规定一组时空约束条件，建立相应的目标函数，采用逆向运动学和数值优化方法求解出满足约束条件的运动姿势，实验结果表明，该方法可以生成多种满足不同场景婪泊逼真运动，提出了数据的重用性。     

基于运动路径变换的人体运动编辑

运动捕获已经成为计算机动画中一个成熟的技术,但是捕获的成本相对较高,而且捕获到的运动大多比较单一、通用性低。为了提高运动捕获数据的重用性,产生了适应不同需求的各种运动编辑的技术和方法。文章介绍了基于路径变换的人体运动编辑方法,推导了路径变换的公式,并提出了步长的概念,并以此分类,从而节省了约束重建时的运算量。     

Visual rendering of shapes on 2D display devices guided by hand gestures

Designing of touchless user interface is gaining popularity in various contexts. Users can interact with electronic devices using such interfaces even when their hands are dirty or non-conductive. Also, users with partial physical disability can interact with electronic devices with the help of touchless interfaces. In this paper, we propose a Leap Motion controller-based methodology to facilitate rendering of 2D and 3D shapes on display devices. The proposed method tracks finger movements while users perform natural gestures within the field of view of the motion sensor. Then, trajectories are analyzed to extract extended Npen++ features in 3D. These features capture finger movements during the gestures and they are fed to unidirectional left-to-right Hidden Markov Model (HMM) for training. A one-to-one mapping between gestures and shapes, is proposed. Finally, the shapes corresponding to these gestures are rendered over the display using a typical MuPad supported interface. We have created a dataset of 5400 samples recorded by 10 volunteers. Our dataset contains 18 geometric and 18 non-geometric shapes such as “circle”, “rectangle”, “flower”, “cone”, “sphere”, etc. The proposed method has achieved 92.87% accuracy using a 5-fold cross validation scheme. Experiments reveal that the extended 3D features perform better than the existing 3D features when applied for shape representation and classification. The method can be used for developing diverse HCI applications suitable for smart display devices.