基于语义分割与迁移学习的手势识别

针对复杂场景下深度相机环境要求高,可穿戴设备不自然,基于深度学习模型数据集样本少导致识别能力、鲁棒性欠佳的问题,提出了一种基于语义分割的深度学习模型进行手势分割结合迁移学习的神经网络识别的手势识别方法。通过对采集到的图像数据集首进行不同角度旋转,翻转等操作进行数据集样本增强,训练分割模型进行手势区域的分割,通过迁移学习卷积神经网络更好的提取手势特征向量,通过Softmax函数进行手势分类识别。通过4个人在不同背景下做的10个手势,实验结果表明: 针对复杂背景环境下能够正确的识别手势。     

基于深度学习算法的可穿戴设备手势识别系统设计

研究了基于深度学习算法的可穿戴设备手势识别系统设计。以智能手表为例,利用可穿戴设备的加速度传感器进行数据采集,通过在执行不同手势时三轴加速度数值的不同以及执行时长的差异,使用TensorFlow以及CNN神经网络实现手势识别。实验结果表明该系统对交互手势的识别有着良好稳定的识别率,准确率达到97%以上,并且系统的各项性能指标都较好。所提出的手势识别系统还可以应用到数字签名、个人安全或用户标识等其他领域。     

基于Kinect的民族弓弦乐器虚拟演奏系统

利用Kinect相机结合增强现实技术和手势识别方法设计并实现了一个弓弦乐器虚拟演奏系统——以二胡为例.将Kinect获取的现实场景和虚拟乐器融合在一起绘制成增强现实场景.通过Kinect得到的深度数据和贝叶斯肤色模型将用户的左手分割出来,并再次绘制在增强图像上形成新的图像,从而解决虚拟演奏场景中的虚实遮挡问题.利用基于反向动力学和马尔可夫模型的三维虚拟手势拟合方法,对演奏过程中的左手手势进行识别,并结合右手的运动状态完成乐器的虚拟演奏.     

三维循环密集卷积神经网络在视频手势识别的应用

手势识别是当前计算机视觉的一个重要研究课题,由于手势旋转,角度等因素的影响,视频手势识别仍是一项具有挑战性的任务。该文提出了一种基于三维密集卷积神经网络和门限循环单元的双通道手势识别算法,通过三维密集卷积神经网络获取手势的空间信息,使用门限循环单元学习视频中手势的时序信息,最后融合RGB图像和深度图像的深度学习模型特征以此对手势进行识别。在ISOGD数据集上的实验表明,该手势识别算法能够有效提高了视频手势识别的准确率。     

基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。     

基于伪三维卷积神经网络的手势姿态估计

大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。     

基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题，提出一种基于多模态融合的动态手势识别算法TF-MG。TF-MG结合深度信息和三维手部骨架信息，利用2种不同网络分别提取对应特征信息，然后将提取的特征融合输入分类网络，实现动态手势识别。针对深度信息运用运动历史图像方法，将运动轨迹压缩到单帧图像，使用MobileNetV2提取特征。针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取。实验结果表明，在DHG-14/28数据集上，对14类手势识别精度达到93.29%,对28类手势识别精度达到92.25%。相对其他对比算法实现了更高的识别精度。     

基于Kinect与Unity3D的增强现实应用的设计与实现

增强现实(Augmented Reality,AR)是虚拟现实技术的一个重要分支,它强调的是真实与虚拟的无缝融合。传统的增强现实应用普遍存在设备昂贵、技术繁杂等问题。利用Kinect实时获取人体彩色图像数据、深度图像数据与骨骼关节点数据的强大功能,在Unity3D中设计与实现了一个利用手势交互控制、实时抠图并自动拍照的增强现实应用。应用测试结果表明:该应用可以很好地实现手势交互控制操作,实时合成使用者和其所选择的虚拟背景图片。同时,结合AR游戏,可以让更多的人以较低的成本体验增强现实技术带来的乐趣,具有较好的现实意义与推广性。     

可穿戴手势识别控制器

随着可穿戴电子设备的发展,基于手势识别的人机交互技术已经成为研究热点。为减小可穿戴设备的体积和优化手势识别算法,提出了一种具有手势识别功能手指可穿戴控制器的设计方案。控制器由集成陀螺仪和加速度计的MEMS惯性传感器、Wi Fi无线通信模块和嵌入式微处理器组成。通过Wi Fi无线通信协议将手势运动姿态数据传送到计算机,提取出6类手势运动特征量,通过决策树分类器对其进行分类处理,结合姿态角对手势进行识别,无需模板匹配。通过对20位实验者测试的数据表明,平均手势识别准确率为97%,无需对测试者进行手势预训练。     

基于深度图像技术的手势识别方法

针对复杂环境下的手势识别问题,提出一种基于深度图像技术的手势识别方法。利用深度图像信息从复杂环境中提取手势区域,综合手势的表观特征,建立决策树实现手势的识别。对常见的9种手势在复杂背景条件下进行测试,实验结果表明,手势的平均识别率可达到98.4%,速度达到每秒25帧。     

Multi-cue hand detection and tracking for a head-mounted augmented reality system

With the recent developments in wearable augmented reality (AR), the role of natural human–computer interaction is becoming more important. Utilization of auxiliary hardware for interaction introduces extra complexity, weight and cost to wearable AR systems and natural means of interaction such as gestures are therefore more desirable. In this paper, we present a novel multi-cue hand detection and tracking method for head-mounted AR systems which combines depth, color, intensity and curvilinearity. The combination of different cues increases the detection rate, eliminates the background regions and therefore increases the tracking performance under challenging conditions. Detected hand positions and the trajectories are used to perform actions such as click, select, etc. Moreover, the 6 DOF poses of the hands are calculated by approximating the segmented regions with planes in order to render a planar menu (interface) around the hand and use the hand as a planar selection tool. The proposed system is tested on different scenarios (including markers for reference) and the results show that our system can detect and track the hands successfully in challenging conditions such as cluttered and dynamic environments and illumination variance. The proposed hand tracker outperforms other well-known hand trackers under these conditions.     

Glove Based User Interaction Techniques for Augmented Reality in an Outdoor Environment

This paper presents a set of pinch glove-based user interface tools for an outdoor wearable augmented reality computer system. The main form of user interaction is the use of hand and head gestures. We have developed a set of augmented reality information presentation techniques. To support direct manipulation, the following three selection techniques have been implemented: two-handed framing, line of sight and laser beam. A new glove-based text entry mechanism has been developed to support symbolic manipulation. A scenario for a military logistics task is described to illustrate the functionality of this form of interaction.     

What Wearable Augmented Reality Can Do for You

This paper focuses on the present and near-future possibilities and technologies for wearable augmented reality. The paper provides an overview of the concept of wearable augmented reality and describes a current state-of-the-art system Tinmith. A number of benefits are presented, such as in situ information presentation, hands-free operation, ability to multitask, and navigation aids. The following five major application domains are examined as a means of highlighting the effectiveness of this technology: consumer help, entertainment, manufacturing, medicine, and navigation. The article provides some insights into technological hurdles yet to be overcome.     

基于深度信息的指尖追踪及手势识别

提出了一个基于深度信息对手指和手部进行实时跟踪,并可用于手势识别的方案。用Kinect获取深度信息,然后生成手部的三维点云,进行过滤转换成像素矩阵;使用K-curvature算法获取指尖和手掌方位,然后通过手指之间的相关距离进行手指标定。实验结果证明该方案识别追踪效果稳定且高效,不受光照和复杂背景影响,能够同时跟踪双手共10个手指和2个掌心的动作轨迹,并用于手势识别。     

结合图像识别的移动增强现实系统设计与应用

目的 在移动互联网时代下,移动增强现实应用得到越来越快的发展。然而户外场景中存在许多相似结构的建筑,且手机的存储和计算能力有限,因此应用多集中于室内小范围环境,对于室外大规模复杂场景的适应性较弱。对此,建立一套基于云端图像识别的移动增强现实系统。方法 为解决相似特征的误匹配问题,算法中将重力信息加入到SURF和BRISK特征描述中去,构建Gravity-SURF和Gravity-BRISK特征描述。云端系统对增强信息进行有效管理,采用基于Gravity-SURF特征的VLAD方法对大规模图像进行识别;在智能终端上的应用中呈现识别图像的增强信息,并利用识别图像的Gravity-BRISK特征和光流结合的方法对相机进行跟踪,采用Unity3D渲染引擎实时绘制3维模型。结果 在包含重力信息的4 000幅户外图像的数据库中进行实验。采用结合重力信息的特征描述算法,能够增强具有相似特征的描述符的区分性,并提高匹配正确率。图像识别算法的识别率能达到88%以上,识别时间在420 ms左右;光流跟踪的RMS误差小于1.2像素,帧率能达到23 帧/s。结论 本文针对室外大规模复杂场景建立的基于图像识别的移动增强现实系统,能方便对不同应用的增强现实数据进行管理。系统被应用到谷歌眼镜和新闻领域上,不局限于单一的应用领域。结果表明,识别算法和跟踪注册算法能够满足系统的精度和实时性要求。     

Integrating context-free and context-dependent attentional mechanisms for gestural object reference

We present a vision system for human-machine interaction based on a small wearable camera mounted on glasses. The camera views the area in front of the user, especially the hands. To evaluate hand movements for pointing gestures and to recognise object references, an approach to integrating bottom-up generated feature maps and top-down propagated recognition results is introduced. Modules for context-free focus of attention work in parallel with the hand gesture recognition. In contrast to other approaches, the fusion of the two branches is on the sub-symbolic level. This method facilitates both the integration of different modalities and the generation of auditory feedback.Published online: 5 October 2004Robert Rae: Now at PerFact Innovation, Lampingstr. 8, 33615 Bielefeld, Germany     

Innovative developments in HCI and future trends

The recent developments in technology have made noteworthy positive impacts on the human-computer interaction (HCI). It is now possible to interact with computers using voice commands, touchscreen, eye movement, hand gesture, etc. This paper compiles some of the innovative HCI progresses in various areas, e.g., specialised input/output devices, virtual or augmented reality, wearable technology, etc. It also identifies some future research directions.