基于嵌入式系统的手势识别

随着嵌入式技术不断普及,小型化、操作自由、交互智能成为新一代人机交互技术的发展趋势,基于嵌入式的手势识别就是其中的一项关键技术。主要是成功将OpenCV移植到嵌入式平台,通过V4L2架构实现USB摄像头的视频采集以及LCD显示,利用OpenCV丰富的视觉库实现色彩空间转换,转换到HSV空间,阈值分割得到二值化图像,最后通过滤波处理、轮廓提取、轮廓树匹配的方法实现手势识别,实践证明通过该方法实现嵌入式系统的手势识别可行。     

应用交叉覆盖算法实现静态手势识别

静态手势识别是实现人机交互的前提和基础,多数手势识别采用模板匹配或人工神经网络算法。基于交叉覆盖算法的手势识别,首先通过摄像头采集到的手势图像经过灰度变换、平滑、二值化等预处理,在训练阶段,用交叉覆盖算法对二值化手势图像进行训练以得到手势分类,最后在测试集上进行手势识别。实验结果表明,由于该算法避免了优化过程中所需的巨大运算量,且允许分类目标在一定范围内的动态变化,手势识别的准确率得到有效提高。     

基于手势识别的人机交互技术

文章将现有人机交互方法与基于计算机视觉交互方法进行了对比,列举了该交互技术的优点及可行性,并提出了一种利用摄像头采集手势进行人机界面交互的方法,研究了并进一步实现了基于图像的手势分析、识别等关键技术.通过一系列实验结果表明,基于文中技术实现的一套系统能够实时地跟踪手的运动,并识别出手势结果,实现实时的人机手势交互.     

融合手势识别和终端用户评估的交互控制

基于RGB图像的手势识别因其对设备要求低、采集数据方便等在人机交互领域得到广泛的应用.在RGB图像的手势识别与交互过程中,一方面由于RGB的手势图像在采集过程中存在光照影响导致利用肤色信息进行手势分割的效率较低,另一方面用户对交互手势的认知与设计师设计的手势有差异,导致用户交互体验反馈较差.针对这两个问题我们进行了系统性的优化:首先把用户的认知与交互手势设计原则联系起来建立手势共识集;其次进行手势图像的色彩平衡处理,利用椭圆肤色模型分割手势区域;然后将二值化手势图像输入到Mobile Net-V2轻量化卷积神经网络进行手势识别率的计算.手势的终端用户主观评价与手势识别技术结合可以较系统地为交互任务进行手势设计,减少用户在实际交互过程中的认知偏差,提高交互系统的可用性和效率.     

基于动态手势的人机交互系统的研究与设计

该系统是一个基于手势手套、无线中继控制站、上位机端等部分组成的包含手势采集、传输、识别控制及处理的系统;手势手套主要由弯曲传感器、陀螺仪加速度计、电阻电压转换电路和无线通信模块组成,来实现手势信息的采集、去噪、前压缩、解算等功能,并通过无线通信将实时手势信息交付给上一层;无线中继端将其与多种传感器电路、显示屏、摄像头、通信接口和常用的工业控制接口等集成到一块上,采集其他传感器信息结合前级的手势信息,在短时间深度上对多种信息进行融合并通过控制算法输出给控制器件;上位机主要负责手势信息的建模还原和更长时间序列上和多维度的信息处理;网络云端可以实现手势信息的大数据处理、匹配和远程交互等功能。经实际检测达到了理想的设计要求。     

图像识别的静态手势识别与动态跟踪系统设计

本文研究了图像手势识别和增强现实技术,设计了可以进行静态手势识别和动态跟踪的系统,通过提前录入不同手势,利用皮肤颜色对图像进行OSTU自适应阈值划分,建立二值化图像,与已知的手势进行匹配,以得到手势结果。实验结果表明,准确率达到96.8%,识别速度达到0.55 s。动态跟踪利用检测每帧图像中手部的位置进行定位和捕捉,图像捕捉帧数达到28帧/s,对手势静态识别和动态跟踪实现了人机之间的良好交互。     

基于手势识别算法的鼠标终端

提出了一种基于静态手势与动态手势的识别算法,并结合Windows API的鼠标类函数实现鼠标操作.首先,通过图像处理技术把从摄像头捕捉的原图像转换为可信度较高的二值图像;其次,调用静态手势识别算法识别展开的手指个数,根据手指个数,结合Windows API的鼠标类函数实现鼠标双击及移动功能;最后,当检测到手指个数为5时,调用动态手势识别算法来识别手势的上下左右四个方向,并结合Windows API的鼠标类函数模拟鼠标左右键按下、抬起及滚轮滑动等操作.实验表明,该手势识别算法的识别率达到了94.11%,对于一些开发平台没有鼠标或在使用鼠标不方便的情况下,用手势来替代鼠标输入具有一定的研究价值和意义.     

基于混合现实的远程协同式装配维修引导

提出一种基于混合现实设备 HoloLens 头盔的一种远程协同装配维修系统。利用 HoloLens 的深 度摄像头和摄像头对空间的感知能力,通过改进手势识别算法将专家端的二维手势操作转换为用户端的三维动 画标识。这种简洁生动的三维动画标识通过空间锚点固定在相应的空间位置上,为操作人员开展下一步操作提 供清晰的指引,且无需放下手头工作与计算机进行手势交互,实现了专家-用户模式的远程协同工作。相对于 传统的协同式系统,实验验证了该文开发的协同式装配维修引导系统的友好性和实用性。     

基于增强现实的人机物理交互仿真系统研究

在增强现实系统中,真实物体和虚拟物体除了要实现视觉上的融合之外,还要能够实现视觉交互和物理交互.仿真系统采用了基于单目视觉的ARToolKit增强现实开发平台,首先对CMOS摄像头采集的图像进行处理,利用模式识别的方法对标识物进行图像匹配,然后对从标识物坐标系到摄像机坐标系的变换矩阵进行计算,实现虚实注册,最后通过对标识物空间位置的改变实现了虚实物体问的单向物理交互.实验结果表明,该系统操作简单直观,具有良好的实时性,交互性及可扩展性.     

用于移动设备人机交互的眼动跟踪方法

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对眼球红外图像进行滤波、二值化处理,进而基于瞳孔-角膜反射法,结合二次定位和改进的椭圆拟合方法检测瞳孔,设计缩放因子驱动的模板匹配法检测普洱钦斑;在此基础上,计算注视点坐标等眼动数据;最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统.实际用户测试结果表明,该系统舒适度适中,并具有较高精度和鲁棒性,从而验证了文中方法在移动式交互中的可行性和有效性.     

A Real-Time Approach to the Spotting, Representation, and Recognition of Hand Gestures for Human–Computer Interaction

Aiming at the use of hand gestures for human–computer interaction, this paper presents a real-time approach to the spotting, representation, and recognition of hand gestures from a video stream. The approach exploits multiple cues including skin color, hand motion, and shape. Skin color analysis and coarse image motion detection are joined to perform reliable hand gesture spotting. At a higher level, a compact spatiotemporal representation is proposed for modeling appearance changes in image sequences containing hand gestures. The representation is extracted by combining robust parameterized image motion regression and shape features of a segmented hand. For efficient recognition of gestures made at varying rates, a linear resampling technique for eliminating the temporal variation (time normalization) while maintaining the essential information of the original gesture representations is developed. The gesture is then classified according to a training set of gestures. In experiments with a library of 12 gestures, the recognition rate was over 90%. Through the development of a prototype gesture-controlled panoramic map browser, we demonstrate that a vocabulary of predefined hand gestures can be used to interact successfully with applications running on an off-the-shelf personal computer equipped with a home video camera.     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

复杂背景下的手势分割与识别

目前在基于单目视觉的手势识别中,手势分割技术几乎都是基于简单的背景或者要求 手势者带有特殊颜色的手套,给人机交互增加了一定的限制.本文融合人手颜色信息和手势运 动信息,两次利用种子算法对复杂背景下的手势进行分割.根据分割出的手区域大大加速了运动 特征参数的提取,并结合手区域的形状特征,建立手势的时空表观模型.识别时,采用独立分布的 多状态高斯概率模型,进行时间规整.手势训练集和测试集的识别率分别为97.8%和95.6%.     

基于表观的动态孤立手势识别

给出一种基于表观的动态孤立手势识别技术.借助于图像运动的变阶参数模型和鲁棒回归分析,提出一种基于运动分割的图像运动估计方法.基于图像运动参数,构造了两种表观变化模型分别作为手势的表观特征,利用最大最小优化算法来创建手势参考模板,并利用基于模板的分类技术进行识别.对120个手势样本所做的大量实验表明,这种动态孤立手势识别技术具有识别率高、计算量小、算法稳定性好等优点.     

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.     

基于曲率局部二值模式的深度图像手势特征提取

针对复杂环境下的深度图像手势特征提取信息冗余量大、编码不稳定等问题,提出了一种改进的基于曲率局部二值模式（LBP）的深度图像手势特征提取算法。该算法首先通过坐标转换将分割出的手势深度数据转换为点云数据;其次利用移动最小二乘法对手势点云数据进行曲面拟合;然后计算出能够更加准确描述物体三维表面几何信息特征的高斯曲率;最后利用改进的LBP均匀模式对高斯曲率数据进行编码形成特征向量。在美国手语（ASL）手势数据库上该算法的平均识别率达到了92.1%,与3D局部二值模式（3DLBP）和梯度LBP相比分别提高了18.5个百分点和13.7个百分点。实验结果表明,该算法可以区分外部轮廓相似但内部结构不同的手势,有效提高了在描述手势深度图像内部细节方面的准确性。     

复杂环境中多信息融合的手势识别

针对复杂环境中的手势识别问题,提出了一种融合深度信息和红外信息的手势识别方法。首先利用Kinect摄像头的深度信息进行动态实时手势分割,然后融合红外图像复原手势区域。解决了实时手势分割和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。经实验验证,提出的方法不仅不受环境光线的影响,而且可以识别区分度较小的手势,对旋转、缩放、平移的手势识别也具有鲁棒性。对于区分度较大的手势,识别率高达100%。     

基于深度信息的手势识别算法研究

针对在复杂背景中传统手势识别算法的识别率低问题,利用Kinect的深度摄像头获取深度图像,分割出手势区域后进行预处理;提取手势的几何特征,并提出深度信息的同心圆分布直方图特征,融合手势的几何特征和深度信息的同心圆分布直方图特征;学习训练随机森林分类器进行手势识别.文中通过在复杂背景条件下对常见的“石头”、“剪刀”、“布”3种手势进行测试,实验结果表明:文中所提方法具有很好的平移,旋转和缩放不变性,能适应复杂环境的变化.