基于Kinect骨骼信息与深度图像的指尖点检测

针对普通摄像头手势识别系统易受复杂环境和光照条件等因素影响,存在对指尖点的漏判、误判问题,提出一种基于Kinect 骨骼信息与深度图像的掌心点提取和指尖点检测的手势识别方法。在DRVI平台上创建Kinect的接口控件,对Kinect传感器获取人体骨骼信息和深度图像进行分析,采用了坐标映射、图像分割、距离变换的关键技术和方法从深度图中分割出手势部分区域,对手势区域形态学处理,结合凸包和K-曲率算法检测不同手势中指尖点的个数和位置,计算不同手势凸包轮廓上的点集生成的HOG(Histogram of Oriented Gradient)特征描述子,最后利用特征描述子对预定的6种数字手势进行识别。经实验测试可以在复杂环境和不同光照情况下正确识别指尖点。     

基于Kinect深度图像信息的手势跟踪与识别

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种利用深度信息进行手势提取和识别的研究方案。采用Kinect深度摄像头,通过中值滤波以及深度信息与邻域特点来分割手部区域并用Canny算子提取出手势轮廓,再以深度图像的凸缺陷指尖来完成对指尖的检测,从而实现对数字手势1到5的手势识别。该方法可快速有效地对指尖进行检测,鲁棒性和稳定性都比其他方法更好。实验结果表明,该手势识别方案的平均识别率达到92%,证明了该方法的可行性。     

一种基于深度图像的静态手势神经网络识别方法

静态手势识别是以手势驱动的人机交互系统的核心技术。针对静态手势识别问题,提出了一种基于深度图像进行静态手势识别的方法。为了消除静态手势识别过程中的平移、旋转和缩放不变性,提取手势轮廓的Hu不变矩,并以Hu不变矩作为特征构建静态手势深度感知神经网络模型,以此实现对静态手势进行分类识别。在VisualStudio的开发环境下实现了对该方法的验证,取得了良好的效果,并与传统的模板匹配法与基于卷积神经网络的深度学习方法作比较,静态手势识别准确率总体可达95%,识别效率高,能满足实时性要求。     

基于RGBD数据的静态手势识别

提出一种基于RGBD数据的手势识别方法,首先采用融合深度信息和彩色信息的手势分割算法分割出手势区域;其次提取静态手势轮廓的圆形度、凸包点及凸缺陷点、7Hu矩特征组成特征向量;最后采用SVM进行静态手势识别。实验结果表明,该方法能有效地识别预定义的5种静态手势,且对环境的适应性比较强。     

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。     

基于Kinect的指尖检测与手势识别方法

针对基于视频的弯曲指尖点识别难、识别率不高的问题,提出一种基于深度信息、骨骼信息和彩色信息的手势识别方法。该方法首先利用Kinect相机的深度信息和骨骼信息初步快速判定手势在彩色图像中所在的区域,在该区域运用YCrCb肤色模型分割出手势区域;然后计算手势轮廓点到掌心点的距离并生成距离曲线,设定曲线波峰与波谷的比值参数来判定指尖点;最后结合弯曲指尖点特征和最大内轮廓面积特征识别出常用的12个手势。实验结果验证阶段邀请了6位实验者在相对稳定的光照环境条件下来验证提出的方法,每个手势被实验120次,12种手势的平均识别率达到了97.92%。实验结果表明,该方法能快速定位手势并准确地识别出常用的12种手势,且识别率较高。     

基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于手轮廓的深度图像手势识别方法

提出了一种新的手势识别方法,该方法从深度图像中提取手形轮廓,通过计算手形轮廓与轮廓形心点的距离,使用离散傅里叶变换获得手势的表观特征,引入径向基核的支持向量机识别手势。建立了一个常见的10种手势的数据集,测试获得了97.9%的识别率。     

基于长短时记忆和深度神经网络的视觉手势识别技术

针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分 析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势 模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮 廓特征提取。其次,引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序 特征,进而分类识别手势。在此基础上,设计了一种空间上下文与时序特征融合的动态手势识 别机(GRSCTFF),并通过交警指挥手势视频样本库对其进行网络训练和实验分析。实验证明, 该系统 可以快速准确识别动态交警指挥手势,准确率达到94.12%,并对光线、背景和手势形 状变化具有较强的抗干扰能力。     

基于Leap Motion指尖位置的手势提取和识别技术研究

Leap Motion是最近推出的一款比较新颖的手部信息采集设备,它能够高精度、高帧率地跟踪捕获手部信息,基于此特性,本文阐述了一种基于指尖位置和方向信息进行手势提取和识别的研究方案。采用Leap Motion传感器进行手势的三维空间坐标信息采集,从中提取指尖坐标及方向向量信息,建立手势识别模型,构建手势特征数据。对特征数据进行归一化处理后输入到支持向量机进行训练,实现对特定手势的识别。实验结果表明,提出的手势识别方案平均识别精度达到97.33%,具有较高的准确性和鲁棒性。     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展, Leap Motion等体感传感器出现并被广泛地应用在人机交互中. 针对 Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法. 该方法在定义的交互手势基础上, 设计了三维交互系统并应用到虚拟场景中. 系统首先通过Leap Motion进行数据捕捉, 对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别, 然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势, 最终结合动态手势完成虚拟场景中的交互功能. 经过实验验证, 本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法, 同时在Leap Motion识别范围边界处仍能保持较高的识别率.     

基于Hu-GLCM的手势识别方法研究

针对手势识别过程中单一手势特征对手势描述的不足,提出了一种基于改进Hu矩和灰度共生矩阵GLCM的手势识别方法 Hu-GLCM。首先利用肤色模型对采集的图像分割出手势区域;其次采用数学形态学和多边形拟合的方法提取手势的单连通轮廓,利用改进Hu-GLCM算法提取手势的几何形状特征和纹理特征并建立模板数据库;最后通过扩展的Canberra距离对手势图像进行识别和分类。实验结果表明,该改进算法对7种手势的平均识别率达到95%以上,且计算速度快,能够满足实时性的需求。     

基于Leap Motion和支持向量机的手势识别

为了使手势识别在更多的领域得到推广及应用,提出了基于Leap Motion体感设备实时跟踪技术获取手势三维空间坐标信息的方法,并从中分别提取角度信息和相对坐标信息,构建手势特征数据,建立手势识别模型.对特征数据进行归一化处理后,利用支持向量机(SVM)分类器进行训练、建模和分类,实现手势识别.实验结果表明:以角度数据和坐标数据作为手势特征的方法可行,平均识别率分别为96.6%和91.8%.通过对比可以得出:以角度数据作为特征值具有较高的准确性和鲁棒性,并避免了单纯依照一种特征值产生的局限性.     

融合手势全局运动和手指局部运动的动态手势识别

传统基于手部轮廓或手部运动轨迹的动态手势识别方法,其提取的特征通常难以准确表示动态手势之间的区别.针对动态手势的复杂时序、空间可变性、特征表示不准确等问题,提出一种融合手势全局运动和手指局部运动的手势识别方法.首先进行动态手势数据预处理,包括去除手势无效帧、手势帧数据补全和关节长度归一化;然后根据给定的手部关节坐标,利用手势距离函数分段提取动态手势关键帧,并基于手势关键帧提取手在空间中的全局运动特征和手内部手指的局部运动特征;其次融合手势全局运动和手指局部运动的关键帧手势特征,并采用线性判别分析进行特征降维;最后利用带高斯核的支持向量机实现动态手势识别与分类.对DHG-14/28动态手势数据集中14类手势和28类手势数据集进行实验,其分类识别准确率分别为98.57%和88.29%,比现有方法分别提高11.27%和4.89%.实验结果表明,该方法能准确地表征动态手势并进行手势识别.     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

基于Kinect骨骼信息和改进重心距离法的指尖识别

针对肤色识别易受环境影响问题,提出了一种基于Kinect骨骼信息和改进重心距离法的手指指尖识别方法。首先采用微软Kinect摄像头获取人体骨骼信息,并将双手坐标点的三维信息转换成彩色图上的二维信息进行手掌区域的提取。然后利用OpenCV基于肤色检测算法将手掌轮廓从背景图像中分割出来。最后针对重心距离法鲁棒性差的特点提出一个改进因子。实验结果证明,该方法可以高效地检测出手指的指尖位置,识别出人体的手指。实验结果表明该方法能有效排除类肤色区域和手指轮廓不足对指尖检测造成的影响,具有较高的检测精度。     

基于手势识别的文字输入系统

基于视觉的手势识别是实现新一代人机交互的关键技术。通过手势识别向屏幕输入文字以供搜索查找的系统基本没有,在现有的手势识别基础上,利用汉语字母和数字对应的手语作为输入手势,采用微软的kinect获取深度图像,对其进行手势分割。通过Canny算法提取手势的边缘,利用小波矩提取特征,得到手势字母,实现了具有手势识别以及基于文字输入功能的系统。实验表明该系统能够准确有效地实现汉字的输入。