基于Kinect深度信息的手势识别

设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。     

基于Kinect深度信息的动态手势识别

针对复杂动态手势识别问题,本文首先通过体感传感器Kinect获取人体深度图像,利用阈值分割法分割出手势深度图像,然后建立由隐马尔可夫模型(HMM)和模糊神经网络(FNN)相结合的HMM-FNN模型进行动态手势识别。本文的动态手势主要是针对虚拟变电站中对设备的常用操作手势来进行人机交互研究的。HMM-FNN模型将复杂动态手势特征分解为三个子特征序列,分别建立HMM模型,然后进行模糊推理对手势进行分类识别。经实验验证,HMM-FNN模型能快速有效识别复杂动态手势,且鲁棒性强,识别效果明显优于HMM模型。     

基于Kinect深度信息的人体运动跟踪算法

大多数人体跟踪算法鲁棒性不高的主要原因是对人体的颜色特征进行跟踪,针对此问题设计了基于Kinect深度信息的人体运动跟踪算法。通过分析Kinect获取的深度图信息来对人体轮廓进行区分判定,提取前景目标区域以及计算目标区域的深度直方图。通过对深度直方图进行分析去除背景区域部分,根据获取的深度直方图求取跟踪图像的深度反向投影;最后结合Camshift算法确定当前选取目标区域的尺寸和中心位置来进行对人体的实时跟踪。实验结果表明,该算法提取的目标特征具有较强的鲁棒性,避免了光照变化和背景相似情况下的不稳定问题,能实现复杂场景下的人体目标跟踪。     

改进的多特征融合手语字母识别方法

为了实现手语视频中手语字母的准确识别,提出一种基于DI_CamShift(depth image CamShift)和手语视觉单词(sign language visual word,SLVW)特征结合的算法.首先,采用Kinect获取手语字母手势视频及其深度信息;其次,通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;再次,使用基于深度积分图像的大津法(OTSU)分割手势并提取其尺寸不变特征转换(scale invariant feature transform,SIFT)特征和Gabor特征,并通过典型相关分析(canonical correlation analysis,CCA)方法进行特征融合;最后,构建SLVW词包并用支持向量机(support vector machine,SVM)进行识别,单个手语字母最高识别率为99.89%,平均识别率为96.34%.     

基于人体手臂关节信息的非接触式手势识别方法

为了实现在复杂环境中对连续动态手势的识别,以人体固有的手臂关节之间的约束关系及特定手势在三维空间的运动轨迹为特征,提出了一种非接触式手势识别方法. 首先,通过Kinect传感器获取人体手臂关节的三维数据;然后,对手势轨迹进行分割,并将具有三维空间特征的手势轨迹转化为一维的手势轨迹;最后,将手势预判断过程与改进的动态时间规整( dynamic time warp, DTW)算法相结合,实现对动态手势的快速高效识别. 实验结果表明:该方法对具有时空连续特征的动态手势识别率较高,在复杂背景和不同光照环境中都有较强的鲁棒性.     

基于层次化BoF模型和Spectral-HIK过滤的手势识别算法

为了解决基于计算机视觉的人类手势识别问题,提出一种名为层次化Bag-of-Features(BoF)的模型.该模型通过对人手区域进行划分和对图像特征分别向水平和垂直轴投影来提取图像特征的空间分布信息.为了准确快速地实现手势识别,构建一种基于直方图交叉核的手势识别分类算法.该算法结构简单、运行效率高,而且充分利用层次化BoF模型的结构特点.为了进一步提高在复杂背景下手势识别准确率和运行效率,采用一种基于谱和直方图交叉核的背景特征点过滤算法.实验结果显示,所提算法对于简单背景下的手势识别准确率可达99.79%,而对于复杂背景下的识别准确率为80.01%.     

基于视频数据特性的动态手势识别

针对现有动态手势识别方法环境适应性低、计算复杂的问题,提出了一种基于视频数据特性的动态手势识别方法.使用基于密度的聚类算法DBSCAN直接从视频编码数据中的运动矢量提取出运动趋势特征,再通过随机森林分类运动趋势,结合卷积神经网络（CNN）提取的手型特征识别动态手势.实验结果表明,该方法对剑桥大学和美国西北大学数据集中动态手势的平均识别率分别达到94.22%和94.48%,并且与CNN结合长短期记忆网络的识别方法相比,手势识别时间减少了85%.在背景图像复杂且光照条件不足时,该方法仍然能够维持较高的识别率,表现出较好的鲁棒性.     

基于Kinect深度和骨架信息的指尖检测方法

为克服指尖检测方法易受不同光照、复杂背景和手腕信息的影响,提出了一种基于深度和骨架信息的指尖检测方法.首先对Kinect获取的深度图像进行中值滤波和形态学闭操作处理,以消除噪声和填充空洞; 接着通过骨架跟踪得到的右手关节点锁定用户并进行手势分割; 然后在计算手心和最高指尖点位置的基础上,利用Freeman链码提取手势左右轮廓; 最后根据指尖点之间的轮廓曲线特征提取其他指尖点.实验结果表明,该方法具有良好的指尖检测效果,且对光照、背景和手腕信息鲁棒.     

基于Kinect传感器的音乐喷泉控制系统

利用Kinect传感器的手势识别技术对喷泉进行控制的理论和实现方法,采用Kinect深度图像的骨骼跟踪和动态图像识别技术提取各种手势动作,替代计算机的键盘和鼠标实现人机互动。将Kinect采集的三维数据转换为控制音乐喷泉的二维数据,通过PC机串行接口下传到喷泉控制器实现对喷泉的水型和灯光的多种变化的控制。Kinect采用的自然人机交互技术使计算机像人一样对外界进行反应,增强人机交互体验,丰富音乐喷泉的功能和人们的乐趣。     

基于边缘检测的Kinect深度图像去噪算法

Kinect实时提取的深度图像映射得到的彩色图像以及目标背景分离图像边缘存在明显锯齿,且图像噪声大,质量较差。对此提出一种针对Kinect深度图像去噪算法。运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘;进而根据获取边缘信息对深度图像进行分类,边缘区采用单向多级中值滤波算法进行降噪处理,而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰,噪声较小的高质量深度图像,实验证明了算法的有效性。     

基于视角不变的三维手势轨迹识别

提出了一种新颖的基于视角不变的三维手势轨迹识别方法,手势分割采用Kinect传感器获取图像深度信息,通过先定位起始点再定位结束点的方法定位手心点,使手势轨迹点定位有自动无延时的特性。采用改进的质心距离函数表示视角不变的三维轨迹特征,隐马尔可夫模型用于训练和识别有效的轨迹。实验结果表明,该方法具有光照及复杂背景鲁棒性,数字0～9的平均识别率可达97.7%。     

基于Kinect的配电作业机器人智能人机交互方法

为实现操作人员与配电作业机器人的自然交互,提出一种基于Kinect手势识别的配电作业机器人智能人机交互方法。通过Kinect的深度信息及骨骼信息对操作人员的手势进行分割,选取几何不变矩Hu矩作为手势特征,采用支持向量机(support vector machine, SVM)的机器学习方法分类识别操作人员的手势。将手势映射为机器人的运动,通过手势对机器人进行运动控制。试验结果验证了本研究所提的配电作业机器人智能人机交互方法的可行性。     

基于Kinect视觉功能的机器人控制方法

介绍了一种基于Kinect装置的机器人控制方法,该方法涉及机器人控制领域,并且具体应用于两轮自平衡机器人运动控制和人机交互系统。该方法针对两轮自平衡机器人的运动控制系统利用Kinect与DTW手势识别算法对其进行控制。实验结果表明：该方法能够实现人与两轮自平衡机器人的自然交互控制,并且具有良好的实时性和鲁棒性。     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

基于Kinect深度信息的指尖检测

指尖检测是目前人机交互研究的热点之一,针对基于普通摄像机的指尖检测容易受到复杂背景的影响而无法准确定位的问题,提出了基于Kinect深度信息的指尖获取方法。利用Kinect获取的深度信息将手单独分离出来,从而更好的实现手或手指与虚拟物体的交互。研究了一种利用NITE库函数定位手的位置的方法,根据获取的手的位置能够迅速而准确的从复杂背景中提取手部信息。再利用道格拉斯-普克算法得到手的轮廓曲线,最后利用轮廓分析法从凸包点中识别出指尖。实验表明该方法能够精确的定位到手的各个指尖位置,识别率达到80%,该方法实现简单,实时性好,有较好的鲁棒性。     

基于整体和个体分割融合的双人交互行为识别

在人类交互行为识别领域,基于RGB视频的局部特征往往不能有效区分近似动作,将深度图像（Depth）与彩色图像（RGB）在识别过程中进行融合,提出一种融合Depth信息的整体和个体分割融合的双人交互行为识别算法。该算法首先分别对RGB和Depth视频进行兴趣点提取,在RGB视频上采用3DSIFT进行特征描述,在Depth视频上利用YOLO网络对左右两人兴趣点进行划分,并使用视觉共生矩阵对局部关联信息进行描述。最后使用最近邻分类器分别对RGB特征和Depth特征进行分类识别,进一步通过决策级融合两者识别结果,提高识别准确率。结果表明,结合深度视觉共生矩阵可以大大提高双人交互行为识别准确率,对于SBU Kinect interaction数据库中的动作可以达90%的正确识别率,验证了所提算法的有效性。