仿真假体视觉下基于深度图像的手势识别研究

针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,研究使用Kinect获取彩色图像以及深度图像进行手势识别。通过Kinect提取的骨骼信息与提取的深度图像结合,将人体与背景图像分离,对OpenCV库分离后的图像进行降噪,并进行像素化处理。在不同分辨率(32×32,48×48,64×64)下进行彩色图像和深度图像的手势识别实验。实验结果表明,随着分辨率的增加,手势识别的准确率也不断增加。同一分辨率下,深度图像下的手势识别率总体高于彩色图像下的手势识别率,且在32×32分辨率下,二者差异显著。     

基于Kinect的虚拟试衣系统设计与实现

本项目主要通过Kinect摄像头捕获人体数据,彩色数据和深度数据,对采集到的数据作处理,生成人体骨骼模型,方便对人体骨骼定位;进而设计算法使衣服图像适配人体,再根据识别人体手势,做逻辑处理之后,然后通过Kinect体感器将信息发送给PC,形成操作命令,最终使人体可以操控衣服。本项目的 Kinect虚拟试衣不仅可以让用户试看衣服的款式,还可以通过体感技术实时与外界进行交互,从而让试衣过程更加便捷和逼真。整个系统可广泛应用在家庭、商场及网络购物等场景中。     

基于Kinect传感器的家电手势控制应用研究

为提高智能家电的人机交互性,研究实现了一种基于Kinect传感器的手势识别系统,用户通过该系统可手势控制电视的多种操作功能。对常见的三种动态手势识别算法进行分析对比后,结合应用需求,重点研究了动态手势识别DTW算法。基于Kinect for windows SDK获取的手势深度图像和骨骼图像数据,采用DTW算法进行识别,最后给出了程序实现。实验表明,该方法可实现多种电视控制功能,而且具有较好的实时性和准确性。     

基于3D体感技术的动态手势识别

提出了一种基于3D体感机Kinect的图像处理手势识别算法,通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect提供的骨骼图像中20个骨点中,选取2个离手部最近的骨骼点,通过追踪这两个骨骼点的位置来实现对手部的追踪,再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。     

Kinect在PC端的应用与研究

Kinect是由微软开发,应用于Xbox 360游戏主机的周边设备。在游戏中可以实现对人体动作的跟踪与识别。而在电脑端则一直难以实现准确的人体动作识别。本文通过微软Kinect摄像头和电脑的结合,加以软件对景深图像的分析以及骨骼跟踪算法的计算,在PC端实现对人体动作的识别,来达到更高层次的人机交互。     

基于Kinect深度图像的人体识别分析

介绍了深度图像在模式识别中的研究现状及其在人体识别中的应用。针对目前普通相机拍摄的图像识别在光照、姿态、遮挡等因素影响下性能下降的问题,以微软推出的Kinect设备为平台,通过分析Kinect相机获取的深度图的特征,提出以综合点特征和梯度特征的局域梯度特征的方式来对人体部位区分判定,并以手肘为例作了简要论证。     

基于Kinect的空中手势跟踪识别的研究与实现

本文以肢体语言中的手势为出发点,利用微软的Kinect体感设备,采集RGB彩色图像和深度图像,研究并提出一套手势跟踪识别的设计思路与实现方法。首先,利用Kinect所获取的色彩及深度信息,建立人体骨骼图从而更方便地定位手部位置并获取手部轮廓。其次,从HSI彩色空间对手部的深度图像进行二值化,并进行腐蚀、细化处理,去除手掌掌心部分。最后,通过对手指的计数定义相应操作。经实验测试,该系统具有对手势的识别功能,可以达到用空中手势动作进行人机交互的目的。     

基于Kinect的人体动作识别算法研究

针对现有的复杂背景下人体动作识别中存在识别准确率不高和实时性不强等问题,提出基于Kinect骨骼数据的改进动作识别算法。通过Kinect获取骨骼数据,提取出人体关节的特征向量,然后用模板匹配的方法对人体动作进行识别。通过搭建机器人体感控制系统验证了算法的可行性。在相同实验条件下测得算法的平均识别率为95.2%,平均识别时间为32.5ms。与其它动作识别算法比较,证明了算法的识别率较高、实时性较好。     

一种基于改进DTW算法的动态手势识别方法

结合Kinect传感器提出了一种基于改进的DTW算法的动态手势识别方法。首先,通过SDK对Kinect传感器获得的深度信息进行分析,获得人体骨骼点3D位置,选取其中4个点作为手部运动特征;然后,用加权距离和全局路径限制的方法对传统的DTW算法进行改进;最后,用改进的DTW算法进行模板训练和实现动态手势的识别。实验表明：该方法能很好地实现动态手势的识别,实时性好,在背景干扰和光照方面有较强的鲁棒性,较传统的DTW算法在识别速度和识别正确率方面有所提高。     

一种深度图像修复算法研究

针对Kinect传感器获取的深度图像包含大量噪声和缺失深度信息的孔洞等缺点,提出一种基于区域分割和联合双边滤波的深度图像修复算法。深度图像中不同区域具有不同的噪声特性,现有的深度图像修复算法采用单一的滤波参数对整幅深度图像进行处理具有盲目性和无法有效保持滤波后深度图像的结构信息的缺点。文中在深度图像分割的基础上,根据分割区域内的噪声属性自适应地确定该区域滤波参数,实现深度图像的去噪和孔洞修复。文中算法与联合双边滤波算法对Kinect深度图像修复的对比实验表明,文中算法能有效去除深度图像的噪声和修补缺失深度信息的孔洞,且修复后的深度图像峰值信噪比高于联合双边滤波算法处理后的深度图像峰值信噪比,并能较好的保护深度图像的区域结构。     

基于Kinect深度技术的障碍物在线快速检测算法

针对在未知环境中移动机器人自主导航面临的障碍物实时检测问题,提出了一种基于Kinect深度技术的障碍物在线快速检测算法。在深度摄像机标定基础上,分析了摄像机运动造成视频流中的场景变化,重点研究了室内动态背景下的Kinect深度图像特征和障碍物在线快速检测。建立室内动态背景模型,采用背景减除法和连通体分析提取障碍物并归类,实现了对Kinect视频序列图像的在线快速检测。以轮式移动机器人为实验平台,验证了所提出算法的实时性、准确性和鲁棒性。     

基于Kinect和金字塔特征的行为识别算法

提出了一种基于Kinect和金字塔特征的行为识别算法。在算法中,Kinect不仅能够获得RGB信息,还能获得与RGB信息对应的深度信息;而金字塔特征不仅描述了人体行为的全局形状和局部细节信息,而且还描述了人体行为的空间信息。通过不同核函数的支持向量机(SVM)分类器在具有挑战性的DHA数据集的试验结果表明,金字塔特征在RGB和深度图上都能获得令人满意的性能,且当深度特征和RGB特征融合时,其性能获得了进一步的提高,识别率达到96.2%,远高于一些具有代表性的行为描述子。     

深度图像的目标潜在区域提取算法

目标检测和识别算法通常使用复杂特征以多尺度滑动窗的方式进行分析,运算效率往往非常低。因此,目标性被引入进行目标潜在区域的快速预判断,减少复杂特征需要分析的窗数,从而达到加速算法效率的目的。针对逐步普及的Kinect深度像机,该文提出了一种基于深度图像的目标性分析算法,以提升深度图像的目标检测识别算法的效率。首先基于深度图像的法向量,提出能够有效描述深度图像边缘信息的特征,然后通过支撑向量机学习目标性的分类器,以得分的形式给出候选区域中存在目标的概率,最后基于人眼的视觉机理对不同尺度的目标进行加权。通过深度图公共数据库的实验对比,该算法给定1000个候选区域时达到94.1%的召回率,保证了准确率的同时大大减少了区域数量,能有效的提升目标检测识别算法的效率。      

基于Kinect传感器的近场手势识别追踪系统的实现

利用Kinect深度传感器所获取的图像深度信息实现手部从背景中的分割,并通过零均值离散高斯滤波、二值化、取最小外包矩形、欧式距离变换等一系列过程对手势目标进行识别,最后把得到的识别结果显示在电脑上,实现实时追踪。该系统相较其它类似系统具有算法简单,实时性好,实现成本低等特点。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

基于深度学习的人体骨架动作识别

基于人体骨架的动作识别具有鲁棒性和视点不变性的优点,为进一步提高骨架动作识别的识别率,打破以往大部分基于深度学习的方法的输入内容为人体关节坐标的局限性,文中提出一种将几何特征与LSTM网络结合的人体骨架动作识别算法。该算法选择基于关节与选定直线之间距离的几何特征作为网络的输入,引入了一种时间选择LSTM网络进行训练。利用时间选择LSTM网络拥有选出最具识别性时间段特征的能力,在SBU Interaction数据集和UT Kinect数据集上分别取得了99.36%和99.20%的识别率。实验结果证明了该方法对人体骨架动作识别的有效性。     

融合快照集成与知识迁移的人体行为识别算法

用卷积网络进行人体行为识别是毫米波雷达的一个热门研究方向。由于卷积网络结构的缺陷性,而且目前用于人体行为识别公开的雷达领域数据样本量过少,传统深度学习算法对雷达微多普勒图像的识别率不高,且在训练过程中容易出现过拟合的现象。针对上述问题,本文提出一种融合快照集成与迁移学习的雷达人体行为识别算法。首先,针对深度卷积网络无法提取图像全局特征的问题,该算法通过搭建Vision Transformer(VIT)模型引入注意力机制。其次,通过VIT模型在公开自然数据集上进行任务迁移和特征空间的迁移,解决微多普勒图像的识别过拟合的问题。最后,利用基于快照集成的投票机制算法,提升模型对复杂雷达微多普勒图像的识别能力。试验结果表明,在目标任务数据集样本量少、背景复杂的情况下,该算法能在不增加训练成本的前提下提升微多普勒图像的识别准确率,在VIT模型下该算法识别准确率达到了89.25%,优于经典卷积神经网络。     

基于Kinect人体动态三维重建

从图像中恢复出三维物体表面模型的方法称为3D重构,是计算机图形学研究领域中一个重要的研究方向。准确可靠的三维动态几何重建在影视制作和游戏开发中具有重要作用。不同于静态物体表面三维重建,动态几何三维重建需要研究帧与帧之间准确的对应信息。本文提出的方法基于单个Kinect硬件系统,利用Kinect重建出人体的静态三维模型,结合Kinect识别出的骨架进行人物的动态三维模型重建。     

基于立体视觉的人体头部目标识别研究

使用立体视觉系统可确定任意物体的三维轮廓及其表面任意点的位置信息和深度信息。本文将立体视觉运用于人体头部目标检测,设计了一种基于图像深度信息处理的人体头部识别系统。系统采用Xtion摄像机采集场景的深度图像,并对其进行特征分析,根据深度图像的特点以及头部的特征确定头部目标区域。再对目标区域采用Mean Shift算法进行聚类处理,得到清晰的图像边缘。最后通过基于动态阈值的一维熵函数分割法实现头部的分割识别。该系统可快速锁定目标区域,减少了算法的计算量,大大提高了系统的识别速度。此外,采集深度图像的xtion摄像机悬挂在目标场景的正上方,因而较好的解决了目前人体目标检测受遮挡的问题。经实验论证,该系统有较高的识别精度。     

基于Kinect的实时人体姿势识别

Kinect的实时骨骼跟踪技术获取身体关节点的三维位置信息,为进行人体姿势识别提供了丰富的信息,拟在三维关节点位置信息的基础上,建立一种实时的人体姿势识别系统。选择关节角度作为姿势特征,结合逻辑回归（logistic regression,LR）分类算法对54种姿势进行识别研究。实验结果表明,该姿势识别系统可以准确实时地识别人体姿势。