基于Kinect跑步机系统

研发了一种基于Kinect的跑步机系统,并提出了跑步系列动作识别算法. 该系统基于Unity游戏引擎、3DSMax、Maya、Photoshop建模和平面设计软件开发,运用微软Kinect体感设备和个人电脑获取人体跑步时各种动作的骨骼点数据,结合运动特征分析研发了基于骨骼绑定的跑步、挥手、跳跃、蹲下各种动作的识别算法,通过对人体动作的识别从而实现人机交互的跑步健身游戏娱乐运动. 实验数据表明基于骨骼绑定的动作识别算法的有效性,该跑步机系统硬件设备体积小,它通过人的肢体动作而不是鼠标键盘来操作跑步机软件,同时结合了跑步健身和游戏娱乐等功能,部分代替了传统跑步机的作用,具有很好的体感交互效果和实用价值,研究成果可以用于更多的人机互动应用领域.     

基于Kinect v2的实时精确三维重建系统

快速、低成本、精确的三维扫描技术一直是计算机视觉领域研究的热点.首先,本文分析了新一代Kinect v2（Kinect for windows v2 sensor）的技术参数、测量原理.设计实验测得其深度精度与测量距离成线性变换关系.其次,Kinect v2深度数据含有大量的噪声尤其是在物体边缘,常用的双边滤波器等去噪算法不能很好的去除这些噪声,对此本文设计了一种有效的去噪算法,提高重建质量.最后,实现了一套基于新一代Kinect v2重建系统.实验结果表明,本文中的重建系统能够实时精确的重建物体,可以广泛应用于低成本的快速三维成型.     

基于Kinect的体感虚拟鼠标研究与开发

利用微软Kinect体感设备进行骨骼数据采集,开发出一款利用手势动作控制计算机的体感虚拟鼠标软件。并在开发过程中设计并提出一种基于RGB-D信息的人体手势动作检测及识别方法来处理Kinect输出的彩色影像和深度影像。该方法分别利用DBSCAN与K-means聚类算法获取手势操作特征中的位置信息和方向信息来识别手势操作,实验结果证明了该方法的可行性。借助基于该方法开发的虚拟鼠标软件,用户只需要做出一些简单的手臂动作即可操作虚拟鼠标完成对计算机的控制。     

基于Kinect的机器人辅助超声扫描系统研究

提出一种采用Kinect传感器作为视觉伺服的机器人辅助超声扫描系统,来规划引导机器人的扫描路线,以实现机器人辅助的超声扫描操作。系统由Kinect传感器、机器人和超声探头组成。采用Kinect实时获取超声探头的RGB图像和深度图像,并计算探头当前位姿,结合坐标系配准结果,得到机器人的位姿信息,再根据术前的机器人轨迹规划,引导机器人的超声扫描路径。开展腿部模型实验验证本系统的可行性,通过对Kinect传感器的相机标定实验,计算得到了RGB相机和深度相机的内外参数,通过对探头上标识物的定位,进而计算出探头当前位姿,结合Kinect与机器人坐标系的配准结果,得到了两者的转换矩阵,并对机器人的位置给出指令,引导机械臂夹持探头到达指定扫描位置。在机器人夹持超声探头扫描过程中,实时计算探头与腿部之间的距离,以保证所采集超声图像的质量及扫描操作的安全性。实验结果表明,在Kinect视觉系统的导航引导下,机器人可以夹持超声探头实现自主超声扫描,以减少超声医师的扫描时间,降低医师的劳动强度。     

面向Kinect运动数据的鲁棒足迹检测

目的 Kinect可实时获取运动数据且较传统的运动捕捉设备采集成本低廉,在运动数据捕捉方面得到了广泛应用。但Kinect获取的运动数据精度较低,现有运动数据处理算法难以适用。方法 针对运动数据处理的关键步骤足迹检测问题,提出面向Kinect运动数据的鲁棒足迹检测算法。首先使用自适应的双边滤波算法降低Kinect运动数据中的噪声;其次定义多种脚部运动特征并用于分类,优化分类效果;最后使用支持向量机(SVM)算法训练决策函数并用于足迹检测。结果 本文算法应用于多种类型运动数据后,可以有效地减少Kinect运动数据中的噪声,足迹检测的时间性能以及准确性良好,其中足迹检测的准确率比经典的基准线方法提高了10%左右,比K近邻方法提高了8%左右,检测一帧运动足迹的速度为K近邻方法的7倍左右。结论 对实验结果的分析证明算法具有良好的鲁棒性、时间性能以及准确率,可广泛应用于运动数据的处理之中。     

基于Kinect的虚拟3D视频会议场景融合研究

为了应用3D摄像头构建新型视频会议模式,将与会人物的3D信息提取出来,融合在虚拟会议场景中,来实现完整的3D会议效果。由Direct3D工具设计出固有的会议场景,采用微软发布的Kinect摄像头提取与会者的3D模型信息,发送到服务器端,完成融合后再返回终端显示。融合结果有较强现场感,人物模型真实准确。验证了系统的可行性和实用性。     

基于Kinect传感器的移动机器人环境检测及行为学习

研究了一种基于深度图像和强化学习算法的移动机器人导航行为学习方法。该方法利用机器人装配的Kinect传感器检测工作环境信息,然后对获取的深度图像数据和视频图像进行处理、融合和识别,并由此构建机器人任务学习的状态空间,最终利用强化学习方法实现移动机器人的导航任务的自学习。该方法的有效性通过实验得到验证。实验表明,该方法能够使机器入具有较强的环境感知能力,并能够通过自学习的方式掌握行为能力。     

基于DBSCAN与梯度划分的Kinect障碍物轮廓检测算法

针对移动机器人的环境检测和避障问题中传感器获取的信息不够全面及准确,无法准确提供周围环境信息等问题,文中提出了利用Kinect传感器来获取周围环境的色彩信息和深度数据,并且提出了一种利用梯度划分和DBSCAN聚类方法来处理Kinect传感器获得的深度数据图。该算法首先使用梯度障碍物边缘检测方法对Kinect获取得到的深度图进行快速高效的处理障碍物边缘轮廓,并对算法中的差分参数进行改进,使得计算得到的梯度结果更准确。然后对比不同的聚类方法,使用BDSCAN聚类方法来对检测划分完毕的障碍物进行聚类分析,最后通过安排具体实验对该算法进行验证。实验结果表明,该算法能够对周围环境障碍物进行准确划分,可行区域效果明显,对不同物体的成功检测率较高,验证了算法的有效性。     

基于深度数据的手指识别与跟踪

识别、跟踪手与手指属于人机交互领域,它的目标是提供一种方便、高效的方法实时完成识别与跟踪。而类似微软Kinect的设备能够获取到深度数据,而不是普通的RGB图像,它为识别、跟踪手与手指提供更多的信息。讨论一种方法来完成这个目标,并论述相应改善性能的手段。     

一种鲁棒的基于深度数据的行为识别算法

人体行为识别在视频监控和人机交互中具有重要应 用,利用深度数据进行行为识别是近年兴起的技术,并取得了一定的进展,但还没有一个公 认的、鲁棒性好的行为描述方法,且性能有待提高。针对以上问题,本文提出了3种鲁棒的、深度数据上的行为描述方法,并结合支持向量机(SVM)分类器在两个公开的且具 有挑战性的深度数据集上对 它们进行评估。实验结果表明,本文提出的行为描述方法具有较好的区分性和鲁棒性,其性 能比一些先进的且具有代表性的算法性能更好。