基于kinect三维骨骼节点的动作识别方法

近年来,基于人体动作识别的应用场景越来越广泛。为了更好的识别效果,提出了一种基于人体三维骨骼节点的动作识别方法。用Kinect等设备获取人体骨骼关节点三维数据信息,以人体臀部为原点重新建立人体坐标系;提取人体关键骨骼的数据信息,定义人体动作特征向量;根据动作表达式用行为树构造动作序列,实现识别。通过对5种定义的动作与其他算法做比较实验,表明提出的方法识别率较高,推广性较强。     

基于DTW和K-means的动作匹配和评估

为满足基于Kinecrt的康复训练系统的需要,提出一种人体动作匹配和评估方法。该方法通过Kinect实时提取骨骼关节点三维坐标,计算骨骼关节点的角度,得到一组动作序列的空间角度变化值;然后通过改进的DTW算法把两组动作序列的角度值进行匹配,得到两个序列之间的距离;最后通过K-means聚类方法对距离的大小评估。实验表明,该方法能很好地实现人体动作匹配和评估,实时性好,较传统DTW算法在识别速率上有明显提高。     

基于深度图像的人体动作识别方法

为解决人体动作识别中的复杂背景和自遮挡问题,对深度图像进行研究,从深度图像中获取20个人体骨架关节点,在此基础上将动作时间序列的关节角度变化作为人体运动的特征模型。通过改进的动态时间规整算法计算不同动作之间关节角度变化序列的相似性,进行动作识别,以缓解传统DTW算法病态校准的问题。将识别方法在采集的动作数据库和MSR Action3D数据进行验证,实验结果表明,该方法能达到90%以上的识别率。     

人体跌倒识别算法研究

为快速有效地获取老人跌倒信息,提出了一种人体跌倒识别算法,以深度序列为基础,通过Kinect提供的骨架关节数据构建人体动作表示模型,将人体动作看作关节运动曲线和速度曲线的集合,引入离散Fréchet距离作为关节运动曲线和速度曲线的相似性测度,使用最近邻(KNN)分类器对动作样本进行分类.在公开数据集SDUFall上进行了实验,结果表明,方法优于已有方法.     

人体姿态识别算法在视觉人机交互中的应用

针对当下视觉人机交互应用中所面临的识别过程复杂,交互效率低等一系列问题,提出了一种基于人体构造的姿态识别算法。利用该算法和软硬协同的设计思想,在FPGA平台上实现了一套运用视觉感知进行交互的机器人控制系统。图像采集模块获取双摄像头的画面,图像预处理模块完成降噪和冗余帧的去除,关节识别模块实现对人体皮肤和关节处颜色标记的检测;得到的关节位置信息送入软核,运用空间向量模型识别出肢体动作。最终将识别结果编码后通过蓝牙传输给远端机器人。实际测试表明,该算法能快速准确地识别出绝大部分基本的肢体动作,机器人能实时跟随人体简单运动。     

基于关键帧和骨骼信息的人体动作识别方法

提出了一种基于关键帧和骨骼信息的动作识别新方法。通过深度传感器Kinect v2实时获取人体各骨骼点信息,通过采用加权K-means算法提取动作视频中的关键帧。通过每个关键帧中25个骨骼点的三维坐标值,计算出关节角度和向量模比值两种特征量,通过优化后的动态时间规整(DTW)算法计算关键帧序列与模板库中动作模板的相似度,从而识别人体的实时动作。通过对6种常见动作的识别实验对比,结果表明:所提方法在识别速度和准确率上较高,具有实际推广性。     

基于Kinect的人体动作识别方法

为解决在Kinect平台下人体动作识别中时空复杂性的问题,提出一种基于特征选择的模板识别方法。根据人体不同位置关节点对动作表达的贡献度的不同,将骨骼模型60维的关节点数据转化成24维的距离特征向量,该特征模型能够在空间上对动作进行表示,具有一定不变性,计算复杂度低;结合动态时间规整的思想,解决动作识别在时间轴上不统一的问题;基于所提出的方法实现动作识别系统,定义6种基于交互的上肢动作,在此动作库中进行两个实验共1320次测试,两个实验的平均识别率为93.6%和89.8%,实验结果验证了该方法的鲁棒性和有效性,可以满足交互任务的需求。     

一种基于关节点信息的人体行为识别新方法

为了提高机器人服务的主动性与智能性,使用Kinect体感设备获取人体的关节点数据解决人体行为识别问题.首先,利用Kinect采集人体关节点坐标,构造用于表示人体结构的3维空间向量,然后计算结构向量之间的角度和向量模的比值,进行人体姿态描述,同时以一段时间内连续的姿态序列作为行为表示特征量,最后选用动态时间规整(DTW)算法计算测试行为模板与参考行为模板之间的相似度以实现行为识别.实验结果表明,选用的行为表示特征量具有旋转与平移不变性.另外,对人在日常生活中的6种行为进行了识别实验,结果表明本文的行为识别算法可以取得较好的识别效果.     

基于关键点序列的人体动作识别

在不同的光照及视角下,为了实现人体日常生活动作的高识别率,提出了一种基于Kinect的识别方法.首先,受到人类进行动作识别时往往关注局部细节动作的启发,层次化地处理了采集到的人体关节点数据:通过判断躯干关节点位置变化的缓慢程度,将动作粗分类为上肢动作和躯干动作;之后对于上肢动作,关注手部关节轨迹变化,而对于躯干动作,关注中心关节点轨迹.然后,通过C均值聚类法从这两类轨迹中提取关键点,并将动作的轨迹映射到相应的关键点,得到每组粗分类动作的关键点序列.并提出了时序直方图的概念用以建模关键点序列.再通过比较轨迹间关键点序列的相似性,完成动作识别任务.最后,将该算法应用于采集的数据集合,得到了99%的识别正确率,表明算法能够有效地完成人体动作识别任务.     

基于大间隔最近邻的人体动作识别

为实现日常生活中动作的识别,以提高家庭服务机器人的服务质量,为人类提供安全舒适的环境,提出了一种基于马氏距离的度量学习方法进行人体动作的识别．首先,利用Kinect获取人体动作的关节点数据．然后,基于关节点数据构建动作敏感特征集合,即由人体的关节点坐标构造人体的结构向量以及相应的角度,并对每一样本的长度进行归一化处理．采用大间隔最近邻（LMNN）分类算法进行马氏距离学习得到变换矩阵L,将归一化之后的原始数据映射到更优特征空间．最后,采用k近邻算法进行动作识别．在自建的数据集上,得到97%的识别率．实验结果表明,LMNN算法能够改善数据的分布,即缩小类内距离,扩大类间距离,较好地完成人体动作识别的任务．     

航天员虚拟交互操作训练多体感融合驱动方法研究

针对航天员虚拟训练中的人机自然交互问题,基于体态/手势识别和人体运动特性, 提出一种多通道数据融合的虚拟驱动与交互方法。结合Kinect 设备能够完整识别人体姿态特点 及LeapMotion 设备能精确识别手势姿态的优势,提出了基于判断的数据传递方法,在人体关节 识别的基础上对手部关节进行识别与数据处理计算,采用多通道体感识别融合方法将二者结合, 并进行了实验。结果表明,通过采用LeapMotion 和Kinect 对手部识别的判别,当手势在 LeapMotion 识别范围内,能够在实现人体体感识别的基础上增加较为精确的手势识别。此方法 成功实现了人体姿态识别和手势精确识别的结合,可应用于航天员虚拟训练中的人机自然交互 中去。     

基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别

为解决使用RGB图像进行特征提取时容易受外界因素干扰,且计算复杂度高等问题,采用一种更加有效的解决方案,即使用深度数据进行人体动作识别。利用Kinect采集的关节点数据,首先将人体关节划分成五个区域,对每个区域的向量夹角离散化从而描述不同的状态,再通过Baum-Welch算法学习出各区域的多隐马尔可夫模型（multi-HMM）,并使用前向算法建立生成区域与动作类别概率矩阵。在此基础上,对区域及动作类别进行内耦合和间耦合分析,从而表达各关节点之间的交互关系。最后使用基于耦合的K最邻近（KNN）算法完成整体的动作识别。通过实验测试对五种动作的识别率均达到90%以上,并与3D Trajectories等方法进行对比,实验得到的综合识别率高于对比方法,具有明显的优势。     

基于手势识别的工业机器人操作控制方法

针对目前操作工人与工业机器人之间的交互还是采用比较机械化的交互方式,设计使用Kinect传感器作为手势采集设备,并使用人的手势来对工业机器人进行控制的方法。首先,使用深度阈值法与手部骨骼点相结合的方法,从Kinect传感器获取的数据中准确地提取出手部图像。在提取过程中,操作员无需佩戴任何设备,对操作员所站位置没有要求,对背景环境也没要求。然后,用稀疏自编码网络与Softmax分类器结合的方法对手势图像进行识别,手势识别过程包含预训练和微调,预训练是用逐层贪婪训练法依次训练网络的每一层,微调是将整个神经网络看成一个整体微调整个网络的参数,手势识别的准确率达到99.846%。最后,在自主研发的工业机器人仿真平台上进行实验,在单手和双手手势下都取得了不错的效果,实验结果验证了手势控制工业机器人的可行性和可用性。     

基于傅立叶描述子和HMM的手势识别

针对家庭服务机器人平台中人机交互的问题,提出基于视觉的手势识别作为人与机器人交互的方式,研究利用傅立叶描述子对手势形状进行描述,并结合支持向量机和隐马尔可夫模型分别对静态手势和动态手势进行分类,实现了静态手势和动态手势的识别。该系统基于新型传感器Kinect,在图像分割阶段结合图像深度信息,可以有效的将手势区域提取出来,在一定范围内具有较强的鲁棒性,特征提取阶段基于傅立叶描述子,使手势识别具有旋转、缩放、平移不变性。针对七种常见静态手势和四种动态手势进行测试,平均识别率分别达到98.8%和96.7%,实验结果表明该系统具有较高的准确度。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

改进深度强化学习的室内移动机器人路径规划

为了解决传统深度强化学习在室内未知环境下移动机器人路径规划中存在探索能力差和环境状态空间奖励稀疏的问题,提出了一种基于深度图像信息的改进深度强化学习算法。利用Kinect视觉传感器直接获取的深度图像信息和目标位置信息作为网络的输入,以机器人的线速度和角速度作为下一步动作指令的输出。设计了改进的奖惩函数,提高了算法的奖励值,优化了状态空间,在一定程度上缓解了奖励稀疏的问题。仿真结果表明,改进算法提高了机器人的探索能力,优化了路径轨迹,使机器人有效地避开了障碍物,规划出更短的路径,简单环境下比DQN算法的平均路径长度缩短了21.4%,复杂环境下平均路径长度缩短了11.3%。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

基于Kinect的人体姿态估计优化和动画生成

为了生成更准确流畅的虚拟人动画,采用Kinect设备捕获三维人体姿态数据的同时,使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理,从而实时优化人体姿态估计效果,并驱动虚拟人物模型生成动画。首先,提出了一种时空优化的骨骼点数据处理方法,以提高单目估计人体三维姿态的稳定性;其次,提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题;最后,研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统,其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比,所提方法的人体姿态估计数据鲁棒性更强,具备一定的防遮挡能力,而与基于ORPM算法的动画生成方法相比,所提方法生成的动画在帧率上提高了两倍,效果更真实流畅。     

基于体感的仿人机器人步态学习与控制

针对现有理想化步态动力学模型规划方法复杂、人为指定参数过多、计算量大的问题,提出一种基于体感数据学习人体步态的仿人机器人步态生成方法。首先,用体感设备收集人体骨骼信息,基于最小二乘拟合方法建立人体关节局部坐标系;其次,搭建人体与机器人映射的运动学模型,根据两者间主要关节映射关系,生成机器人关节转角轨迹,实现机器人对人类行走姿态的学习;然后,基于零力矩点(ZMP)稳定性原则,对机器人脚踝关节转角采用梯度下降算法进行优化控制;最后,在步态稳定性分析上,提出使用安全系数来评价机器人行走稳定程度的方法。实验结果表明,步行过程中安全系数保持在0~0.85,期望为0.4825,ZMP接近于稳定区域中心,机器人实现了仿人姿态的稳定行走,证明了该方法的有效性。