室内机器人动态手势指令识别系统研究

针对目前室内移动机器人手势指令识别系统存在的问题,对图像传感器与机器人相分离的图像采集方案进行了研究,并利用动态手势指令对机器人进行控制。动态手势指令识别方法是对手的不同运动轨迹进行识别,通过皮肤颜色模型和手势中心点方向向量法追踪得到手势运动轨迹,提取手势运动轨迹的特征向量,通过基于动态时间规整（DTW）实现对轨迹的识别。实验结果表明,该系统可以实现对机器人前进、后退、左转、右转的实时控制。     

基于Kinect的动态手势识别研究

针对人机交互领域中基于视觉的传统动态手势识别方法准确率不高、易受不同强度光照影响等问题,对动态手势识别方法进行了研究;首先利用Kinect传感器采集的深度图像对手势进行分割,并基于矩和链码进行手势质心与手势轨迹特征的计算,再利用动态时间规整算法进行手势轨迹特征识别,最后将识别结果传输给六足机器人进行人机交互实验,实现了动态手势对六足机器人的控制;实验结果证明:该方法识别准确率最高可达97%,且不易受光照影响,具有较强的鲁棒性,同时也满足了人机交互需求。     

结合深度学习的机器人示教系统设计

传统的机器人示教系统在使用上受到应用对象和硬件设备的限制,导致其开放性和易用性较低,为了降低示教系统的使用门槛,提高人机交互的效率,利用ROS（Robot Operating System）的开放性和跨平台性,设计了手势引导机器人示教系统,可以控制机器人进入学习、编码、执行等模式。系统采用YCbCr与RGB空间相结合的肤色分割算法,利用CNN深度学习框架进行特征提取完成手势识别;基于ROS集成手势对机器人模式控制。通过在公开数据集上实验验证手势识别准确率可达96.49%,并测试了系统的有效性与可靠性。     

融合手势全局运动和手指局部运动的动态手势识别

传统基于手部轮廓或手部运动轨迹的动态手势识别方法,其提取的特征通常难以准确表示动态手势之间的区别.针对动态手势的复杂时序、空间可变性、特征表示不准确等问题,提出一种融合手势全局运动和手指局部运动的手势识别方法.首先进行动态手势数据预处理,包括去除手势无效帧、手势帧数据补全和关节长度归一化;然后根据给定的手部关节坐标,利用手势距离函数分段提取动态手势关键帧,并基于手势关键帧提取手在空间中的全局运动特征和手内部手指的局部运动特征;其次融合手势全局运动和手指局部运动的关键帧手势特征,并采用线性判别分析进行特征降维;最后利用带高斯核的支持向量机实现动态手势识别与分类.对DHG-14/28动态手势数据集中14类手势和28类手势数据集进行实验,其分类识别准确率分别为98.57%和88.29%,比现有方法分别提高11.27%和4.89%.实验结果表明,该方法能准确地表征动态手势并进行手势识别.     

基于手势识别的机器人控制系统

研究了一种基于人体手势识别的机器人控制系统.首先,利用图像识别技术,通过YCr Cb皮肤颜色模型提取手掌并分析指尖和手心的相关信息;其次,利用帧差法对手掌运动趋势和简单的手势信息进行识别;最后,通过无线蓝牙串口将识别出来的手势信号发送给机器人,以达到手势控制机器人的目的.系统是在VS2010下利用Open CV计算机视觉库进行编译完成的,实现了通过简单的手势信息控制机器人的目的,从而摆脱了人机交互时必须依靠物理接触的限制.实验结果表明,该系统可以实现对机器人前进、后退、左转、右转、停止、加速的实时控制,对手势信息的识别率在90%以上.对进一步探索机器学习、自主识别等相关领域有着较高的参考价值.     

一种面向实时交互的变形手势跟踪方法

变形手势跟踪是基于视觉的人机交互研究中的一项重要内容.单摄像头条件下,提出一种新颖的变形手势实时跟踪方法.利用一组2D手势模型替代高维度的3D手模型.首先利用贝叶斯分类器对静态手势进行识别,然后对图像进行手指和指尖定位,通过将图像特征与识别结果进行匹配,实现了跟踪过程的自动初始化.提出将K-means聚类算法与粒子滤波相结合,用于解决多手指跟踪问题中手指互相干扰的问题.跟踪过程中进行跟踪状态检测,实现了自动恢复跟踪及手势模型更新.实验结果表明,该方法可以实现对变形手势快速、准确的连续跟踪,能够满足基于视觉的实时人机交互的要求.     

考虑通信状况的多机器人CSLAM问题综述

多机器人系统的通信状况能够直接影响协作同时定位与地图创建(Cooperative simultaneous localization and mapping, CSLAM)算法的设计和实现.根据对多机器人通信状况所作出假设的侧重点不同, 对多机器人CSLAM算法研究现状和进展进行综述.首先,简要介绍了基于完全连通通信条件的集中式CSLAM算法的特点和缺陷; 其次,结合多机器人系统初始相对位姿关系未知的情况,从地图配准、数据关联和地图融合等三个方面, 对基于通信范围或者带宽受限条件的分布式CSLAM算法的地图合并问题进行了分析和阐述; 进而重点对考虑稀疏动态通信状况的分布式CSLAM算法的最新研究成果进行了归纳总结. 最后指出多机器人CSLAM研究领域今后的研究方向.     

基于连续波多普勒雷达的手势信号识别算法

手势识别技术在人机交互系统中的需求与应用日益广泛,毫米波雷达可以对手势运动过程中的距离、速度信息进行检测,从而实现识别的目的,且具有不依赖于光线的优点。利用24 GHz微型雷达装置可接收手势信号,建立识别算法的样本库。对一维手势信号进行分段FFT运算,可将一维手势信号转化为二维的手势图像,转换后的图像不但含有运动过程中的幅度、速度信息,还包括手势运动过程中幅度与频谱的变化历程。由于每一次手势动作的不确定性,单一的物理特征统计方法很难进行判别,且识别率较差,利用机器学习SVM算法对手势信号进行学习与分类。实验结果表明,分段FFT信号处理方法结合SVM算法对手势分类的准确率达90. 25%,为手势识别算法提供了一种新的方法。     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

动态手势识别及在PPT播放当中的应用研究

本文主要研究了动态手势识别在PPT播放当中的应用,即在播放过程中能够通过动态手势控制PPT的翻页.首先在动态手势检测的研究中,通过采用背景差分和基于HSV的肤色建模相结合的方法,分割出了较好的动态手势图像.其次,通过对几种动态手势的跟踪算法的分析与比较,采用了主流的非线性跟踪算法W勇瞬’惴？通过对得到的手势图像中的V分量值的人为设置,消除了在跟踪过程中脸部及其他的类肤色干扰,从而避免了手势跟踪过程中的遮挡问题.最后通过采用隐马尔可夫模型与阈值Max相结合的方法,实现了对PPT播放的实时控制.实验结果表明动态手势的识别能够应用到PPT播放当中,并最终实现了利用动态手势来实时控制PPT的翻页.     

基于加速度轨迹图像的手势特征提取与识别

针对手势加速度识别中存在数据维度高、计算量大等问题,提出一种基于加速度轨迹图像的手势NMF特征提取与识别方法。通过Wiimote手柄获取手势动作的加速度信号,经过实时有效手势动作分割后,将加速度数据转换为手势轨迹图像,并用非负矩阵分解对手势加速度轨迹图像提取特征向量,最后构建离散隐马尔科夫模型实现目标手势识别。加速度手势轨迹图像转换及采用非负矩阵分解的特征提取方法将未知手势轨迹特征转换为低维子特征序列,降低了计算复杂度,实验表明,该方法能有效识别手势动作。     

基于视觉的动态手势识别及其在仿人机器人交互中的应用

手势识别是人和机器人交互中的重要组成部分，本文针对双目视觉系统SFBinoeye实 现了基于光流PCA(主分量分析)和DTW(动态时间规整)的命令手势识别，用以控制仿人机器人 SFHR的手臂运动．利用块相关算法计算光流，并通过主分量分析得到降维的连续投影系数， 与手掌区域的质心位置组合为混合特征向量．针对DTW定义了新的加权距离测度，并用它对 手势进行匹配识别．针对9个手势训练和识别，识别率达到92.4%，并成功地应用于机器人的 手臂控制中．     

基于加速度传感器的手机用户认证方法

为了保证手机信息安全,设计实现了一种基于内置三轴加速度传感器的手机用户认证方案。通过内置三轴加速度传感器采集认证手势信号,提出差分自底向上线性分段方法进行有效手势动作端点的自动检测,利用小波包分解对有效手势信号进行去噪,进一步设计基于欧氏距离的动态时间规整算法计算测试手势和模板手势的相似度,从而得出认证结果。相比于现有常用手势端点检测方法,差分自底向上线性分段方法能更准确地截取有效手势信号。实验结果表明,当他人模仿手势错误接受率为0%时,本文认证手势错误拒绝率小于5%,有效实现了用户认证。     

基于专家系统的焊枪姿态智能控制系统

针对管道焊接机器人焊枪姿态控制问题,提出了一种基于专家系统的焊枪姿态智能控制系统。在基于专家系统的智能控制基础上加入神经网络模糊控制,二者采取并行控制与知识共享的策略,实现管道焊接机器人焊枪姿态的综合集成智能控制。系统中采用ADXRS300微机械陀螺作为焊枪位置传感器,获取焊枪的空间位置后,通过专家系统的经验推理,得到合适的俯仰角,并采用ARM7作为控制器驱动焊枪俯仰角步进电机动作,实现对焊枪俯仰角的实时调节。     

Multi-SVM based Dempster–Shafer theory for gesture intention understanding using sparse coding feature

The Dempster–Shafer theory based on multi-SVM to deal with multimodal gesture images for intention understanding is proposed, in which the Sparse Coding (SC) based Speeded-Up Robust Features (SURF) are used for feature extraction of depth and RGB image. Aiming at the problems of the small sample, high dimensionality and feature redundancy for image data, we use the SURF algorithm to extract the features of the original image, and then perform their Sparse Coding, which means that the image is subjected to two-dimensional feature reduction. The dimensionally reduced gesture features are used by the multi-SVM for classification. A fusion framework based on D–S evidence theory is constructed to deal with the recognition of depth and RGB image to realize the gesture intention understanding. To verify the effectiveness of the proposal, the experiments on two RGB-D datasets (CGD2011 and CAD-60) are conducted. The results of 10-fold cross validation test show that the recognition rates were higher than those produced by other methods under the condition when each sensor was considered individually. Meanwhile, the preliminary experiments are also carried out in the developing emotional social robot system. The results indicate that the proposal can be applied to human–robot interaction.     

Cascade force control for autonomous beating heart motion compensation

Robotic-assisted heart surgeries do not allow autonomous compensation of cardiac motion. This paper tackles this problem, based on a robotic control architecture that relies on force feedback, without requiring vision data. The algorithm merges two cascade loops. The inner one is based on the Kalman active observer (AOB) for model-reference adaptive control and the outer one based on a model predictive control (MPC) approach generates control references for beating heart motion compensation. A 4-DoF surgical robot generates desired surgical forces and a 3-DoF robot equipped with an ex vivo heart at the end-effector reproduces realistic heart motion.