基于ROS的七自由度机械臂抓取系统研究

针对移动机器人上的七自由度机械臂进行系统设计,以完成目标检测、跟踪和抓取等工作.该系统包括上位机、图像采集设备和机械臂控制三大部分,在ROS Kinetic框架下让Franka Panda机械臂和Kinect V1摄像头协同工作.采用Linemod方法提取图像特征,可在较短训练时间内从RGBD信息中得到物体的信息、位姿和可信度,同时根据Franka Panda机械臂的结构建立D-H参数表、进行正运动学分析,并提出使用几何法来求Franka Panda的逆解.对机械臂进行了轨迹规划分析,提出改进RRT *的路径规划算法和轨迹规划总体方案.最后进行了机械臂仿真和系统抓取实验,研究结果表明使用的方法合理,系统可完成目标检测、定位和抓取任务.     

采用Kinect的多臂协调操作系统

为完成基于Kinect的多臂协调精细操作的任务,搭建了一套双机械臂操作系统,利用Kinect作为视觉传感器对场景进行实时检测,并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标的自主抓取。根据手眼协调控制技术,利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的运动,并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统,完成了多臂协同操作的任务,并验证了实验方法的可靠性。     

基于机器视觉与单片机结合的机械臂抓取系统

抓取规划和控制是机械臂抓取系统中的难点。为了有效的解决这两个问题,本文提出一种基于机器视觉和单片机相结合的机械臂抓取系统。首先利用前期视觉测量成果对目标定位,然后设计了一种软件接口将目标表面三维信息进行可视化,并通过人为经验手动选择一个良好的抓取点;再结合逆运动学求解和轨迹规划算法,利用单片机驱动舵机使机械臂末端执行器移动到抓取点并完成抓取任务。实验结果表明,该系统成本低、并且目标形状不受限制,达到了预期效果。     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

结合IMask R-CNN的绳驱机械臂视觉抓取方法研究

绳驱超冗余机械臂具有灵活性强、工作空间大等特点,在航天活动中可替代宇航员进行各种航空作业.以空间飞行器在轨维修为研究背景,模拟其实验环境,设计了一套基于RGB-D的可移动绳驱超冗余机械臂定位抓取系统.首先改进了Mask R-CNN算法,在保证检测精度的同时降低模型尺寸,通过Intel RealSense D435 i采集图像输入到目标检测模型得到目标的类别和位置信息,进一步利用自适应末端位置更新算法递推机械臂的正逆运动学模型,并结合轨迹规划完成目标的三维空间定位和抓取.实验结果表明,改进后的Mask R-CNN算法能在保证精度的情况下有效地降低模型尺寸,抓取系统的逆运动学求解速度快,具有较好的定位精度,能够有效地完成飞行器抓取的任务.     

基于Mask RCNN的目标识别与空间定位

在机械臂的自主抓取系统研究中,为了自动获取目标物体的空间位置,采用Kinect深度传感器采集RGB图像,利用改进的深度学习算法Mask RCNN对RGB图像上的目标进行识别与分割,并通过Kinect深度传感器模型,将二维图像坐标转换成三维空间坐标,对目标物体进行三维建模,达到空间定位的目的。通过大量数据训练的Mask RCNN算法,可以同时识别多种特征差异很大的目标物体,具有广泛的应用空间。经过实验表明,获得的目标物体的三维空间坐标较为准确,且受环境影响较小,对机械臂抓取系统的研究具有较为重要的意义。     

基于Kinect骨骼信息的机械臂体感交互系统的设计与实现

提出一种基于人体骨骼信息的机械臂体感交互方式。首先利用Kinect传感器获取图像景深数据,并通过骨骼追踪技术处理景深数据,以匹配人体的各个部分,进而建立人体各个关节的3D坐标。然后利用3D坐标值计算出人体腰、肩、肘和腕4个关节的转动角度,人体的这4个关节与四自由度机械臂的4个关节一一对应。最后将计算结果转换成控制指令通过串口发送给机械臂的控制器,实现体感交互。实验表明,该方法能够有效地控制机械臂的转动以及抓取物件。     

基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

机械臂视觉伺服控制系统的设计

针对传统机械臂无法更好的适应外部坏境的变化,提出了基于双目视觉的机械臂伺服控制系统的设计。首先用D-H建模法对机械臂进行运动学分析以及运动学求解,然后利用数字图像处理技术,基于SURF特征完成目标物体的识别以及双目立体视觉的测量,从而为机械臂的动作提供目标物体在空间中的坐标。最后,对目标测距的精度进行了结果验证,并完成抓取动作。     

基于视觉/力觉辅助的遥操作系统研究与实现

针对多变未知的作业环境以及复杂繁多的作业任务,设计一种基于视觉/力觉辅助作业的遥操作系统.首先,利用Kinect摄像头采集作业现场的3D点云数据,结合虚拟现实技术,在计算机上将虚拟机械臂模型叠加到真实环境中,同时显示虚拟模型与现场信息,提高操作人员的现场感知能力;根据获取的障碍物和目标物体位置信息,建立人工势场,增强操作者控制远端机械臂进行避障及接近目标物体操作的能力,完成环绕和避障任务.该方案在7自由度Schunk机械臂上得到了实现.结果表明,此方案可以很好地弥补虚拟环境缺乏现场信息的缺点,提高了遥操作系统的可靠性.     

基于Kinect的人体姿态估计优化和动画生成

为了生成更准确流畅的虚拟人动画,采用Kinect设备捕获三维人体姿态数据的同时,使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理,从而实时优化人体姿态估计效果,并驱动虚拟人物模型生成动画。首先,提出了一种时空优化的骨骼点数据处理方法,以提高单目估计人体三维姿态的稳定性;其次,提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题;最后,研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统,其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比,所提方法的人体姿态估计数据鲁棒性更强,具备一定的防遮挡能力,而与基于ORPM算法的动画生成方法相比,所提方法生成的动画在帧率上提高了两倍,效果更真实流畅。     

基于Kinect传感器和ORB特征的视觉SLAM算法设计与实现

介绍了一个基于嵌入式平台和Kinect传感器的同时定位与地图创建算法的设计与实现。Kinect传感器包括一个可见光彩色摄像头和一个利用结构光测量深度的红外CMOS摄像头。 算法利用ORB算子作为环境特征点的描述信息,并利用基于边沿的最近邻修复方法对深度图像进行修正以获得完整的深度信息。在此基础上,利用LSH方法进行特征点的匹配。实验结果表明,基于ORB特征的视觉SLAM算法具有较好的实用性和良好的定位精度,可以广泛应用于室内机器人的自主导航任务。     

基于集员滤波的双Kinect人体关节点数据融合

以Kinect为代表的深度图像传感器在肢体康复系统中得到广泛应用.单一深度图像传感器采集人体关节点数据时由于肢体遮挡、传感器数据错误和丢失等原因降低系统可靠性.本文研究了利用两台Kinect深度图像传感器进行数据融合从而达到消除遮挡、数据错误和丢失的目的,提高康复系统中数据的稳定性和可靠性.首先,利用两台Kinect采集患者健康侧手臂运动数据;其次,对两组数据做时间对准、Bursa线性模型下的坐标变换和基于集员滤波的数据融合;再次,将融合后的健康侧手臂运动数据经过“镜像运动”作为患侧手臂运动指令;最后,将患侧运动指令下发给可穿戴式镜像康复外骨骼带动患者患侧手臂完成三维动画提示的康复动作,达到患者主动可控康复的目的.本文通过Kinect与VICON系统联合实验以及7自由度机械臂控制实验验证了数据融合方法的有效性,以及两台Kinect可有效解决上述问题.     

Target detection algorithm for dance moving images based on sensor and motion capture data

The effectiveness of classification based on motion capture data to identify the human skeleton dance types. The goal is based on the body joint's information is to perform the characteristic posture obtained by the ultra-high Kinect sensor, identifying for each dance. The proposed Target Detection (TD) algorithm is used to dance moving object identification based on the improved Gaussian Mixture Model (GMM). The proposed Target Detection (TD) algorithm based on a Gaussian Mixture Model is a widely used method for modeling background from a Kinect sensor moving objects. The used data set contains six folk dance sequences and their variations. Gesture recognition scheme using a plurality of time constraints, spatial information, and spatial distribution characteristics to create a training data set appropriate application. The Gaussian Mixed Model distribution background model account, the algorithm, and their frame difference can be extracted in straight lines to obtain target dance areas with less background and background photo station under motor damage conditions. Through real-time Target Detection (TD) algorithm dance moving images based on the Gaussian Mixture Model (GMM), these two algorithms effectively detect dance moving image targets.     

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。     

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。     

基于Kinect的人体三维重建方法

通过Kinect体感仪,实现人体三维重建.使用Kinect体感仪,扫描获取人体三维数据,利用深度数据转换算法实现二维顶点的三维化,再通过红外相机姿态跟踪算法进行顶点集配准,求解出相机每次的相对位移与转动角度,实现相机姿态跟踪,并将每次拍摄到的点集转换到同一全局坐标系下,使用晶格化显示集成算法将点云集成到提前划分好精度及尺寸的体素晶格中,最后利用投影映射算法获得可视化的人体三维立体模型.使用Kinect体感仪及三脚架等辅助设备方便快捷地获取人体三维重建结果,并通过3D打印技术对模型进行输出.该研究实现了人体三维重建中人体扫描、处理、重建、输出全流程.     

基于Kinect手势识别的应用与研究

为解决当前智能家居系统操作繁琐的问题,同时为获得更简单的控制方式,并增加用户的体验感受,研究了基于Kinect骨骼信息的手势识别技术,并将其融入至智能家居的人机交互系统中。在该系统中,用户可以自定义手势动作或语音实现家居设备的智能控制。使用了一种基于加权动态时间规整的模板匹配手势识别算法。通过Kinect的深度摄像头获取手势深度图像和骨骼图像数据,并采用加权动态时间规整算法进行识别。实验表明使用该算法实现手势识别是可行且有效的,且其最佳识别位置是在Kinect的正前方2～2.5m处,识别准确率达到96%左右。     

实时三维重建算法的实现——基于Kinect与单目视觉SLAM的三维重建

作为计算机视觉技术的一个重要分支,基于单目视觉的三维重建技术以其要求简单、成本低廉、易于实现等优点,得到了越来越多的关注。在室内环境下就智能机器人的同步定位以及环境地图创建（SLAM）算法展开了研究,引入RGB-D相机Kinect直接获取3D场景的深度信息,实现了一种基于单目视觉SLAM与Kinect的实时三维重建方法。