基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

基于时域编码结构光的高精度三维视觉引导抓取系统研究

在许多自动化应用场合中,如分拣和上、下料等过程中,机械臂抓取是非常重要的一个环 节。在有遮挡或物体杂乱放置的情况下,对物体进行可靠、快速和精确计算位姿是机械臂抓取的难题之一。该文提出一种针对非规则目标的 3D 视觉引导抓取系统。首先,该系统运用面结构光系统对目标进行高精度三维重建,并建立离线 3D 点云模板库;然后,将标准模板与点云预处理后的场景点云进行匹配,得到匹配参数后,由坐标系之间的转换矩阵计算机器手抓取位姿;最后,引导机器手完成对目标物体的抓取。实验结果表明,所开发的机械臂抓取系统能够对非规则目标进行可靠、快速和精确的 抓取。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于Kinect的机械臂目标抓取

为完成机械臂在非特定环境下的自主抓取,系统采用微软公司研发的Kinect对场景内的信息进行实时检测.通过对Kinect采集的深度信息进行背景相减法和帧差法处理可以获得目标抓取点信息.利用基于工作空间的RRT算法对机械臂末端进行路径规划,并利用梯度投影法进行逆运动学轨迹优化,求解关节轨迹.机械臂按照关节角运动时,可完成目标的抓取.通过设计一套实时桌面清理实验系统,验证了该方法的有效性.     

采用Kinect的多臂协调操作系统

为完成基于Kinect的多臂协调精细操作的任务,搭建了一套双机械臂操作系统,利用Kinect作为视觉传感器对场景进行实时检测,并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标的自主抓取。根据手眼协调控制技术,利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的运动,并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统,完成了多臂协同操作的任务,并验证了实验方法的可靠性。     

基于卷积神经网络的机械臂抓取控制系统设计

为保证机械臂的抓取精度,保证物体抓取的稳定性,本文设计基于卷积神经网络的机械臂抓取控制系统。在系统硬件部分,加设图像、位置和压力传感器,改装机械臂抓取控制器和运动驱动器,利用图像传感器设备,获取满足质量要求的机械臂抓取目标图像,为机械臂抓取控制功能提供硬件支持。软件部分利用卷积神经网络算法提取图像特征,确定机械臂抓取目标位置。结合机械臂当前位置的检测结果,规划机械臂抓取路线,预估机械臂抓取角度与抓取力。最终通过机械臂抓取参数控制量的计算,在控制器的支持下实现系统的机械臂抓取控制功能。实验结果表明,所设计系统应用下位置控制误差和速度控制误差的平均值分别为0.192m和0.138m/s,同时物体抓取掉落概率明显降低。     

协作机器人智能视觉系统设计与实现

伴随着科技的发展,人工智能技术得到了飞速发展。协作机器人和机械臂在各大领域的应用变得越来越重要。传统的机械臂只能按照已规划好的路径进行物体的抓取,当物体不在或挪动位置时,抓取便无法正常完成,还需要重新规划路径,严重影响了工作效率。为了能够使机械臂自主获取外界信息,拥有自我感知周围环境的能力,基于视觉的协作机器人得到了快速发展。文中首先对基于视觉的协作机器人技术进行了简要介绍,随后对智能视觉系统进行了相关设计,接着介绍了智能视觉目标检测和识别模块,最后在周围环境以及外界信息未知的情况下,利用智能视觉系统实现了协作机器人对具体目标的识别定位和抓取。实验结果表明,该系统可以投用到实际的工程应用中,具有良好的使用价值。     

基于双目视觉的机器人目标定位与机械臂控制

为了更好地与复杂多变的非结构化环境进行交互,完成对目标物体的识别和抓取,提出了一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法。文中首先用D-H方法对机械臂进行建模,并对这个模型做了改进,给出了一种更加简便的3+1自由度仿人机械臂的逆解算法,采用基于双目视觉与颜色分割的目标识别方法;然后根据识别出的目标三维坐标信息控制机械臂完成抓取任务;最后,本方法在家庭服务机器人上得到了验证,机器人能够完成对目标物体的识别和抓取动作。     

基于双目视觉的机器人目标定位与机械臂控制

为了更好地与复杂多变的非结构化环境进行交互,完成对目标物体的识别和抓取,提出了一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法.文中首先用D-H方法对机械臂进行建模,并对这个模型做了改进,给出了一种更加简便的3+1自由度仿人机械臂的逆解算法,采用基于双目视觉与颜色分割的目标识别方法;然后根据识别出的目标三维坐标信息控制机械臂完成抓取任务;最后,本方法在家庭服务机器人上得到了验证,机器人能够完成对目标物体的识别和抓取动作.     

自动化控制下机械手臂运动轨迹研究

对机械手臂运动轨迹进行优化控制,能改善机械手臂的自动控制性能。为了提高机械臂的控制稳健性,提出一种基于变结构模糊PID控制的机械手臂运动轨迹优化控制模型。首先采用末端效应逆运动学模型构建机械手臂的运动规划约束参量数学模型,采用七自由度运动空间重构方法建立机械手臂运动的动力学方程。然后通过纵向定常运动,分析建立机械手臂整定控制目标函数,求解机械臂在抓取作业过程中的最佳导引控制律,采用变结构模糊PID控制方法进行运动轨迹的误差修正,实现机械臂自动控制优化。最后通过仿真实验进行控制性能测试,结果表明,采用该方法进行机械手臂运动轨迹控制的精度较高,对机械臂位形变化轨迹的预测准确性较好。     

非结构环境下基于人机合作技术的抓取作业研究

介绍了一种利用人机合作技术在非结构环境引导机械手抓取静态目标的方法．分别介绍了将激光—CCD摄像机系统与操作者的经验相结合获得抓取目标位置的方法,及将虚拟现实技术与操作者的经验相结合获得抓取目标姿态的方法．继而利用基于模型的视觉引导技术,引导手臂完成抓取操作．     

基于RBF-BP算法的机械臂多自由度分拣控制系统设计

为提升机械臂设备的准确分拣能力,设计基于RBF-BP算法的机械臂多自由度分拣控制系统。利用RBF-BP前馈神经网络,规划机械臂设备的运动轨迹路线,实现基于RBF-BP算法的机械臂运动轨迹建模。确定工业相机在总功能框架中所处连接位置,根据机械臂选型情况,确定可编程逻辑控制器、变频控制器对于所选机械臂元件的调节能力,完成对系统功能模块的开发。借助传输信道,将Sorting分拣指令、ToolControl控制指令反馈回核心控制主机,建立完整的指令执行回路,再联合相关硬件设备结构,实现基于RBF-BP算法的机械臂多自由度分拣控制系统设计。实验结果表明,在抓取能力相同的情况下,应用RBF-BP算法控制系统机械臂成功分拣的工件数量为19件,机械臂抓取成功率为95%,说明所设计系统满足提升机械臂准确分拣能力的设计初衷。     

三维立体视觉机械臂智能抓取分类系统的开发

采用工业相机、工业投影机、普通摄像头、计算机和机械臂开发了一套具有三维立体视觉的机械臂智能抓取分类系统。该系统采用自编软件实现了对工业相机、工业投影机的自动控制和同步，通过前期研究提出的双波长条纹投影三维形貌测量法获取了物体的高度信息，结合opencv技术和普通摄像头获取的物体二维平行面信息，实现了物体的自动识别和分类；利用串口通信协议，将上述处理后的数据传送至机械臂，系统进行几何姿态解算，实现了智能抓取，并能根据抓手上压力反馈自动调节抓手张合程度，实现自适应抓取。经实验证明该系统能通过自带的快速三维形貌获取装置实现准确、快速的抓取工作范围内的任意形状的物体并实现智能分类。     

Dual arm coordination and control

A generalized master/slave technique and experimental results for coordinated control of two arms rigidly grasping an object is described in this paper. Usually master/slave refers to the case when one arm is controlled in position mode while the second arm is controlled in force mode. In generalized master/slave control, each arm at its tool frame has six degrees of freedom; each degree of freedom can be in either position or force control mode. An interactive program has been developed to allow a user the flexibility to select appropriate control modes for a given experiment. This interface also allows for control gain adjustments. This paper presents the results of several experiments performed on this system to demonstrate its capabilities such as transporting an object with or without induced internal forces and movement of a constrained object. The system is further developed to achieve a so-called shared control mode in which an operator species the free motion trajectory for a point on the object of manipulation via a joystick while the autonomous control system is used for coordination and control of the arms.     

基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

一种基于多视角图像的目标物体定位方法

在遥操作机械臂时,为了能有一个更加友好的人机交互界面,往往需要在控制界面中构建一个虚拟的机械臂以及机械臂工作空间,所以,在虚拟工作空间中标示出目标物体与虚拟机械臂的相对位置,给操作人员一个直观的提示,是虚拟工作空间重构的关键问题.针对机械臂遥操作,提出了一种基于不同视角图像的快速高效的定位方法,该方法根据目标物体在多个不同视角图像中的位置,计算出目标物体在实际工作空间中的位置,从而在虚拟机械臂工作空间中标示出目标物体与虚拟机械臂的相对位置.最后,构建了机械臂遥操作实物系统,验证了该方法的正确性.     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.