面向未知环境的理鞋机器人系统设计与实现

近年来机器人和人工智能技术发展迅速，但实现机器人在家居环境中的接触式操作仍然是一个具有挑战性的问题．为实现机器人自主整理鞋子的功能，提出利用实例分割网络和最小外接矩形识别鞋子和其朝向的方法，借助深度相机的点云信息，估计机器人的抓取位姿和放置位姿，并利用卷积神经网络和余弦相似度对同一双鞋子进行配对，设计了一套基于三维视觉的机器人自主理鞋系统．对系统中鞋子朝向识别的准确率和鞋子匹配的准确率进行评估，并进行真实机器人的自主整理测试．结果显示，所提方法对鞋子朝向识别的准确率达到96.2%，加入VGG16网络后，鞋子匹配算法的匹配准确率从62.6%提升到87.4%．该方法能准确实现机器人对鞋子及其朝向的识别进而对鞋子进行匹配，提升了机器人鞋子整理的稳定性．     

基于视觉检测的机器人分拣系统设计

针对工业流水线分拣作业的需求设计了一套基于视觉检测的工业机器人分拣系统。系统采用工业相机获取工件图像和对应QR码标签信息,通过图像识别方法进行工件识别并计算工件中心坐标,将工件坐标统一至机器人坐标系并与机器人建立通信,控制机器人准确抓取并分拣工件。本系统主控计算机采用Lab VIEW编程实现图像采集、图像处理与坐标变换等任务,并通过安川公司提供的MOTOCOM32.dll与机器人控制器建立实时通信。该系统具有较高的运行速度和准确度,可应用于工业流水线自动化分拣作业领域。     

基于RGB与深度信息融合的管片抓取位置测量方法

针对管片拼装机在管片抓取阶段依赖人工的问题,提出用于自动化拼装的管片螺栓抓取阶段的位置测量方法.该方案通过SIFT算法匹配管片螺栓,利用Faster-Rcnn算法,筛选出位于工作区的待抓取的管片螺栓.通过添加注意力机制改变特征提取网络结构,使其在0.8的交并比下保持约94%的准确率并排除其他管片螺栓的识别干扰.在识别到目标管片螺栓后,结合深度相机的信息获取完整的三维坐标,使得抓取设备位于抓取位置时测量的管片螺栓位置各轴的误差均不超过3 mm,满足机械式抓取装置对抓取的精度要求.直接对管片螺栓进行识别,无须考虑管片在工作区摆放位置的不确定性造成的误差,避免了使用靶标进行测量时靶标与管片之间的相对位置误差及设置靶标的人力与时间成本.     

搬运机器人多目标识别系统的研究

机器视觉与工业机器人相结合,构建用于多种目标识别的搬运机器人系统实验平台。在完成机器人坐标系与相机坐标系转换的基础上,以4种不同形状的等高工件为对象,通过CCD相机连续不断地获取运动中的工件图像信息,对采集到的图像进行处理,以识别目标工件、提取工件中心坐标点,然后将工件中心坐标信息传输给机器人,最终实现机器人对工件的定点抓取。实验表明,该系统具备较好的目标识别和定位效果,有助于改善流水线上输送工件单一的状况,提高生产效率。     

基于傅里叶与局部特征结合的人体姿态识别方法研究

为了提高对人体姿态的识别,提出了一种以人的姿态序列图像的轮廓为特征,包括轮廓的外接矩形的宽高比、形状复杂性变化率、离心率以及傅里叶描述子相结合的人体行为识别方法。首先运用自适应的混合高斯背景建模和形态学结合的方法,利用Canny算子进行边缘检测,实现目标人体轮廓的特征提取。然后采用基于质心边缘距傅里叶描述子与k-means聚类算法与SVM分类器结合的方法,对目标人体轮廓的参数建立具有13个特征值的一维的特征向量,并和RBF神经网络的分类效果进行对比。实验表明,SVM进行分类较为准确,且不需要进行多次的迭代训练,速度较快、识别性能也很好,相比于RBF神经网络而言。运用该方法可以让人体行为识别的正确率在91%以上,该方法简单可行。     

基于机器视觉刀具几何参数检测算法与误差分析

为解决航空整体结构件数控加工过程中因换刀频繁而导致刀具出错的问题,提出一种连通域外接矩形的刀具几何参数检测算法,开发基于机器视觉的刀具几何参数在位快速检测系统。采用工业相机、双远心镜头等采集刀具图像,利用MATLAB软件对刀具图像进行灰度变换、二值化等预处理,详细分析连通域标记算法和外接矩形算法的处理过程。结果表明,基于机器视觉的刀具几何参数在位快速检测系统的直径误差小于0.01 mm,悬长误差小于0.08 mm、响应速度快、测量精度高和抗噪性强。     

基于RSSI的灰狼优化差分修正质心定位算法

采用接收信号强度计算信标节点位置与质心,进而计算差分修正因子对质心坐标进行修正.基于质心坐标采用灰狼优化算法获取未知节点位置来提高定位精度.最后通过相关仿真进行验证.     

现场勘验刀具图像特征描述与识别

针对人工录入现勘刀具图像耗时耗力、准确率低的问题,提出一种基于目标形状特征的现勘刀具图像识别算法。在分析现勘刀具图像特色数据基础上,总结现勘刀具图像的典型内容特性;利用基于结构森林的边缘检测和聚类的方法对目标定位和轮廓提取,再结合包含目标轮廓的最小外接矩形给出刀尖角度的计算方法,并与长宽比、矩形度、圆形度构建识别刀目标的形状特征向量,将该特征向量输入支持向量机建立二分类模型,实现对现勘刀具图像的识别。实验结果表明,该算法性能明显优于其他特征提取算法,且对现勘刀具图像识别准确率达到94.61%,可有效表征刀具图像的内容。     

基于ViBe的端到端铝带表面缺陷检测识别方法

针对铝带表面缺陷高精度检测要求以及传统算法识别率不佳的问题,提出端到端的表面缺陷检测与识别方法.从铝带表面初始图像序列中快速计算出平均图像,视为无缺陷背景图像,用于初始化ViBe算法的背景模型.采用ViBe算法从当前图像中分割出缺陷区域,对缺陷区域二值图像进行中值滤波和形态学运算,以去除噪声点和修补边缘,实现缺陷区域的准确提取.利用当前图像实时更新ViBe背景模型,以增加对光照变化的适应能力.提取缺陷外接矩形区域图像,归一化后输入到训练好的卷积神经网络中进行识别分类,得到分类结果.实验结果表明,提出方法的缺陷检出率为93.02%,缺陷识别率为99.86%,具有较好的应用价值.     

多模态卷积神经网络的物体抓取检测

针对散乱摆放的未知物体的抓取,提出一种将物体的RGB图像和Depth图像分开作为两个输入的多模态神经网络模型,实现对物体抓取框的检测,完成机器人对未知物体的智能抓取。通过背景减除的方法,获取物体的掩膜,根据等间距采样规则,得到这个物体所有可能的候选抓取矩形框;再通过多模态神经网络分类模型,从所有可能的候选矩形框中找到评判值排名前三的矩形框;然后采用比较重心的算法找到中心最接近物体重心的抓取框(最优抓取框)。结果表明,该方法在物体抓取准确性和鲁棒性方面有很大提高。     

压力表图像自动识别系统研究

为了提高仪表人为读数的速度和精确度,提出首先对仪表图像进行二值化、滤波等基本处理;然后通过图像分割得到感兴趣的表盘区域,经过坐标平移翻转和极坐标变换的归一化算法,将圆形表盘转化成矩形指针表盘;再利用图像拼接算法得到无指针的表盘刻度矩形图像,并且通过直线扫描出每个刻度线;接着通过模板匹配,将待检测图像与无指针模板对比,从而检测出图像指针位置信息,得出指针读数。实验结果表明,采用这种图像处理技术使得识别速度更快,精确度也更高。     

图像旋转的改进算法

首先证明了矩形与其外接矩形或内接矩形中心重合这一例题，并据此推导出图像旋转任一有度后可直接显示在屏蔽上的一种坐标变换公式。     

基于发育网络的人脸朝向识别研究

针对人脸识别中人脸的朝向、位置以及背景光线不固定的特点,提出了一种基于发育网络的人脸朝向识别新方法.对图像进行处理后发现人眼的特征非常突出,故选择眼睛的位置作为人脸朝向的特征向量,利用发育网络模型对不同背景光线图像中人脸的朝向进行识别.通过和其它方法的测试结果对比,该方法可以有效地解决不同光照条件下人脸朝向识别问题,并具有快速、稳定、高效的特点,且识别率高达100%.     

BTA深孔钻磨损检测识别及应用

BTA深孔钻是一种典型的深孔加工内排屑钻头,加工用量大加工过程封闭。针对工业现场BTA深孔钻磨损人工检测误差大的不足,基于最小外接矩形的磨损视觉检测方法对BTA深孔钻的磨损进行了检测。通过对刀具磨损图像进行图像预处理,包括图像的灰度化、滤波去噪处理以及阈值分割,得到了清晰的磨损区域图像。将预处理图像应用最小外接矩形方法得到刀具的磨损量,分析了磨损量对加工孔径的影响。采用上述检测方法对BTA深孔钻进行了试验分析,为提高刀具的使用寿命提供数据支持。     

基于改进SGM的工件高度定位研究

针对工业环境中光照条件不稳定、图像纹理信息缺乏等因素导致目标视差图获取困难的问题，提出一种基于改进半全局立体匹配(semi-global matching, SGM)算法的工件高度定位方法。采用Census变换窗口内像素的平均值代替原变换的中心像素值，使算法对噪声更具鲁棒性，减少了原算法对中心像素的依赖。引入Sobel算子对图像边缘进行检测，依据左右视图的梯度差值划分像素点类别，对路径聚合中的惩罚系数进行自适应调整，通过后续优化处理，得到了最终视差图。为验证本文所述工件高度定位系统的可行性和有效性，搭建机器人实验平台，对所提算法进行实验验证。实验结果表明，本文的改进算法与传统SGM算法相比，误匹配率下降约为8.76%,匹配精确度显著提高，工件高度的平均定位误差约为0.708 mm,满足系统抓取要求。该研究为机械臂精确定位工件高度提供了思路。     

一种指纹图像偏移度计算方法

由于仅依靠原始图像几何中心的坐标和前景区的质心坐标来计算指纹图像的偏移程度,极易丢失指纹的有效信息(如核心点和三角点信息),从而引起后续特征提取与匹配的不准确,为此利用原始图像的几何中心和前景区的质心位置以及提取的奇异点或参考点位置,提出一种指纹图像偏移度计算方法.实验结果表明,该方法能更准确地进行指纹图像的位置偏移度判断.     

改进的多特征融合手语字母识别方法

为了实现手语视频中手语字母的准确识别,提出一种基于DI_CamShift(depth image CamShift)和手语视觉单词(sign language visual word,SLVW)特征结合的算法.首先,采用Kinect获取手语字母手势视频及其深度信息;其次,通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;再次,使用基于深度积分图像的大津法(OTSU)分割手势并提取其尺寸不变特征转换(scale invariant feature transform,SIFT)特征和Gabor特征,并通过典型相关分析(canonical correlation analysis,CCA)方法进行特征融合;最后,构建SLVW词包并用支持向量机(support vector machine,SVM)进行识别,单个手语字母最高识别率为99.89%,平均识别率为96.34%.     

在人脸图像中确定嘴巴位置的方法

利用迭代式阈值选择算法在人脸的下半区域进行阈值化处理,无需人工干预就可得到嘴巴鼻子等区域,且很好地改进了传统的二值化方法所造成的嘴部轮廓不清晰、连通性不好等缺陷;用腐蚀膨胀算法去掉较小的噪声点,用最小外接矩形近似表示各个连通区域的形状,根据嘴巴形状大小的先验知识确定嘴巴所在的连通区域;用嘴巴连通区域的质心表示嘴巴中心,利用Harris角点检测算法在原灰度图像的嘴巴区域中找到两个嘴角。实验结果表明,本文算法具有较快的速度和较高的精度。     

配置机械手的轮式移动机器人目标物体跟踪与抓取

针对配置机械手的室内轮式移动机器人目标物体识别、跟踪和抓取问题,采用一种目标物体识别和机器人定位的方法,利用一种基于模糊控制的轮式移动机器人视觉伺服跟踪控制的方法。针对机器人目标识别跟踪及抓取过程中受环境条件变化的影响,采用HSI颜色模型和基于阈值的区域分割的图像处理方法可以完成目标颜色物体的快速准确识别。基于云台摄像机角度信息的机器人小车目标定位方法和模糊控制理论,设计了模糊跟踪控制器,使机器人输出合适的线速度和角速度,能够实现机器人目标跟踪,使移动机器人趋近目标物体位置,并完成机械手目标物体抓取任务。仿真和实时实验结果表明：所设计的系统具有良好的目标物体识别、跟踪和准确抓取目标的能力。     

高速视频的运动目标特征信息值提取算法

为了准确获取运动飞碟的运动目标特征值,在研究相机帧频为100fps基础上,以采集到运动目标图像的质心为中心,以图像的行、列像素为特征向量,构建运动目标的特征信息值.实验结果表明:运动目标特征值提取算法能够准确提取出运动目标的特征值,处理时间为60ms左右.