基于模糊集理论的苹果表面阴影去除方法

为了提高阴影影响下的苹果目标提取精度,该文提出了一种基于模糊集理论的苹果表面阴影去除方法。该方法将含阴影图像作为一个模糊矩阵,利用所设计的隶属函数进行图像去模糊化处理,达到图像增强的目的,进而削弱苹果表面阴影对目标分割的影响。为了验证算法的有效性,采用基于灰度阈值和基于颜色聚类2种算法对去除阴影前后的目标图像进行分割,并选用分割误差、假阳性率、假阴性率和重叠系数4项指标进行了分析比较,试验结果表明,去除阴影之后,2种分割算法所提取的苹果目标区域较去除阴影之前有了较大的提高,2种分割算法的平均分割误差分别为3.08%和3.46%,比去除阴影之前降低了20.53%和25.92%,假阳性率、假阴性率分别降低了29.79%、29.98%和21.25%、29.83%,重叠系数分别提高30.96%和24.55%。与灰度变换法去除阴影后分割的效果比较表明,该方法的平均分割误差降低了29.23%,假阳性率、假阴性率分别降低了30.97%和20.40%,重叠系数提高了26.60%;与直方图均衡化法的比较表明,分割误差降低了25.59%,假阳性率、假阴性率分别降低了22.74%和27.56%,而重叠系数提高了27.43%。这一系列数据表明,基于模糊集理论的阴影去除方法具有较好的阴影去除效果。经过去除阴影后,可以获得更高的目标分割性能,目标提取精度显著提高,表明将模糊集方法应用于苹果目标的阴影去除可以有效地提高苹果目标区域的提取精度。     

基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。     

机器人采摘苹果果实的K-means和GA-RBF-LMS神经网络识别

为进一步提升苹果果实的识别精度和速度,从而提高苹果采摘机器人的采摘效率。提出一种基于K-means聚类分割和基于遗传算法(genetic algorithm,GA)、最小均方差算法(least mean square,LMS)优化的径向基(radial basis function,RBF)神经网络相结合的苹果识别方法。首先将采集到的苹果图像在Lab颜色空间下利用K-means聚类算法对其进行分割,分别提取分割图像的RGB、HSI颜色特征分量和圆方差、致密度、周长平方面积比、Hu不变矩形状特征分量。将提取的16个特征作为神经网络的输入,对RBF神经网络进行训练,以得到苹果果实的识别模型。针对RBF神经网络学习率低、过拟合等不足,引入遗传算法对RBF隐层神经元个数和连接权值进行优化,采取二者混合编码同时进化的优化方式,最后再利用LMS对连接权值进一步学习,建立新的神经网络优化模型(GA-RBF-LMS),以提高神经网络的运行效率和识别精度。为了获得更精确的网络模型,在训练过程中,苹果果实连同树枝、树叶一块训练;得到的模型在识别过程中,可一定程度上避免枝叶遮挡对果实识别的影响。为了更好地验证新方法,分别与传统的BP(back propagation)和RBF神经网络、GA-RBF优化模型比较,结果表明,该文算法对于遮挡、重叠果实的识别率达95.38%、96.17%,总体识别率达96.95%;从训练时间看,该文算法虽耗时较长,用150个样本进行训练平均耗时4.412 s,但训练成功率可达100%,且节省了人工尝试构造网络结构造成的时间浪费;从识别时间看,该文算法识别179个苹果的时间为1.75 s。可见GA-RBF-LMS网络模型在运行效率和识别精度较优。研究结果为苹果采摘机器人快速、精准识别果实提供参考。     

苹果采摘机器人快速跟踪识别重叠果实

为解决采摘机器人在运动状态下对重叠果实的识别问题,减少采摘过程处理的时间,对重叠果实的快速跟踪识别进行了研究。首先,对采集到的第1幅图像进行分割并去噪,之后通过计算圆内的点到轮廓边缘最小距离的极大值确定圆心的位置,计算圆心到轮廓边缘距离的最小值确定半径,通过圆心与半径截取后续匹配的模板,经试验证明该算法能较准确地找到重叠果实的圆心与半径。然后,确定连续采集的10幅图像的圆心,根据每幅图像圆心的位置对机器人的运动路径进行拟合、预判、综合半径与预判路径确定下一次图像处理的范围。最后,采用快速归一化互相关匹配对重叠果实进行匹配识别。试验证明,经过改进后的算法匹配识别时间与原算法相比,在没有进行预判的情况下匹配识别的时间为0.185 s,经过预判之后,匹配时间为0.133 s,减少了28.1%,采摘机器人的实时性得到了提高,能够满足实际需求。该研究可为苹果等类球形重叠果实的动态识别提供参考。     

苹果采摘机器人对振荡果实的快速定位采摘方法

为解决由于果实振荡影响采摘机器人采摘效率的问题,该文研究了苹果采摘机器人在果实振荡状况下的快速采摘方法。首先对振荡果实进行动态连续采集,其次对所采集的图像进行振荡果实识别并提取其二维质心坐标,然后由FFT建模,求取果实的振荡周期,在测得振荡果实的深度距离后,计算出采摘机器人直动关节的行程速度,随即开始采摘,抓取时果实正处于平衡位置。最后通过试验可知,采摘成功率达到84%,对于果实静态状况下采摘速度较快的采摘机器人来说,采摘振荡果实,该研究方法明显优于以往采摘方法,能够显著提高采摘机器人果实采摘的整体速度。此外,该采摘方法简单、通用性好,可满足苹果等类球状果实采摘机器人的需要,对实现其实用化和商品化提供参考。     

采摘机器人振荡果实匹配动态识别

为解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题,对采摘机器人在果实振荡状况下的匹配动态识别方法进行了研究。首先介绍了振荡果实的动态识别流程,确定出采摘目标果实作为后续匹配识别的模板;然后引入去均值归一化积相关匹配识别算法,采用FastInverseSquareRoot算法和快速哈特莱变换对其进行加速优化,同时借鉴以往旋转无关匹配识别算法进行抗旋转改进;试验结果表明,加速优化后的匹配识别算法能够进行采摘目标果实的匹配识别,单幅平均匹配识别时间为0.33s,经过抗旋转等改进的匹配识别算法在[-55°,60°]较大范围内旋转无关,可以准确识别振荡果实,加上模板适时更新,能够满足实际需求。该研究可为果蔬采摘的动态识别提供参考。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。     

基于视觉伺服的草莓采摘机器人果实定位方法

为解决基于手眼系统的视觉伺服方法在草莓采摘机器人应用中存在的视觉信息反馈延迟大、频率低以及深度信息无法确定等带来的定位耗时长、精度低的问题,采用摄像机曝光信号触发控制卡进行高速位置锁存,结合位置传感器的反馈信息,来减少定位耗时;采用基于运动恢复结构的方法,提高果实采摘参数的精度。在垄坡和摄像机像平面的夹角为±10°范围内的情况下,针对包含1~3粒成熟草莓的果实域,采用直角坐标式机械臂草莓采摘机器人样机进行了定位试验。试验结果表明:定位时间在0.633~0.886 s之间;草莓深度信息的相对误差在-4.34%~0.95%范围内。     

苹果采摘机器人视觉系统研究进展

视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。     

基于光照无关图的苹果图像识别方法

为了解决苹果采摘机器人的果实识别率在不同光照条件下表现不稳定的问题,该文提出一种基于光照无关图的苹果识别方法。该方法首先采用中值滤波法对苹果图像进行预处理,然后对处理后的彩色图像提取光照无关图,消除光照变化的影响,再采用Ostu阈值分割法进行目标果实的提取。最后通过对苹果图像进行识别试验的结果表明,在4种不同的光照情况下,采用基于光照无关图的识别方法得出的识别率的稳定度是不采用光照无关图的识别方法的3倍,并且其平均识别率也高达90.45%。基于光照无关图的苹果识别方法能够克服光照变化对目标识别带来的负面影     

自然环境下葡萄采摘机器人采摘点的自动定位

针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题,该文提出一种基于改进聚类图像分割和点线最小距离约束的采摘点定位新方法。首先通过分析葡萄图像的颜色空间,提取最能突显夏黑葡萄的HSI色彩空间分量H,运用改进的人工蜂群优化模糊聚类方法对葡萄果图像进行分割;然后对分割图像进行形态学去噪处理,提取最大连通区域,计算该区域质心、轮廓极值点、外接矩形;再根据质心坐标与葡萄簇边缘信息确定采摘点的感兴趣区域,在区域内进行累计概率霍夫直线检测,求解所有检测得出的直线到质心之间的距离,最后选取点线距离最小的直线作为采摘点所在线,并取线段中点坐标作为采摘点。以从晴天顺光、晴天遮阴、阴天光照下采集的300幅夏黑葡萄进行分类试验,结果表明,该方法的采摘点定位准确率达88.33%,平均定位时间为0.3467 s,可满足采摘机器人对采摘点的定位需求,为葡萄采摘机器人提供了一种新的采摘点求解方法。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

自然环境下多类水果采摘目标识别的通用改进SSD模型

为解决当前自然环境下水果识别率不高、泛化性不强等问题,该文以苹果、荔枝、脐橙、皇帝柑4种水果为研究对象,提出了一种改进的SSD(single shot multi-boxdetector)深度学习水果检测模型:将经典SSD深度学习模型中的VGG16输入模型替换为Res Net-101模型,并运用迁移学习方法和随机梯度下降算法优化SSD深度学习模型。该文基于Caffe深度学习框架,对自然环境下采集的水果图像进行不同网络模型、不同数据集大小和不同遮挡比例等多组水果识别检测效果对比试验。试验表明:改进的SSD深度学习水果检测模型对4种水果在各种环境下的平均检测精度达到88.4%,高于经典SSD深度学习模型中的86.38%,经过数据增强后平均检测精度可提升至89.53%,在遮挡面积低于50%的情况下F1值能达到96.12%,有较好的泛化性和鲁棒性,可以很好地实现自然环境下多类水果的精准检测,可为农业自动化采摘中的水果识别检测问题提供新的方案。     

基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位

为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候的在不同光线环境下对遮挡、粘连和套袋等多种情况下的果实进行识别定位,该文提出了基于YOLOv3(you only look once)深度卷积神经网络的苹果定位方法。该方法通过单个卷积神经网络(one-stage)遍历整个图像,回归目标的类别和位置,实现了直接端到端的目标检测,在保证效率与准确率兼顾的情况下实现了复杂环境下苹果的检测。经过训练的模型在验证集下的m AP(meanaverageprecision)为87.71%,准确率为97%,召回率为90%,IOU(intersection over union)为83.61%。通过比较YOLOv3与Faster RCNN算法在不同数目、不同拍摄时间、不同生长阶段、不同光线下对苹果的实际检测效果,并以F1为评估值对比分析了4种算法的差异,试验结果表明YOLOv3在密集苹果的F1高于YOLOv2算法4.45个百分点,在其他环境下高于Faster RCNN将近5个百分点,高于HOG+SVM(histogram of oriented gradient+support vector machine)将近10个百分点。并且在不同硬件环境验证了该算法的可行性,一幅图像在GPU下的检测时间为16.69 ms,在CPU下的检测时间为105.21 ms,实际检测视频的帧率达到了60帧/s和15帧/s。该研究可为机器人快速长时间高效率在复杂环境下识别苹果提供理论基础。     

基于多模态图像的自然环境下油茶果识别

针对自然条件下油茶果生长条件复杂,存在大量遮挡、重叠的问题,提出了一种基于RGB-D（red green blue-depth）多模态图像的双主干网络模型YOLO-DBM（YOLO-dual backbone model）,用来进行油茶果的识别定位。首先,在YOLOv5s模型主干网络CSP-Darknet53的基础上设计了一种轻量化的特征提取网络。其次,使用两个轻量化的特征提取网络分别提取彩色和深度特征,接着使用基于注意力机制的特征融合模块将彩色特征与深度特征进行分级融合,再将融合后的特征层送入特征金字塔网络（feature pyramid network,FPN）,最后进行预测。试验结果表明,使用RGB-D图像的YOLO-DBM模型在测试集上的精确率P、召回率R和平均精度AP分别为94.8%、94.6%和98.4%,单幅图像平均检测耗时0.016 s。对比YOLOv3、YOLOv5s和YOLO-IR（YOLO-InceptionRes）模型,平均精度AP分别提升2.9、0.1和0.3个百分点,而模型大小仅为6.21MB,只有YOLOv5s大小的46%。另外,使用注意力融合机制的YOLO-DBM模型与只使用拼接融合的YOLO-DBM相比,精确率P、召回率R和平均精度AP分别提高了0.2、1.6和0.1个百分点,进一步验证该研究所提方法的可靠性与有效性,研究结果可为油茶果自动采收机的研制提供参考。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。