基于单目视觉与超声检测的振荡果实采摘识别与定位

针对采摘机器人在果实振荡情况下因难以精确定位影响采摘效率的问题,提出了一种基于单目视觉与超声检测的振荡果实识别与定位方法。首先对采集的振荡果树图像序列进行基于色差R-G的Otsu阈值分割和形态学处理,接着对图像果实区域进行灰度填充,将处理后的图像序列叠加得到复合图像和目标果实运动区域,求取振荡果实在图像运动区域的二维平衡位置坐标。然后机械手在视觉引导下运动,其末端指向振荡果实二维平衡位置坐标,同时超声传感器检测目标果实深度信息并提取超声回波信号峰峰值进行果实识别,当检测到果实处于适合采摘位置时,机械手爪抓取果实。采摘试验表明,采摘成功率为86%,验证了所采用方法的有效性,为实现采摘机器人实用化提供了参考。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

果实成熟度识别机器人设计——基于近红外线信号处理

为了提高采摘机器人自动识别果实成熟度的智能化水平,提高果实识别的准确性,实现机器人自主定位和自动规划路径能力,设计了一种新的自动化采摘机器人。该机器人利用图像分割技术和近红外信号处理技术,实现了果实成熟度的自动定位和判别。对采摘机器人的性能进行了测试,包括苹果图像的分割和提取、果实成熟度的判断和机器人路径规划。通过测试发现:机器人可以在复杂采摘背景下准确地识别苹果果实,并可以通过红外线探测实现果实成熟度的判别,最终规划出来合理的采摘路径,实现果实的精准采摘,为果蔬采摘机器人的研究提供了较有价值的参考。     

夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

基于粗糙集与遗传算法的采摘机器人路径规划

为了提高采集机器人路径规划速度和自主导航的智能化水平,提出了一种基于粗糙集和遗传算法的路径规划方法,从而有效地提高了路径规划的速度和精度。采摘机器人根据实际果实采摘环境,利用图像分割技术,对果实目标进行识别,在二维栅格地图环境下,制定出决策表,并使用粗糙集对决策表进行约简,得到最小决策表,将其作为遗传算法初试种群,进行遗传交叉和复制操作,优化路径规划算法。为了验证采摘机器人算法性能的可靠性,对采摘机器人的性能进行了测试,包括果实图像的识别和机器人路径规划能力。通过测试发现:采摘机器人可有效地分割提取出成熟果实,并可完成多目标任务。对粗糙集和遗传算法的性能进行了测试,结果发现:使用粗糙集可以大大降低所需训练种群的数目,减少平均迭代次数;增加障碍物的复杂程度后,使用粗糙集遗传算法可以明显地提高路径规划的速度,从而提高了机器人采摘作业的效率。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于超像素特征的苹果采摘机器人果实分割方法

针对苹果采摘机器人在自然环境下对着色不均匀果实的识别分割问题,提出了基于超像素特征的苹果采摘机器人果实分割方法。首先,采用简单线性迭代聚类算法将图像分割成内部像素颜色较为一致的若干超像素单元;然后,提取每个超像素的纹理和颜色特征,并采用支持向量机将超像素分为果实和背景两个类别;最后,根据超像素之间的邻接关系对分类结果进行进一步修正。实验表明,该方法能够对大部分超像素单元进行正确分类,平均每幅图像被错误分类的超像素约为2.28个。与采用像素级特征的色差法和采用邻域像素特征的果实分割方法相比,采用超像素特征的果实分割方法具有更好的分割效果。在进行邻接关系修正前,该方法图像分割准确率达0.9214,召回率达0.8565,平均识别分割一幅图像耗时0.6087s,基本满足实时性需求。     

采摘机器人运动目标逼近方法研究——基于分裂迭代和模糊算法

为了解决采摘机器人作业过程中果实振荡造成目标识别不准确的问题,提出了一种针对运动果实的帧间差分法的扰动识别方法,并在帧间差分方法中引入了分裂迭代和模糊控制算法,实现了帧间差分背景图像的分离和子图像的有效聚类。依据该识别方法,对采摘机器人的目标逼近方法进行了改进,从而得到了更加准确的目标空间位置获取方法。为了验证该方法对运动果实目标逼近的有效性,采用虚拟仿真和机器人样机试验相结合的方法,进行了运动果实空间坐标获取和果实采摘试验。结果表明:采用分裂迭代模糊聚类的帧间差分方法,可以有效地对运动目标进行识别,识别误差较低,获得的位置坐标较为准确,可以满足果实采摘机器人的设计需求。     

采摘机器人视觉伺服策略研究——基于回归数据挖掘的

为了实现采摘机器人的准确抓取控制、路径识别和自主导航功能,提出了一种基于回归数据挖掘计算模型的机器人视觉伺服控制系统。首先利用双目相机获取果实图像,然后利用拉普拉斯变换和高斯滤波方法对图片进行平滑和增强处理,并利用Canny算法对图像边缘进行检测和分割处理,完成图像的预处理。对图像进行目标识别,提取图像的特征,并采用回归数据挖掘方法对滤波图像进行检验,最终通过计算得到果实图像的中心位置,将中心位置利用控制器反馈给控制中心,控制中心发出指令,控制末端执行器完成果实的采摘作业。对机器人视觉伺服系统进行了测试,结果表明:利用采摘机器人视觉伺服系统可以准确地计算果实的中心位置,实测位置和计算位置的吻合程度较高,视觉伺服系统的计算的稳定性较好。     

基于HSI色彩空间与FFCM聚类的葡萄图像分割

为适应农业采摘机器人对葡萄对象快速准确识别的需要,提出了基于HSI色彩空间与以直方图信息为特征的快速模糊C-均值聚类(FFCM)算法相结合的葡萄图像分割方法。该方法以H分量作为葡萄图像聚类分割的处理数据,根据FFCM算法对灰度图像聚类分割。试验对夏黑葡萄果实在自然光、顺光、背光照射环境下拍摄的图像进行分割。结果表明:葡萄图像分割方法能够快速且较好地从复杂自然环境中将葡萄目标分割出来,为葡萄采摘机器人的研制提供了重要参考。     

轨道平移式果蔬采摘机器人作业质量测试方法

基于轨道平移式果蔬采摘机器人作业原理,建立了果蔬柔性采摘机器人作业质量测试方法,确定了采摘效率、果实采摘尺寸范围、最大抓握输出力、抓取成功率及果实破损率等作业指标的测定方法。依据提出的方法对FHR-2型柔性果蔬采摘机器人进行了设施温室大果番茄采收试验,结果表明,采摘效率8个/min,果实采摘尺寸范围30～92 mm,最大抓握输出力22.5 N,抓取成功率72.9%,果实破损率0,能够满足大果番茄的采摘要求。建立的测试方法能够对番茄采摘机器人进行作业质量测试,机器人的图像识别系统参数需进一步优化,以提高作业质量。      

基于Hough变换的成熟草莓识别技术

基于图像区域特征来识别被遮掩、重叠或紧靠的草莓果实非常困难，提出一种基于Hough变换的成熟草莓识别方法。先对Lab彩色模型下α通道图像进行分割，利用提取的草莓轮廓信息，根据草莓轮廓的数学模型进行Hough变换，实现成熟草莓的识别。为减少运算量，在Hough变换之前，先进行区域标记，获取有效图像信息区域。草莓轮廓信息提取和Hough变换在各个有效区域中进行，由于参数空间大大压缩，运算量也得到减少。试验表明：当成熟草莓轮廓信息丢失小于1／2时，无论单个分离的成熟草莓，还是被遮掩、重叠或紧靠的成熟草莓，皆有很好的识别效果，识别平均相对偏差为4．8％，能满足草莓采摘机器人对目标识别精度的要求。     

采摘机器人移动果实目标跟踪研究——基于云存储和无线传感器网络

提高采摘机器人对运动目标的定位能力是提高机器人采摘精度的重要途径,但对于运动果实目标的跟踪和识别需要实时处理大量的图像数据。为有效处理并利用无线传感器实时采集待采摘果实图像,提出了一种基于Hadoop云平台的图像并行处理方案。为了验证方案的可行性,设计了具有运动图像采集和无线传感网络传输功能的采摘机器人,并搭建了基于云存储并行计算的图像抓取平台,利用无线传感器采集的果实图像资源作为原始数据集,对运动待采摘目标进行了图像识别。实验结果表明:采用该方案可以成功地获取运动果实的位置信息,且采摘机器人成功采摘率较高,对于高精度采摘机器人的设计研究具有重要的意义。     

基于深度学习和图像处理的水果收获机器人抓取系统

首先,介绍了水果收获机器人抓取系统的总体架构;然后,利用深度学习对水果目标识别进行了研究,实现了一套基于卷积神经网络的目标检测算法;接着,利用图像处理技术实现了对目标物体定位的功能,可以引导水果收获机器人完成对目标水果的采摘。实验结果表明:水果收获机器人抓取系统对水果坐标的计算误差较小,且具备较强的水果识别和定位能力。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

果园远程机器人数字视频光纤传输系统——基于DWDM

随着设施农业的发展和农业机械化的要求,对作物的种植管理和收获模式的要求也越来越高。在规模化种植背景下,随着种植面积迅速增长,种植、管理和收获的劳动量也越来越大。研究开发果实收获机器人,实现机械化、自动化与智能化,是现代农业工程的重要课题。在果园采摘机器人自动化作业过程中,远程监控是关键,其不仅可以观测到采摘机器人的作业状态,对于机器人的远程控制也发挥重要的作用。为此,提出了一种基于DWDM光纤传输的采摘机器人远程监控系统,并对系统的性能进行了测试,包括数据传输性能和采摘机器人的作业性能。测试结果表明:采用DWDM光纤传输系统可以成功地将白天和夜间的作业场景图像传输到远程控制终端,在远程控制终端的协同控制作用下,采摘机器人具有较高的果实识别效率和采摘准确率。