基于深度学习的水果采摘机器人视觉识别系统设计

水果识别是自动化采摘过程中的关键步骤,为了提高水果识别的准确性和实时性,利用深度学习方法,设计了一种水果采摘机器人视觉识别系统。首先,采用多种预处理方法对样本数据进行扩充,并对图像进行缩放和灰度化处理;然后,构建了一个多层卷积神经网络,通过多次训练得到网络最优超参数;最后,利用所构建的卷积神经网络对水果图像进行训练,同时采用多种训练策略得到最终的识别模型。实验结果表明:系统具有识别速度快、准确率高的特点,可以快速、准确地对水果图像进行识别,单张水果图像的识别速度只需0.2s,识别精度高达97%以上。该方法具有重要的理论和应用价值,可为水果的自动化识别提供有力手段。     

面向采摘机器人的水果精准识别算法研究进展

随着水果产业链自动化的进步,水果采摘机器人也在不断地发展,对目标水果实现精准识别是水果采摘机器人最重要的组成部分之一。本文将对水果目标识别的各类算法应用状况进行对比,同时阐述各类算法在水果采摘机器人上的应用现状。其中,现有的水果目标识别方法主要有3部分,分别是传统图像处理技术、各种机器学习算法和使用各类卷积神经网络的深度学习算法。此外,论述了水果图像数据集常用的处理方法和算法模型的改进方法,通过对图像数据进行处理增强和算法的改进来提高对目标的识别准确率。最后,分析各类算法在水果目标识别的未来研究趋势。     

基于深度学习的水果图像识别系统

随着模式识别领域不断的发展,图像识别作为该领域中的典型应用,受到了众多学者的关注,尤其是在图像快速识别方面。对此,该文将从深度学习的概述入手,选择卷积神经网络算法应用于水果图像识别中。通过对卷积神经网络算法的网络结构以及卷积神经网络训练过程的详细分析,采用卷积神经网络架构设计、分类器设计建构了基于卷积神经网络的水果图像识别系统。并将识别结果与传统水果图像识别结果进行对比验证,为水果图像识别领域提供参考。      

采摘机器人目标识别技术研究——基于机器视觉及深度学习

为了解决采摘机器人识别目标果实难的问题,提出了一种基于机器视觉及深度学习的采摘机器人目标识别技术,可结合图像采集、图像处理、SSD深度学习算法,实现对橘柑的精准识别。试验结果表明：采摘机器人目标识别技术对橘柑具有较高的识别率,证实了该方法的可行性,对采摘机器人研究具有一定的参考价值。     

玉米智能收获机器人的路径识别方法

为了实现玉米智能收获机器人路径的识别,采用图像处理技术对玉米智能收获机器人行走垄行图像进行采集,并对其进行8邻域均值滤波器去噪和Prewitte算子边缘检测等技术处理,获得玉米收获机器人的行走路径,从而为实现机器人在玉米田间的自动行走和作业奠定技术基础。实验结果表明,该方法快速、准确,能实时检测出玉米智能收获机器人的行走路径。     

基于深度学习的机器人疏果前毛桃目标识别方法

为实现自然环境下疏果前期毛桃目标的识别,提出了基于Faster R-CNN的毛桃目标识别方法,设计的网络由ResNet-50特征提取网络、区域生成网络和感兴趣区域子网组成,并以ResNet-50为基础网络,用来提取目标特征。工作时,区域生成网络依据ResNet-50提取的特征生成感兴趣区域,感兴趣区域子网依据目标特征和感兴趣区域进行毛桃的识别与定位;对图像进行扩增后,随机选取1920幅作为训练集、240幅作为验证集。用测试集中的240幅图像对模型进行测试,结果表明：目标识别方法能有效识别出自然环境下的毛桃目标,准确度为92.97%,误识率为7.03%,召回率为84.62%,平均检测速度为0.189s/幅,可实现疏果前期毛桃目标的识别,模型具有较好的鲁棒性和泛化能力。     

水果收获机器人避障路径规划

在综合分析路径规划研究的基础上,采用基于概率地图的路径规划方法,运用启发式搜索算法对水果收获机器人机械臂运动路径进行实时规划。在搜索过程中,以位姿点密度作为权重使路径向自由空间扩散,避免过度采样。为提高路径规划速度,采用延迟碰撞检测策略,可有效降低计算量。采用有向包围盒进行碰撞检测。最后利用虚拟现实技术,对水果收获时要绕过的支架和狭窄区域进行三维计算机模拟。结果显示,路径规划时间均小于0．15s,达到实时要求。     

基于深度学习的采摘机器人目标检测方法研究

目标检测是机器人采摘的关键环节,直接影响采摘质量和效率。文章介绍了基于传统数字图像处理技术的自动化检测方法和基于深度学习的目标检测方法,分析了各类检测方法在具体案例中展现出的独特优势和不足,并结合生产实际,探讨基于深度学习的人工智能技术在农业采摘领域的应用前景。     

基于深度学习的林下落果识别方法与试验

监测与识别林下落果的数量和分布信息,是实现落果自动收获和果园智能化管理的重要基础.针对目前落果识别智能化程度较低等问题,提出一种基于深度学习的林下落果识别方法.首先,以不同类型、品种落果图像为基础,通过数据预处理、增强等方法建立林下落果图像数据集.其次,利用YOLO v3深度卷积神经网络优势特性,建立落果智能识别方法....     

基于RFID和图像处理的目标物识别处理系统的研究

介绍了RFID技术和图像处理技术,研究了基于图像处理和卷积神经网络的水果识别与分类模型,设计了一套水果目标物识别处理系统,可以实现对苹果、梨子、水蜜桃和香蕉等4种水果的识别与分类.实验结果表明:卷积神经网络模型采用自主学习型的网络,识别错误率只有0.93％,相比其他传统模型分类错误率降低较多,证明了卷积神经网络模型性能...     

果实目标深度学习识别技术研究进展

机器视觉技术是果实目标识别与定位研究的关键。传统的目标识别算法准确率较低、检测速度较慢,难以满足实际生产的需求。近年来,深度学习方法在果实目标识别与定位任务中表现出了优良的性能。本文从数据集制备与果实目标识别模型两方面进行综述,总结了数据集制备相关的有监督、半监督和无监督3种方法的特点,按照深度学习算法的发展历程,归纳了基于深度学习的果实目标检测和分割技术的常用方法及其实际应用,轻量化模型的研究进展及其应用情况,基于深度学习的果实目标识别技术面临的问题和挑战。最后指出基于深度学习的果实目标识别方法未来发展趋势为：通过弱监督学习来降低模型对数据标签的依赖性,提高轻量化模型的检测速度以实现果实目标的实时准确检测。     

基于选择性注意机制的果实簇识别与采摘顺序规划

基于仿生学思想设计了一种果实簇识别与采摘顺序规划方法。该方法以Itti视觉注意基本模型为基础,通过改进视觉特征整合方法,构建依赖先验知识的视觉显著图,改善果实簇的识别效果;借鉴\"赢者取全\"的生物神经竞争机制和采摘专业人员的操作经验,设计距离、面积和显著度加权择优的采摘顺序规划策略,提高采摘工作效率。试验结果表明,设计的算法能够识别20余种常见果蔬,识别正确率达到93.36%;果实簇的采摘顺序规划结果符合人工采摘的专家经验。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于计算机图像的采摘机器人结构优化研究

随着果蔬种植规模的扩大,果蔬采摘作业的需求量也逐渐提高。传统的果蔬采摘作业存在自动化程度低、采摘对象识别困难、采摘破坏性大等问题,导致采摘作业的效果较差、作业效率低。为此,引入了计算机图像技术,在深入研究了计算机图像技术原理的基础上,分析了计算机图像技术的成像原理,完成了采摘机器人的机械结构设计,并对采摘机器人的硬件总体结构进行优化。同时,对计算机图像采集系统、图像采集模块及执行模块等进行设计,最后完成了采摘机器人的计算机图像信息处理流程设计,并对采摘机器人进行了仿真实验。结果表明:基于计算机图像的采摘机器人结构简单,采摘目标识别精度高,对采摘目标破坏性较小,具有较高的安全性和稳定性,具有较大的推广价值。     

基于深度学习的复杂自然环境下桑树枝干识别方法

在复杂自然环境下完成桑树枝干识别是实现桑叶采摘机智能化的关键部分,针对实际应用中光照条件变化多、桑叶遮挡和桑树分枝多等问题,提出一种基于深度学习的复杂自然环境下桑树枝干识别方法。首先,采用旋转、镜像翻转、色彩增强和同态滤波的图像处理方法扩展数据集,以提高模型的鲁棒性,通过Resnet50目标检测网络模型以及相机标定获得照片中所需的桑树枝干坐标,通过试验发现当学习率设置为0.001,迭代次数设置为600时模型的识别效果最优。该方法对于复杂自然环境中的不同光照条件具有良好的适应性,能够对存在多条分支以及被桑叶遮挡的桑树枝干进行识别并获取坐标信息,识别准确率达到87.42%,可以满足实际工作需求。     

基于OWD-YOLO的火龙果成熟度识别与三维姿态估计方法

针对复杂果园环境下火龙果成熟度识别与姿态估计困难导致采摘精度不高的问题,以YOLO 11n-pose为基础,提出一种轻量高效的OWD-YOLO实时检测模型,实现火龙果精准、高效采摘。在基础模型中引入重参数化卷积,并与C3K2模块结合,增强对火龙果多尺度特征和细节姿态特征的提取能力;在SPPF模块中引入小波池化与大核卷积注意力机制,减少光照变化、背景遮挡等环境因素干扰,提高模型检测精度;在主干网络部分引入DGECA注意力机制提升模型对火龙果果皮颜色和纹理等重要特征的识别能力,改善成熟度判别准确性;在复杂果园环境中部署基于OWD-YOLO模型的六自由度机械臂采摘机器人平台,并通过深度相机实现火龙果三维姿态估计。田间试验结果表明,OWD-YOLO模型目标检测精确率、平均精度均值与关键点检测平均精度均值分别达到88.0%、92.7%、93.3%,较基础模型分别提高5.0、2.4、2.0个百分点,平均帧率为58.7 f/s,单果采摘成功率达86.0%,平均采摘时间为29.4 s,能够满足复杂果园环境下精准机械化采摘需求。     

基于改进YOLOv3的田间复杂环境下菠萝拾捡识别研究

为实现果实拾捡机器人在光照不均、菠萝与周围环境的颜色相似性及果实间的遮挡和重叠等田间复杂环境下对单类别菠萝的快速准确识别,提出采用深度学习下的深层残差网络改进YOLOv3卷积神经网络结构,通过单个卷积神经网络遍历整个图像,回归果实的位置,将改进的YOLOv3的3个尺度检测分别融合相同尺度模块特征层的信息,在保证识别准确...     

基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别

为了提高猕猴桃采摘机器人的工作效率和对猕猴桃复杂生长环境的适应性,识别广域复杂环境下相互遮挡的猕猴桃目标,采用Im-AlexNet为特征提取层的Faster R-CNN目标检测算法,通过迁移学习微调AlexNet网络,修改全连接层L6、L7的节点数为768和256,以解决晴天(白天逆光、侧逆光)、阴天及夜间补光条件下的广域复杂环境中猕猴桃因枝叶遮挡或部分果实重叠遮挡所导致的识别精度较低等问题。采集广域复杂环境中晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的4类样本图像共1 823幅,建立试验样本数据库进行训练并测试。试验结果表明:该方法对晴天逆光、晴天侧逆光、阴天和夜间补光条件下存在遮挡情况的图像识别精度为96. 00%,单幅图像识别时间约为1 s。在相同数据集下,Im-AlexNet网络识别精度比LeNet、AlexNet和VGG16 3种网络识别精度的平均值高出5. 74个百分点。说明该算法能够降低猕猴桃果实漏识别率和误识别率,提高了识别精度。该算法能够应用于猕猴桃采摘机器人对广域复杂环境下枝叶遮挡或部分果实重叠遮挡的准确识别。     

基于卷积神经网络的草莓识别方法

针对目前草莓识别定位大多在简单环境下进行、识别效率较低的问题,提出利用改进的YOLOv3识别方法在复杂环境中对草莓进行连续识别检测。通过训练大量的草莓图像数据集,得到最优权值模型,其测试集的精度均值(MAP)达到87. 51%;成熟草莓的识别准确率为97. 14%,召回率为94. 46%;未成熟草莓的识别准确率为96. 51%,召回率为93. 61%。在模型测试阶段,针对夜晚环境下草莓图像模糊的问题,采用伽马变换得到的增强图像较原图识别正确率有显著提升。以调和平均值(F)作为综合评价指标,对比多种识别方法在不同果实数量、不同时间段及视频测试下的实际检测结果,结果表明,YOLOv3算法F值最高,每帧图像的平均检测时间为34. 99 ms,视频的平均检测速率为58. 1 f/s,模型的识别正确率及速率均优于其他算法,满足实时性要求。同时,该方法在果实遮挡、重叠、密集等复杂环境下具有良好的鲁棒性。     

基于Stereo Camera YOLOv5自然环境下百香果检测与定位模型

针对百香果采摘机器人在自然环境中作业时受复杂光线及遮挡影响;难以快速精确地检测及定位成熟百香果的问题;提出一种基于Stereo Camera YOLOv5自然环境下成熟百香果检测及定位模型。针对自然环境下光线以及遮挡的影响;通过MSRCP算法、随机遮挡、数据增扩等图像处理算法对原始数据集进行优化。将优化的数据集输入到YOLOv5网络中训练出最优模型;在检测代码中嵌入双目立体视觉算法。该模型对自然环境下百香果进行检测及成熟度判断;将判断为成熟的百香果进行图像处理;并提取到中心点二维坐标。通过立体匹配及视差计算得到中心点的三维坐标。田间试验结果表明;该模型的目标检测准确率为97.8%;总体准确率为90.2%;平均运行时间为4.85 s。该系统鲁棒性强、实时性好;能够更好地实现自然环境下成熟百香果的检测及定位;为百香果采摘机器人后续工作奠定基础。