基于深度学习的水果采摘机器人视觉识别系统设计

水果识别是自动化采摘过程中的关键步骤,为了提高水果识别的准确性和实时性,利用深度学习方法,设计了一种水果采摘机器人视觉识别系统。首先,采用多种预处理方法对样本数据进行扩充,并对图像进行缩放和灰度化处理;然后,构建了一个多层卷积神经网络,通过多次训练得到网络最优超参数;最后,利用所构建的卷积神经网络对水果图像进行训练,同时采用多种训练策略得到最终的识别模型。实验结果表明:系统具有识别速度快、准确率高的特点,可以快速、准确地对水果图像进行识别,单张水果图像的识别速度只需0.2s,识别精度高达97%以上。该方法具有重要的理论和应用价值,可为水果的自动化识别提供有力手段。     

面向采摘机器人的水果精准识别算法研究进展

随着水果产业链自动化的进步,水果采摘机器人也在不断地发展,对目标水果实现精准识别是水果采摘机器人最重要的组成部分之一.本文将对水果目标识别的各类算法应用状况进行对比,同时阐述各类算法在水果采摘机器人上的应用现状.其中,现有的水果目标识别方法主要有3部分,分别是传统图像处理技术、各种机器学习算法和使用各类卷积神经网络的深...     

基于深度学习的水果图像识别系统

随着模式识别领域不断的发展,图像识别作为该领域中的典型应用,受到了众多学者的关注,尤其是在图像快速识别方面。对此,该文将从深度学习的概述入手,选择卷积神经网络算法应用于水果图像识别中。通过对卷积神经网络算法的网络结构以及卷积神经网络训练过程的详细分析,采用卷积神经网络架构设计、分类器设计建构了基于卷积神经网络的水果图像识别系统。并将识别结果与传统水果图像识别结果进行对比验证,为水果图像识别领域提供参考。      

采摘机器人目标识别技术研究——基于机器视觉及深度学习

为了解决采摘机器人识别目标果实难的问题，提出了一种基于机器视觉及深度学习的采摘机器人目标识别技术，可结合图像采集、图像处理、SSD深度学习算法，实现对橘柑的精准识别。试验结果表明：采摘机器人目标识别技术对橘柑具有较高的识别率，证实了该方法的可行性，对采摘机器人研究具有一定的参考价值。     

基于深度学习的机器人疏果前毛桃目标识别方法

为实现自然环境下疏果前期毛桃目标的识别,提出了基于Faster R-CNN的毛桃目标识别方法,设计的网络由ResNet-50特征提取网络、区域生成网络和感兴趣区域子网组成,并以ResNet-50为基础网络,用来提取目标特征。工作时,区域生成网络依据ResNet-50提取的特征生成感兴趣区域,感兴趣区域子网依据目标特征和感兴趣区域进行毛桃的识别与定位;对图像进行扩增后,随机选取1920幅作为训练集、240幅作为验证集。用测试集中的240幅图像对模型进行测试,结果表明：目标识别方法能有效识别出自然环境下的毛桃目标,准确度为92.97%,误识率为7.03%,召回率为84.62%,平均检测速度为0.189s/幅,可实现疏果前期毛桃目标的识别,模型具有较好的鲁棒性和泛化能力。     

玉米智能收获机器人的路径识别方法

为了实现玉米智能收获机器人路径的识别,采用图像处理技术对玉米智能收获机器人行走垄行图像进行采集,并对其进行8邻域均值滤波器去噪和Prewitte算子边缘检测等技术处理,获得玉米收获机器人的行走路径,从而为实现机器人在玉米田间的自动行走和作业奠定技术基础。实验结果表明,该方法快速、准确,能实时检测出玉米智能收获机器人的行走路径。     

基于深度学习的林下落果识别方法与试验

监测与识别林下落果的数量和分布信息,是实现落果自动收获和果园智能化管理的重要基础.针对目前落果识别智能化程度较低等问题,提出一种基于深度学习的林下落果识别方法.首先,以不同类型、品种落果图像为基础,通过数据预处理、增强等方法建立林下落果图像数据集.其次,利用YOLO v3深度卷积神经网络优势特性,建立落果智能识别方法....     

水果收获机器人避障路径规划

在综合分析路径规划研究的基础上,采用基于概率地图的路径规划方法,运用启发式搜索算法对水果收获机器人机械臂运动路径进行实时规划。在搜索过程中,以位姿点密度作为权重使路径向自由空间扩散,避免过度采样。为提高路径规划速度,采用延迟碰撞检测策略,可有效降低计算量。采用有向包围盒进行碰撞检测。最后利用虚拟现实技术,对水果收获时要绕过的支架和狭窄区域进行三维计算机模拟。结果显示,路径规划时间均小于0．15s,达到实时要求。     

基于RFID和图像处理的目标物识别处理系统的研究

介绍了RFID技术和图像处理技术,研究了基于图像处理和卷积神经网络的水果识别与分类模型,设计了一套水果目标物识别处理系统,可以实现对苹果、梨子、水蜜桃和香蕉等4种水果的识别与分类.实验结果表明:卷积神经网络模型采用自主学习型的网络,识别错误率只有0.93％,相比其他传统模型分类错误率降低较多,证明了卷积神经网络模型性能...     

基于深度图像和神经网络的拖拉机识别与定位方法

针对多机协同导航作业中本机前方的拖拉机识别精度低、相对定位困难,难以保障自主作业安全的问题,提出了一种基于深度图像和神经网络的拖拉机识别与定位方法。该方法通过建立YOLO-ZED神经网络识别模型,识别并提取拖拉机特征;运用双目定位原理计算拖拉机相对本机的空间位置坐标。对拖拉机进行定点识别与定位试验,分别沿着拖拉机纵向、宽度方向和S形曲线方向测量拖拉机的识别与定位结果。试验结果表明：本文方法能够在3~10m景深范围内快速、准确地识别并定位拖拉机的空间位置,平均识别定位速度为19f/s;在相机景深方向和宽度方向定位拖拉机的最大绝对误差分别为0.720m和0.090m,最大相对误差分别为7.48%和8.00%,标准差均小于0.030m,能够满足多机协同导航作业对拖拉机目标识别的精度和速度要求。     

果实目标深度学习识别技术研究进展

机器视觉技术是果实目标识别与定位研究的关键。传统的目标识别算法准确率较低、检测速度较慢,难以满足实际生产的需求。近年来,深度学习方法在果实目标识别与定位任务中表现出了优良的性能。本文从数据集制备与果实目标识别模型两方面进行综述,总结了数据集制备相关的有监督、半监督和无监督3种方法的特点,按照深度学习算法的发展历程,归纳了基于深度学习的果实目标检测和分割技术的常用方法及其实际应用,轻量化模型的研究进展及其应用情况,基于深度学习的果实目标识别技术面临的问题和挑战。最后指出基于深度学习的果实目标识别方法未来发展趋势为：通过弱监督学习来降低模型对数据标签的依赖性,提高轻量化模型的检测速度以实现果实目标的实时准确检测。     

果实收获机器人关节滑模控制系统设计与试验

针对多关节果实收获机器人难以获得精确控制模型以及控制系统的抖振问题,提出基于遗传算法实时动态调整滑模参数的控制策略,设计并制作了基于STM32微控制器和AS5045位置反馈模块及CAN总线通信模块的关节控制系统仿真和试验平台,分别在空载与负载情况下进行了关节电机位置响应试验。结果表明,采用遗传算法动态调整滑模控制器参数能够提高关节控制系统位置跟踪的响应速度,减少外界干扰和负载变化引起的控制系统抖振的幅度与持续时间,具有较强的鲁棒性。由空载和负载试验结果可知,关节6实际试验控制系统的位置跟踪响应时间比理论仿真试验增加了0.5 s,负载时控制系统的位置跟踪响应时间比空载时增加了0.3 s,但负载对系统精度和超调量并无明显影响,系统具有良好的控制效果。     

基于深度学习与图像处理的玉米茎秆识别方法与试验

以识别玉米秧苗茎秆为目标,采用云台搭载电荷耦合器件（CCD）相机获得玉米秧苗图像,采用LabelImage插件制作了玉米秧苗的标记与标签。基于深度学习框架TensorFlow搭建了多尺度分层特征的卷积神经网络模型,应用4倍膨胀的单位卷积核,获得了玉米秧苗图像的识别模型,其识别准确率为99.65%。将已知玉米秧苗图像划分为最佳子块,求取了各个子块的最佳二值化阈值。选取6种杂草密度在每天5个时间段进行为期3d的试验,共采集了10800幅图像。试验结果显示,对玉米秧苗茎秆的平均识别准确率为98.93%,且光照条件与田间杂草密度对识别结果没有显著影响（P>0.05）。     

水果采摘机械臂神经网络自适应反演控制研究

针对水果采摘单连杆柔性机器臂系统,提出一种基于RBF神经网络动态面反演自适应控制算法。该算法通过动态面控制技术,有效解决由于反演设计带来系统"计算膨胀问题",并通过RBF神经网络对系统中未知或不确定函数进行逼近,实现神经网络自适应反演控制。最后,通过Lyapunov稳定理论证明闭环系统的一致最终有界。仿真结果验证了该控制器的有效性。     

基于计算机图像的采摘机器人结构优化研究

随着果蔬种植规模的扩大,果蔬采摘作业的需求量也逐渐提高.传统的果蔬采摘作业存在自动化程度低、采摘对象识别困难、采摘破坏性大等问题,导致采摘作业的效果较差、作业效率低.为此,引入了计算机图像技术,在深入研究了计算机图像技术原理的基础上,分析了计算机图像技术的成像原理,完成了采摘机器人的机械结构设计,并对采摘机器人的硬件总...     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于DSP和图像处理的农业机器人视觉导航研究

确定了间歇式行走的农业机器人视觉导航方案,设计了计算机图像采集单元、计算机图像处理模块和视觉导航参数提取算法,实现了一套基于DSP和图像处理的农业机器人视觉导航系统.试验结果表明:农业机器人移动速度增加时,导航误差会增大,且机器人的平均横向偏移在10 cm之内,能够满足农业机器人的导航需求.     

白芦笋采收机器人视觉定位与采收路径优化方法

依据笋芽出土状态的选择性收获是目前白芦笋公认的最佳收获方式。针对采收过程中机器视觉识别笋尖存在笋尖与垄面纹理和颜色相近等识别难题,本研究提出了一种变尺度感兴趣区域（ROI）检测方法,融合图像色域变换、直方图均值化、形态学和纹理滤波等技术,研究了笋尖识别与精准定位方法;在定位多笋尖坐标基础上,提出了多笋芽的采收路径优化方法,解决了因采收路径不合理导致的采收效率低的问题。首先,通过机器人视觉系统实时采集采收区域图像并进行RGB三通道高斯滤波,采用HSV色域变换并进行直方图均值化处理。在此基础上,对笋尖、土壤进行特征聚类分析,根据笋芽抽发程度研究变尺度ROI检测方法,对采集图像中笋尖的形态学以及笋尖和土壤的纹理进行统计学分析,设定笋尖的似圆度阈值,并参考纹理特征参数,判定笋尖位置,计算其几何中心,获得笋尖轮廓中心坐标。其次,为实现白芦笋的高效采收,根据多目标点与集箱点的位置分布,本研究设计了一种基于多叉树遍历的采收路径优化算法,以获得多个目标笋尖的最优采收路径。最后,搭建采收机器人试验平台开展了笋尖定位与采收验证性试验。结果表明,视觉系统对白芦笋的识别率可达98.04%,笋尖轮廓中心坐标的定位最大误差X方向为0.879 mm,Y方向为0.882 mm,采收笋的个数在不同情况下,采用路径优化后的末端执行器运动距离平均可节省43.89%,末端执行器定位成功率达到100%,在实验室环境下的白芦笋采收率达到88.13%,验证了采用视觉定位的白芦笋采收机器人选择性采收的可行性。