夜间自然环境下荔枝采摘机器人识别技术

利用机器视觉实现自然环境下成熟荔枝的识别,对农业采摘机器人的研究与发展具有重要意义。本文首先设计了夜间图像采集的视觉系统,然后选取了白天和夜间两种自然环境下采集荔枝图像,分析了同一串荔枝在白天自然光照与夜间LED光照下的颜色数据,确定了YIQ颜色模型进行夜间荔枝果实识别的可行性。首先选择夜间荔枝图像的I分量图,利用Otsu算法分割图像去除背景,然后使用模糊C均值聚类算法分割果实和果梗图像,得到荔枝果实图像;再利用Hough圆拟合方法检测出图像中的各个荔枝果实。荔枝识别试验结果表明:夜间荔枝图像识别的正确率为95.3%,识别算法运行的平均时间为0.46 s。研究表明,该算法对夜间荔枝的识别有较好的准确性和实时性,为荔枝采摘机器人的视觉定位方法提供了技术支持。     

基于YOLOv3不同场景辣椒采摘机器人识别定位研究

针对辣椒采摘受环境光、枝叶遮挡和果实重叠的影响问题，构建了基于YOLOv3模型和realsense深度相机的识别定位系统，研究不同补光位置、枝叶遮挡和果实重叠程度对辣椒识别和定位精度的影响规律。结果表明：模型召回率Recall达0.98,平均精度均值mAP达0.95,精确率precision达0.854;不同光照场景下，识别成功率由高到低依次为正向光、顶光、侧光和背光；轻度枝叶遮挡和轻微果实重叠时，模型识别成功率均保持在96%左右，综合定位误差最大为0.024m,满足辣椒采摘机器人识别和定位精度需求。     

丘陵果园自然环境下柑橘采摘机器人设计与试验

智慧果园是未来果园行业发展的趋势,智能化果实采摘是发展智慧果园的关键问题。为实现智能化果实采摘,本文搭建了一种适用于丘陵果园矮化栽培模式下的柑橘采摘机器人系统。针对丘陵果园垄间地面凹凸不平,存在地形倾斜角0°~20°,设计了一种自适应调平平台保持机械臂基座水平;通过视觉系统获取多幅点云图像建立果树的三维点云模型,获取果实位置信息;为避免采摘时造成果实损伤,结合柑橘类水果的采摘特点,设计了一种剪切夹持一体化的末端执行器完成柑橘采摘。针对果园自然环境的主要扰动因素（风和光照）进行分级,设置10组对比试验,结果表明：在低光照或正常光照条件下,平均果实定位准确率为82.5%,末端执行器夹取成功率为87.5%,平均采摘时间最短为12.3s/个;高光照条件下平均果实定位准确率为72%,末端执行器夹取成功率为80%,平均采摘时间最短为12.5s/个。     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于Softmax的采摘机器人目标识别技术研究

首先,介绍了目标水果的形态、采摘机器人识别技术与试验平台;然后,设计了双目视觉系统,并基于Softmax分类模型设计了苹果的目标识别算法,实现了一套基于Softmax的采摘机器人目标识别模型。试验结果表明：采摘机器人对无遮挡的苹果目标识别率为94%,对部分遮挡的苹果目标正确识别率为88.7%,稳定性较好,精度较高。     

田间环境下果蔬采摘快速识别与定位方法研究进展

作为实现果蔬采摘作业自动化的关键难题之一,田间环境下的果蔬快速识别与定位受到了广泛的关注。综述了常见的果蔬识别硬件系统和识别算法;总结和分析了果蔬图像预处理、颜色特征选择、图像分割算法设计及图像后处理的研究;综述了常见果蔬识别算法、成簇果蔬识别算法及被遮挡果蔬识别算法的研究;分析和比较了果蔬定位中常用的有源测距法和无源测距法,以及果蔬无源测距中常见的立体匹配算法。分析了田间环境下果蔬识别和定位研究存在的主要问题,并展望了发展趋势。     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建.为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比...     

柑橘采摘机器人障碍物识别技

根据柑橘采摘机器人遇到树枝等障碍物的特点,通过提取和处理障碍物图像的骨架恢复障碍物的三维信息.首先采用图像分割、形态学处理、区域细线化等步骤提取障碍物骨架,并进行骨架修剪、恢复遮挡骨架等处理;然后找出骨架中端点、分支点等特征点并记录其连接关系;最后通过对特征点的立体匹配恢复障碍物的三维信息,试验表明障碍物的正确识别率为67.3%.     

基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

采摘机器人振荡果实动态识别

提出一种采摘机器人在果实振荡状况下的动态识别方法,解决由于果实振荡影响采摘机器人识别定位时间,进而影响采摘速度和效率的问题。首先对所采集的振荡果实图像进行图像分割,将其分为果实和背景两部分;其次引入帧间差分法、水平最小外接矩形法等对分割图像进行振荡果实动态区域的区域标识,然后对其振荡果实进行识别,当图像中有多个振荡果实时,以距离图像中心最近原则确定采摘振荡目标果实。试验结果表明对实际采摘环境下遇到的多数情况,所提算法都能很好地识别出振荡果实,识别时间少于0.5 s。     

基于嵌入式智能控制系统的采摘机器人定位导航方法

利用图像、红外、超声波等传感器模块,感知采摘机器人作业环境,以采摘机器人在园区自主避障和移动为目的,研究了采摘机器人路径规划和定位导航方法,并利用嵌入式控制系统,设计和开发了该采摘机器人定位导航方法。实验结果表明:系统可以实现采摘机器人的定位和导航功能,具有一定的可靠性。     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

基于VR技术的采摘机器人采摘环境仿真研究

为了提高采摘机器人采摘果实的准确率,提升机器人的作业效率,将VR虚拟现实技术引入到了采摘机器人的设计上,提出了基于小波神经网络的机器人PID控制器优化算法,并通过对采摘虚拟环境的创建和机器人的虚拟建模,验证机器人的作业性能.以黄瓜真实生长环境为研究对象,创建了采摘机器人的作业环境,并对采摘机器人的采摘准确率进行了对比,...     

基于MiroSot系统的苹果采摘机器人路径规划研究

针对农业机器人的一个重要类型—采摘机器人,开展了基于机器视觉的路径规划的理论分析和实际应用研究。为了解决苹果采摘机器人中路径规划难度大、最优解求解困难等问题,将MiroSot机器人路径规划系统应用于苹果采摘机器人中,结合采摘机器人作业环境特点和工作需求,采用图像处理技术,设计了具有环境感知、避障和决策能力的采摘机器人路径规划系统。MatLab实验仿真结果表明:系统可以实现无碰撞的最优路径规划,并能够根据环境变化实时进行局部路径规划,证明了系统的实时性、有效性和可行性。     

基于模糊控制系统的采摘机器人避障系统研究分析

针对目前使用的采摘设备落后、工作量大、稳定性差等问题,为了提高采摘机器人的环境适应能力,对采摘机器人的避障控制系统进行了分析,拟采用模糊控制系统的方法,来加强采摘机器人避障系统的能力和效率,减少采摘机器人避开障碍物及规划出适当路径所用时间。模糊控制使用超声波检测前方障碍物距离,以控制转轮速度和方向作为输入量,速比作为输出量,控制移动的速度和方向。为使采摘机器人避障路径规划尽可能短,采用改进的遗传算法和模糊控制系统建立基本模型。对采摘机器人的避障性能进行仿真试验,结果表明:基于模糊控制的采摘机器人的避障系统可以成功地避开障碍物及规划出最短行走路径,且能够快速定位树上的果实和准确地完成采摘任务,具有效率高、易操作、采摘成功率高等特点。     

视觉传感器在采摘机器人目标果实识别系统中的应用

目标果实的识别和定位是准确采摘的核心,是采摘作业的必要条件。为此,首先从硬件和软件两方面对采摘机器人总体框架进行了介绍,然后搭建了双目视觉系统,并建立了摄像机标定模型,最后实现了对目标果实的识别和定位功能。试验结果表明:采摘机器人目标果实识别系统对目标果实的识别定位误差在8mm以内,成功采摘率在96%以上,系统精度高,采摘效果良好,能够满足采摘机器人的作业要求,对实现水果采摘的自动化、无人化具有重要现实意义。     

采摘机器人语音识别系统设计 —基于英语词汇整合和WAP平台

通过对语音识别、网络通信与智能机器人运动控制的综合应用,设计了采摘机器人语音识别和远程控制智能机器人系统,在遇到突发状况时,可以采用人工远程语音发出控制指令的方式调整机器人的作业姿态,提高机器人的自主作业效果.为了提高语音识别的准确性,结合英语词汇整合数据库和WAP技术,将小波神经网络算法应用到了机器人语音信号滤波器的...     

采摘机器人SEMG手势识别研究 —基于RNN循环神经网络

为了实现采摘机器人通过手势动作进行远程控制的目标,采用MYO手环采集人体手势动作信号,将信号进行滤波、放大和A/D转换等预处理后,通过无线通信模块发送给PC机;PC机提取右移、左移和采摘等动作的特征值,送入RNN网络中进行训练和识别,并将识别结果以指令的方式发送给采摘机器人,控制采摘机械手进行相应操作.实验结果表明:采...