基于毫米波雷达的果园单木冠层信息提取

为解决当前果园探测技术难以在恶劣的果园环境中提取果树冠层信息的问题。该研究将毫米波雷达应用于果园冠层探测,搭建了基于毫米波雷达的果园冠层探测系统,利用该系统扫描得到了果园点云,检测和估算得到每棵果树的株高、冠幅和体积参数。针对毫米波雷达在不同距离下产生点云密度不同的问题,该研究提出了一种基于可变轴的椭球模型自适应密度聚类算法,用以提高果树点云识别效果,进而使用Alpha-shape算法和随机抽样一致算法（Random Sample Consensus）对果树进行了表面重建和结构参数的提取。通过与人工测量数据比较,该研究提出的聚类算法可以有效的识别和提取单木冠层点云,代表果树识别精度的 F1 分数为 93.7%;检测到的果树的株高和冠幅的平均相对误差分别为8.7%和8.1%,决定系数分别为0.84和0.92,均方根误差分别为16.39和7.82 cm;使用Alpha-shape算法计算得到平均果树体积为5.6 m3,相比传统几何法测量体积,体积计算准确度提高了59.4%。该研究表明毫米波雷达可以用于果园冠层信息的准确提取,为采集果园冠层信息提供了技术,对农业信息采集和自动化作业技术的发展具有重要意义。     

采用改进Unet网络的茶园导航路径识别方法

针对目前在茶园垄间导航路径识别存在准确性不高、实时性差和模型解释困难等问题，该研究在Unet模型的基础上进行优化，提出融合Unet和ResNet模型优势的Unet-ResNet34模型，并以该模型所提取的导航路径为基础，生成路径中点，通过多段三次B样条曲线法拟合中点生成茶园垄间导航线。该研究在数据增强后的茶园垄间道路训练集中完成模型训练，将训练完成的模型在验证集进行导航路径识别，根据梯度加权类激活映射法解释模型识别过程，可视化对比不同模型识别结果。Unet-ResNet34模型在不同光照和杂草条件下导航路径分割精度指标平均交并比为91.89%，能够实现茶园垄间道路像素级分割。模型处理RGB图像的推理速度为36.8 帧/s，满足导航路径分割的实时性需求。经过导航线偏差试验可知，平均像素偏差为8.2像素，平均距离偏差为0.022 m，已知茶园垄间道路平均宽度为1 m，道路平均距离偏差占比2.2%。茶园履带车行驶速度在0～1 m/s之间，单幅茶垄图像平均处理时间为0.179 s。研究结果能够为茶园视觉导航设备提供技术和理论基础。     

改进随机样本一致性算法的弯曲果园道路检测

果园道路检测的目的是为农业采摘机器人鲁棒实时地规划出合适的行走路径,因果园环境的复杂性,例如光照变化、杂草和落叶遮挡等因素的影响造成视觉检测算法鲁棒性差,为此提出融合边缘提取和改进随机样本一致性的弯曲果园道路检测方法。首先,根据果园道路的颜色分布特征和几何形状特征,使用有限差分算子提取图像边缘,再使用灰度值对比度约束和霍夫直线检测去除噪声,实现道路边缘点提取。然后,提出多项式函数描述直线和弯曲道路,使用改进的随机样本一致性算法和线性最小二乘法拟合道路边缘点,以估计多项式函数的参数,实现果园道路检测。在华南农业大学果园采集240张道路图像作为试验对象。试验表明:在光照变化、阴影和遮挡背景的影响下,该方法能有效地提取果园道路边缘点,并能正确地拟合道路以实现道路检测,平均正确检测率为89.1%,平均检测时间为0.2639 s,能够满足视觉导航系统的要求。该研究为农业采摘机器人的视觉导航的鲁棒性和实时性提供指导。     

基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。     

基于语义分割的作物垄间导航路径识别

针对目前农作物垄间导航路径识别目前存在准确性、实时性差、通用性弱及深度学习模型解释困难等问题,该研究在Unet模型的基础上进行剪枝与优化,提出了保留Unet模型特征跳跃连接优势的Fast-Unet模型,并以模型所识别的导航路径为基础,通过最小二乘法回归生成垄间导航线与偏航角。本研究首先在棉花垄间导航路径数据集上进行模型训练,随后将训练的模型迁移至玉米、甘蔗等小样本数据集进行导航路径识别,通过使用梯度加权类激活映射法对模型识别过程与迁移学习过程进行解释,对各模型识别结果进行可视化对比。Fast-Unet模型对棉花、玉米、甘蔗导航路径提取精度指标平均交并比分别为0.781、0.881和0.940。模型推理速度为Unet的6.48倍,在单核CPU上处理RGB图像的推理速度为64.67帧/s,满足农作物导航路径识别的实时性需求。研究结果可为田间智能农业装备的导航设备研制提供技术与理论基础。     

基于光照无关图的农业机器人视觉导航算法

完成沿作物行的行走作业是农业机器人视觉导航系统的一个基础功能,但是由于田间环境的复杂性,比如阴影的存在和天气的恶劣变化等外界因素的影响使导航参数的提取变得困难。该研究针对农业机器人视觉导航中存在的阴影干扰问题,采用基于光照无关图的方法去除导航图像中的阴影,然后采用增强的最大类间方差法进行图像分割和优化的Hough变换提取作物行中心线,最终通过坐标转换获得导航参数。最后,通过作物行跟踪试验表明,基于光照无关图的阴影去除方法不仅满足了导航实时性的要求,而且使农业机器人在光照变化的情况下导航参数提取的鲁棒性有了更大的提高。     

基于三维点云数据的苹果树冠层几何参数获取

针对果园环境下苹果树冠层参数获取精度较低的问题,提出了基于地面三维激光扫描仪高精度获取苹果树冠层参数的方法.选用Trimble TX8地面三维激光扫描仪作为苹果树冠层三维点云数据采集设备,提出了基于标靶球的KD-trees-ICP算法,用于高精度配准苹果树冠层三维点云数据.研究了平均风速小于4.5 m/s时,距离地面三维激光扫描仪不同远近条件下的标靶球配准残差和拟合误差的变化规律,分析结果表明,标靶球平均配准残差为1.3mm,平均拟合误差为0.95 mm,低于大场景测量配准误差要求(5mm).为了提高有风环境下提取苹果树冠层参数的精度,研究了0.9～4.5 m/s区间平均风速影响下的苹果树冠层枝干、果实、叶片的三维点云质量,建立了风速与叶片侧面厚度的曲线拟合模型,分析结果表明,在果园平均风速小于1.6 m/s时可以从苹果树冠层三维点云数据中提取高精度冠层参数.利用地面激光三维扫描仪获取距离苹果树12 000 mm以内冠层参数,测量精度高于人工测量,相对误差小于4％,为果树高通量信息获取提供了技术支持.     

基于3D激光雷达的鸡舍通道中心线检测方法

针对笼养鸡舍环境下光照强度弱、作业通道内狭小导致机器人巡检时通道中心线检测困难的问题,该研究利用3D激光雷达对鸡舍通道中心线进行获取。首先通过机器人搭载的3D激光雷达对鸡舍作业通道信息进行采集,利用直通滤波、地面点滤波、体素滤波、统计滤波和平面投影对获取的3D激光雷达点云数据进行预处理,获取XOY平面上的点云数据。通过改变K-means聚类初始点选择方式和聚类函数对预处理后的点云数据进行数据分类。利用改进RANSAC算法对分类后的数据进行处理,提取通道中心线。试验结果表明该研究提出的改进K-means聚类算法平均耗时6.98 ms,相较于传统的K-means聚类算法平均耗时减少了29.40 ms,准确率提高了82.41%。该研究提出的改进RANSAC算法中心线提取准确率为93.66%、平均误差角为0.89°、平均耗时为3.94 ms,比LSM算法得到的平均误差角高0.14°,平均耗时减少6.15 ms。表明该研究提出的鸡舍通道中心线检测方法基本满足笼养鸡舍环境实时自主导航的需求,为巡检机器人在鸡舍作业通道内进行激光雷达导航提供了技术支撑。     

基于双目视觉的香蕉园巡检机器人导航路径提取方法

为实现移动机器人香蕉园巡检自动导航,研究提出了一种基于双目视觉的香蕉园巡检路径提取方法。首先由机器人搭载的双目相机获取机器人前方点云,进行预处理后对点云感兴趣区域进行二维投影并将投影结果网格化,得到网格地图;然后采用改进的K-means算法将道路两侧香蕉树分离,其中初始聚类中心通过对网格地图进行垂直、水平投影以及一、二阶高斯拟合确定;最后基于最小包围矩形提取导航路径,将道路两侧网格以最小矩形框包围,提取两包围框中间线作为期望导航路径。测试结果表明,改进的K-means算法聚类成功率为93%,较传统方法提高了12%;导航路径提取平均横向偏差为14.27 cm,平均航向偏差为4.83°,研究方法可为香蕉园巡检机器人自动导航提供支持。     

最小二乘法与SVM组合的林果行间自主导航方法

为了提高作业装备在果园与树林行间的自主导航性能,该研究提出一种基于最小二乘法与支持向量机(Support Vector Machine,SVM)融合的树行识别与导航方法。研究采用履带式小型喷雾机为作业平台,通过低成本的单线激光雷达获取果园或树林环境点云数据,融合姿态传感器进行数据校正,利用最小二乘法拟合识别树行,结合SVM算法,预测果园行间中心线,作为作业平台的参考导航线。在桃园、柑橘园、松树林3种不同的行间环境对导航算法进行了测试验证,并以松树林导航为例进行分析。试验结果表明:该导航算法最大横向偏差为107.7 mm,横向偏差绝对平均值不超过17.8 mm,结合作业平台的行驶轨迹,说明该导航算法能够保证作业平台沿树行行间中心线自主导航行驶,能够满足作业装备在果园与树林行间自主导航作业的需求。     

基于点云的果树冠层叶片重建方法

精确的果树三维冠层结构是农业科研人员进行功能结构模型研究的重要载体,该文提出一种快速、精确、自动的果树冠层叶片重建方法。首先根据带叶果树点云的局部和全局特征,建立椭球分层的点云密度收缩方法实现器官点云分离,然后利用邻近传播主成分分析算法实现叶片特征参数的求解,利用Laplacian收缩算法实现冠层骨架点的连通,从而实现冠层叶片的快速自动重建。最后利用C++及Point Cloud Library(PCL)点云库,开发果树叶片点云冠层自动重建系统,对苹果树、柑橘树等不同类型果树进行算法验证,结果表明该方法能够正确识别出的叶片数占冠层总叶片数的90%以上,叶面积指数的正确率大于95%,叶片倾角偏离5?以内的叶片数占总叶片数的90%以上。该方法得到了较好的可视化效果和叶冠三维重建精度,可为后期树体冠层内光合作用的研究、整形修剪、农业仿真试验等提供参考。     

苹果采摘机器人关键技术研究现状与发展趋势

目前国内苹果基本采用人工采摘方式,随着劳动力资源短缺以及机械自动化技术的迅速发展,利用机器人采摘替代人工作业成为必然趋势,开发苹果采摘机器人用于果园收获作业具有重要意义。由于苹果采摘作业环境复杂,严重制约了采摘自动化的发展。目标识别、定位与果实分离是苹果采摘机器人的关键技术,其性能决定了苹果采摘的效率及质量。该文概述了具有市场化前景的苹果采摘机器人发展和应用现状,综述了在复杂自然环境光照变化、枝叶遮挡、果实重叠、夜间环境下以及同色系苹果的识别方法,介绍了多种场景并存的复杂环境下基于深度学习的苹果识别算法,遮挡、重叠及振荡果实的定位方法,并对采用末端执行器实现果实与果树的分离方法进行了分析。针对现阶段苹果采摘机器人采摘速度低、成功率低、果实损伤、成本高等问题,指出今后苹果采摘机器人商业化发展亟需在农机农艺结合、优化识别算法、多传感器融合、多臂合作、人机协作、扩展设备通用性、融合5G与物联网技术等方面开拓创新。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和距离1 m以内时,定位误差均控制在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

图像拼接重建苹果树冠层器官三维形态

为重建苹果树年生长期冠层器官三维形态,以休眠期、疏花期、成熟期苹果树冠层为研究对象,分别针对基于光合混合探测技术(photonic mixer detector,PMD)的摄像机与彩色摄像机获取的强度图像与彩色图像开展冠层图像拼接技术研究。利用Scale invariant feature transform算法的尺度不变特征,并结合Random sample consensus算法精确确定图像映射模型,避免了果园非结构光及图像尺度变换的影响。以此为基础,应用拉普拉斯金字塔分解与重构算法、分层确定融合规则,实现了不同生长期的冠层图像拼接,有效克服了传统融合算法反映细节信息能力差、拼接痕迹明显等缺点。果园不同环境下(晴天顺光、晴天逆光、阴天)的试验表明:提出的拼接方法适合于苹果树年生长期的冠层器官图像拼接,且算法的鲁棒性、速度及拼接精度均能满足冠层三维重建工作的要求,研究成果对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。     

果园行间3D LiDAR导航方法

为克服二维激光扫描仪在果园导航中感知信息少、无法有效应对树冠茂密、树干被遮挡等复杂三维果园场景,该研究提出一种基于3D LiDAR的果园行间导航方法。以3D LiDAR为检测设备实时采集果园信息,使用挖空打断后的树墙体心等效树干位置,根据左右树行的最佳平行度对随机采样一致性算法与最小二乘法拟合的树行进行互补融合并求其中心线得到导航线;对纯跟踪算法进行改进,实现差速运动机器人对树行的跟踪。结果表明:系统在篱壁式仿真果园环境下以0.33 m/s的速度沿中心线行走时,绝对航向定位偏差在1.65°以内,绝对横向定位偏差在6.1 cm以内;以0.43 m/s的速度跟踪树行的绝对横向偏差在15 cm以内。在真实梨园下,系统分别以0.68与1.35 m/s的速度跟踪树行,绝对横向偏差分别不超过21.3与22.1 cm。本系统可广泛用于标准果园与复杂三维果园机械的自主导航,具有可靠的稳定性。     

基于超声波传感器和DGPS的果树冠径检测

为实现果园果树的仿形精确喷雾，适时获取果树冠径信息，采用超声波传感器，GPS接受机和电子罗盘等在拖拉机上建立了一套果树冠径检测试验系统。并在室外对5个圆柱规则外形树冠进行了检测试验。试验分别采用4种树冠直径检测计算方法，并选择0.31 m/s和0.65 m/s两种不同拖拉机行驶速度进行检测。采用误差分析的方法检验果树冠径检测系统的实际检测效果。误差分析表明拖拉机分别以0.31 m/s和0.65 m/s速度行驶时，应用超声波探测果树树冠两个轮廓边缘计算5个树冠直径的平均相对误差分别为5.54%和5.80%。用电子罗盘和DGPS数据进行加权平均融合修正拖拉机行驶轨迹，由超声波检测到的果树两个轮廓边缘的位置信息计算果树直径，在两种检测速度下的平均相对误差为14.38%。研究结果为果树仿行喷雾控制和果园果树生长信息采集提供了技术方法。