采用改进Unet网络的茶园导航路径识别方法

针对目前在茶园垄间导航路径识别存在准确性不高、实时性差和模型解释困难等问题，该研究在Unet模型的基础上进行优化，提出融合Unet和ResNet模型优势的Unet-ResNet34模型，并以该模型所提取的导航路径为基础，生成路径中点，通过多段三次B样条曲线法拟合中点生成茶园垄间导航线。该研究在数据增强后的茶园垄间道路训练集中完成模型训练，将训练完成的模型在验证集进行导航路径识别，根据梯度加权类激活映射法解释模型识别过程，可视化对比不同模型识别结果。Unet-ResNet34模型在不同光照和杂草条件下导航路径分割精度指标平均交并比为91.89%，能够实现茶园垄间道路像素级分割。模型处理RGB图像的推理速度为36.8 帧/s，满足导航路径分割的实时性需求。经过导航线偏差试验可知，平均像素偏差为8.2像素，平均距离偏差为0.022 m，已知茶园垄间道路平均宽度为1 m，道路平均距离偏差占比2.2%。茶园履带车行驶速度在0～1 m/s之间，单幅茶垄图像平均处理时间为0.179 s。研究结果能够为茶园视觉导航设备提供技术和理论基础。     

基于中值点Hough变换玉米行检测的导航线提取方法

为解决机器视觉对早期玉米苗带在多环境变量下导航线提取耗时长、准确率低的问题,该研究提出了一种基于中值点Hough变换作物行检测的导航线提取算法。首先,改进了传统的2G-R-B算法,再结合中值滤波、最大类间方差法和形态学操作实现土壤背景与玉米苗带的分割。其次,通过均值法提取玉米苗带特征点,然后采用中值点Hough变换拟合垄间两侧玉米苗列线,最后将检测出的双侧玉米苗列线为导航基准线,利用夹角正切公式提取导航线。试验结果表明：改进的灰度化算法能够正确分割玉米苗带与土壤,处理一幅640×480像素彩色图像平均耗时小于160 ms,基于中值点Hough变换检测玉米苗列再提取导航线的最大误差为0.53°,相比于传统Hough变换时间上平均快62.9 ms,比最小二乘法平均精确度提高了7.12°,在农田早期玉米苗带多环境变量影响因素下导航线提取准确率均达92%以上,具有较强的可靠性和准确性。     

基于梯度下降和角点检测的玉米根茎定位导航线提取方法

针对玉米根茎图像信息，提出一种在拔节期后玉米大田环境下快速、精准提取导航基准线的新方法。首先利用2G-B-R和最大类间方差法分割图像，并利用形态学处理提高图像质量，对去噪图像像素按列累加获取垂直投影。传统峰值点法在寻找特征点时需要设定阈值，耗时长且伪特征点多，因此提出一种基于梯度下降的特征点寻找方法，利用某点沿梯度下降的方向求解极小值从而求得特征点。根据角点检测原理，利用特征点像素各个方向梯度变化不同剔除伪特征点，解决了传统算法异常点过多、错误剔除玉米根茎定位点等问题，最终采用随机采样一致算法拟合导航线。试验结果表明，与传统算法相比该算法能够很好的适应复杂环境，实时性强，即使在缺苗、杂草等情况下仍具有很强的鲁棒性，平均处理准确率为92.2%，处理一帧分辨率为1 280像素×720像素的图像平均耗时为215.7 ms，该算法为智能农业化机械在玉米田间行走提供了可靠的、实时的导航路径。     

玉米行间导航线实时提取

针对高地隙植保机底盘玉米田间植保作业压苗严重的现象,该研究提出了基于车轮正前方可行走动态感兴趣区域(Region of Interest,ROI)的玉米行导航线实时提取算法。首先将获取的玉米苗带图像进行像素归一化,采用过绿算法和最大类间方差法分割玉米与背景,并通过形态学处理对图像进行增强和去噪;然后对视频第1帧图像应用垂直投影法确定静态ROI区域,并在静态ROI区域内利用特征点聚类算法拟合作物行识别线,基于已识别的玉米行识别线更新和优化动态ROI区域,实现动态ROI区域的动态迁移;最后在动态ROI区域内采用最小二乘法获取高地隙植保机底盘玉米行间导航线。试验表明,该算法具有较好的抗干扰性能,能够很好地适应较为复杂的田间环境,导航线提取准确率为96%,处理一帧分辨率为1 920像素×1 080像素图像平均耗时97.56 ms,该研究提出的算法能够为高地隙植保机车轮沿玉米垄间行走提供可靠、实时的导航路径。     

低对比度条件下联合收割机导航线提取方法

针对强光照下成熟小麦已收割区域和未收割区域对比度低、收割边界获取难度大的问题,该文提出了一种基于区域生长算法的联合收割机导航线精确提取方法。对摄像头采集的作物收割图像,利用区域生长算法分割出图像中未收割区域。生长阈值通过对图像灰度直方图高斯多峰拟合进行自适应计算。对分割得到的二值图像进行形态学处理,获取作物已收割和未收割区域分界线,然后采用最小二乘法拟合收割机作业导航线。试验结果表明:在小麦已收割和未收割区域对比度很低的情况下,所提方法能够精确地提取出小麦收获边线,并得到收割机作业导航线,与人工标定导航线夹角平均误差小于1.21°,可以为联合收割机的自动导航研究提供参考;处理一张900×1 200像素的图像时长约0.41 s,基本满足联合收割机导航作业的实时性要求。与传统方法对比发现,该文方法不易受作物生长密度和麦茬的干扰,导航线的提取精度更高,单幅图像的处理时间略有增加,但基本满足实时性作业要求。     

基于语义分割的作物垄间导航路径识别

针对目前农作物垄间导航路径识别目前存在准确性、实时性差、通用性弱及深度学习模型解释困难等问题,该研究在Unet模型的基础上进行剪枝与优化,提出了保留Unet模型特征跳跃连接优势的Fast-Unet模型,并以模型所识别的导航路径为基础,通过最小二乘法回归生成垄间导航线与偏航角。本研究首先在棉花垄间导航路径数据集上进行模型训练,随后将训练的模型迁移至玉米、甘蔗等小样本数据集进行导航路径识别,通过使用梯度加权类激活映射法对模型识别过程与迁移学习过程进行解释,对各模型识别结果进行可视化对比。Fast-Unet模型对棉花、玉米、甘蔗导航路径提取精度指标平均交并比分别为0.781、0.881和0.940。模型推理速度为Unet的6.48倍,在单核CPU上处理RGB图像的推理速度为64.67帧/s,满足农作物导航路径识别的实时性需求。研究结果可为田间智能农业装备的导航设备研制提供技术与理论基础。     

基于移位窗口Transformer网络的玉米田间场景下杂草识别

针对实际复杂田间场景中作物与杂草识别准确性与实时性差,易受交叠遮挡影响,像素级数据标注难以大量获取等问题,该研究提出基于移位窗口Transformer网络(Shifted Window Transformer,Swin Transformer)的高效识别方法,在实现作物语义分割的基础上快速分割杂草。首先建立玉米语义分割模型,引入SwinTransformer主干并采用统一感知解析网络作为其高效语义分割框架;改进SwinTransformer主干调整网络参数,生成4种改进模型,通过精度与速度的综合对比分析确定最佳模型结构;基于玉米形态分割,建立改进的图像形态学处理组合算法,实时识别并分割全部杂草区域。测试结果表明,该研究4种改进模型中,Swin-Tiny-UN达到最佳精度-速度平衡,平均交并比为94.83%、平均像素准确率为97.18%,推理速度为18.94帧/s。对于模拟实际应用的视频数据,平均正确检测率为95.04%,平均每帧检测时间为5.51×10^-2 s。该方法有效实现了玉米与杂草的实时准确识别与精细分割,可为智能除草装备的研发提供理论参考。     

基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。     

葡萄园植保机器人路径规划算法

为提高植保机器人葡萄园作业在垄行识别和路径规划中的准确度和可靠性,该文提出了一种基于支持向量机(support vector machine,SVM)的多支持向量配比权重进行葡萄园垄行识别与农业机器人作业路径规划的算法。该算法利用Kalman滤波器对由激光雷达扫描获取的粗大实况果园数据信息进行预处理,校正数据中的噪声离群点,然后结合SVM,获得垄行环境中的分割超平面和分类边际线,最后根据样本点与分类边际线存在的几何间隔关系判别各点所占相对权重,获取垄线安全预估测位置并进行农业机器人作业导航线的规划拟合。通过对多个实际样本的试验与测试,拟合导航线与实际垄行中心线平均角度偏差为0.72°,相对植保机器人的平均距离偏差为4.22 mm。试验结果表明,该算法能够有效的识别与定位植保机器人所需导航线的位置,拟合的导航线满足葡萄园植保机器人准确作业的要求。     

基于K-means算法的温室移动机器人导航路径识别

针对温室移动机器人机器视觉导航路径识别实时性差、受光照干扰影响严重等问题,首先,将HSI颜色空间3个分量进行分离,选取与光照信息无关且可以有效抑制噪声影响的色调分量H进行后续图像处理,以削弱光照对机器人视觉导航的不良影响;针对温室环境图像特有的颜色特征信息,引入K-means算法对图像进行聚类分割,将垄间道路信息与绿色作物信息各自聚类,再通过形态学腐蚀方法去除聚类后图像中存在的冗余、干扰信息,以获得完整的道路信息,与常用阈值分割方法相比,可降低因分割信息不明确而导致后续Hough变换进行直线拟合时需占据大量内存且计算量较大的问题,进而提高移动机器人路径识别的快速性,并适应温室作业机器人自主导航的高实时性要求。试验结果表明,该文方法在复杂背景与变光照条件下的温室作业环境中可大幅降低光照对机器人导航的影响,对于光照不均具有良好的鲁棒性,道路信息提取率可达95%。同时,其平均单幅图像处理时耗降低53.26%,可显著提高路径识别速度。该研究可为解决温室移动机器人机器视觉导航路径识别的鲁棒性及实时性问题提供参考。     

激光雷达实时提取甘蔗垄间导航线

针对高地隙底盘悬挂机具田间作业存在车轮压苗严重的现象,该研究以甘蔗为研究对象,提出一种基于固态激光雷达的作物行垄间导航线实时提取方法.首先通过三维激光雷达(Light Detection And Ranging,LiDAR)实时获取高地隙底盘正前方甘蔗行点云,利用点云变换、直通滤波和半径滤波对点云进行预处理,获取作物行...     

基于改进MobileNetV3-Large的鸡蛋新鲜度识别模型

鸡蛋在运输贮存过程中一直伴随着品质的不断衰减,如何快速、准确地识别鸡蛋新鲜度是业界和学者们共同关注的话题。针对鸡蛋内部气室和蛋黄等新鲜度特征差异不显著的问题,该研究提出一种基于改进MobileNetV3-Large的轻量级鸡蛋新鲜度识别模型。首先在深度可分离卷积中引入动态卷积（Dynamic Convolution, DC）模块,改进后的深度可分离动态卷积模块能够为不同的鸡蛋图像动态生成卷积核参数,提高模型特征提取能力;其次在注意力模块中引入坐标注意力（Coordinate Attention, CA）模块,增强模型对位置信息的感知能力;最后采用3 276张鸡蛋图像训练并测试改进的MobileNetV3-DA模型。试验结果表明,MobileNetV3-DA模型在测试集上的准确率为97.26%,分别比ResNet18、VGG19和ShuffleNetV2模型高5.19、0.84和5.91个百分点;模型参数量和计算量分别比MobileNetV3-Large减少1.03和78.64 M;在实际应用中,MobileNetV3-DA模型精确率、召回率和加权分数的平均值分别为95.95%、95.48%和97.82%,达到了理想的识别效果。改进的MobileNetV3-DA模型为鸡蛋供应链各环节进行鸡蛋新鲜度快速、准确识别提供了算法支持。     

基于语义分割和几何分析的火龙果果实与枝条的三维重建

针对非结构化环境中采摘机器人缺少足够环境信息的问题,该研究提出了一种用于机器臂避障和路径规划的果实与枝条检测和三维重建方法。采用MobileNetV2取代传统DeepLabV3+主干特征提取网络Xception,并在特征提取模块引入了坐标注意力机制,通过改进网络对采集的RGB图像进行目标检测,并将检测到的火龙果和枝条语义掩膜转换成三维点云。提出一种基于非线性最小二乘法的椭球体拟合方法用于重建火龙果,用有限数量的AABB包围盒获取不规则的枝条的三维空间位姿信息。测试表明,改进后模型的平均交并比（mean intersection over union,mIoU）和平均像素精度（mean pixel accuracy,mPA）分别达到95.59%、98.01%,相较原模型分别提升2.57个百分点和1.44个百分点;平均推理时间和模型内存占用量分别降至94.74ms和22.52MB,分别仅为原模型的59%和11%。三维重建试验表明,火龙果果实重建的短轴尺寸和深度距离的平均绝对误差分别为0.44和2.04mm,枝条重建的样本标准差在各坐标轴上均小于10mm。结果证实了该研究方法可以有效地重建火龙果果实和枝条,可以为火龙果采摘机器人的采摘路径规划避障提供基础。     

基于区域生长顺序聚类-RANSAC的水稻苗带中心线检测

为提高水稻苗带中心线检测的适应性和实时性,满足巡田机器人导航的低成本、轻量级计算、高实时性需求,针对水稻苗带中心线检测结果容易受到光照变化和机器震动等原因产生图像噪声影响的问题,该研究以返青期和分蘖初期水稻秧苗为研究对象,提出基于区域生长顺序聚类-随机抽样一致性算法（random sample consensus,RANSAC）的水稻苗带中心线检测方法。首先,对采集的水稻秧苗图像运用归一化超绿特征法（excess green,ExG）和最大类间方差法（Otsu）分割水田背景和秧苗区域,应用先腐蚀后开运算的形态学方法去除秧苗图像噪声点;然后,采用基于水平带的秧苗轮廓质心检测方法提取秧苗特征点,利用区域生长顺序聚类方法将同一秧苗行的特征点聚成一类;最后,通过RANSAC算法拟合苗带中心线,从而得到巡田机器人视觉导航基准线。试验结果表明：该方法对返青期和分蘖初期水稻苗带中心线检测率均在97%以上,比已有YOLOv3算法提高6.12个百分点,比基于区域生长均值漂移聚类算法降低2.41个百分点;平均误差角度为2.34°,比已有YOLOv3算法高1.37°,比基于区域生长均值漂移聚类算法低0.12...     

基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。