基于中值点Hough变换玉米行检测的导航线提取方法

为解决机器视觉对早期玉米苗带在多环境变量下导航线提取耗时长、准确率低的问题,该研究提出了一种基于中值点Hough变换作物行检测的导航线提取算法。首先,改进了传统的2G-R-B算法,再结合中值滤波、最大类间方差法和形态学操作实现土壤背景与玉米苗带的分割。其次,通过均值法提取玉米苗带特征点,然后采用中值点Hough变换拟合垄间两侧玉米苗列线,最后将检测出的双侧玉米苗列线为导航基准线,利用夹角正切公式提取导航线。试验结果表明：改进的灰度化算法能够正确分割玉米苗带与土壤,处理一幅640×480像素彩色图像平均耗时小于160 ms,基于中值点Hough变换检测玉米苗列再提取导航线的最大误差为0.53°,相比于传统Hough变换时间上平均快62.9 ms,比最小二乘法平均精确度提高了7.12°,在农田早期玉米苗带多环境变量影响因素下导航线提取准确率均达92%以上,具有较强的可靠性和准确性。     

红枣收获机视觉导航路径检测

针对新疆地区骏枣与灰枣枣园的收获作业,该研究提出一种红枣收获机枣树行视觉导航路径检测算法。通过枣园图像固定区域中B分量垂直累计直方图的标准差d与最小值f的关系对枣园种类进行自动判断。针对灰枣枣园,首先采用色差法与OTSU法对图像进行灰度化与二值化处理,然后进行面积去噪与补洞处理,在处理区域内从上向下逐行扫描,将每行像素上像素值为0的像素点坐标平均值作为该行候补点的坐标,并将所有候补点坐标的平均值作为Hough变换的已知点坐标,最后基于过已知点的Hough变换拟合导航路径;针对骏枣枣园,在处理区域内通过垂直累计R分量的方法确定扫描区间,然后在扫描区间内从上到下逐行扫描,将每行像素上R分量值最小的像素点作为该行的候补点,并将所有候补点的坐标平均值作为Hough变换的已知点,最后使用过已知点的Hough变换拟合导航路径。试验结果表明:对于灰枣枣园与骏枣枣园,该算法的路径检测准确率平均值分别为94%和93%,处理1帧图像平均耗时分别为0.042和0.046s,检测准确性与实时性满足红枣收获机作业要求,能够自动判别枣园种类进行作业,可为实现红枣收获机自动驾驶提供理论依据。     

玉米行间导航线实时提取

针对高地隙植保机底盘玉米田间植保作业压苗严重的现象,该研究提出了基于车轮正前方可行走动态感兴趣区域(Region of Interest,ROI)的玉米行导航线实时提取算法。首先将获取的玉米苗带图像进行像素归一化,采用过绿算法和最大类间方差法分割玉米与背景,并通过形态学处理对图像进行增强和去噪;然后对视频第1帧图像应用垂直投影法确定静态ROI区域,并在静态ROI区域内利用特征点聚类算法拟合作物行识别线,基于已识别的玉米行识别线更新和优化动态ROI区域,实现动态ROI区域的动态迁移;最后在动态ROI区域内采用最小二乘法获取高地隙植保机底盘玉米行间导航线。试验表明,该算法具有较好的抗干扰性能,能够很好地适应较为复杂的田间环境,导航线提取准确率为96%,处理一帧分辨率为1 920像素×1 080像素图像平均耗时97.56 ms,该研究提出的算法能够为高地隙植保机车轮沿玉米垄间行走提供可靠、实时的导航路径。     

基于支持向量机的玉米根茬行图像分割

玉米根茬行的准确识别是实现玉麦轮作机器视觉式小麦自动对行免耕播种技术的前提。针对华北一年两熟区联合收获机玉米留茬收获后根茬行较难准确分割的问题，该研究以直立玉米根茬为研究对象，提出一种基于支持向量机（Support Vector Machine，SVM）的玉米根茬行分割方法。首先，利用主成分分析（Principal Components Analysis，PCA）对提取的目标（直立根茬）与背景（行间秸秆及裸露地表）的颜色和纹理特征进行分析，优选出21个特征，构成特征向量作为训练直立根茬SVM识别模型的输入；然后，根据图像坐标设置图像中间包含完整玉米根茬行的矩形区域为感兴趣区域（Region of Interest，ROI）；最后，使用训练好的直立根茬SVM识别模型以25×25（像素）的窗口在ROI内滑动检测，采用阈值法分割根茬行并通过形态学处理优化得到最终的玉米根茬行二值图像。利用在农业农村部河北北部耕地保育农业科学观测实验站采集的100幅玉米根茬行图像进行试验，结果表明，本文方法对于不同行间秸秆覆盖量和不同光照条件下的根茬行分割表现出较好的准确性和鲁棒性，直立根茬平均识别准确率、平均分割准确率、平均召回率、平均分割准确率和平均召回率的加权调和平均值（F1avr值）分别为93.8%、93.72%、92.35%和93.03%，每幅图像的平均分割时间为0.06 s，具有较好的实时性。基于SVM的分割方法可实现联合收获机玉米留茬收获后根茬行图像的分割，为下一步检测玉米根茬行直线并将其作为导航基准线进行视觉导航的研究提供良好基础。     

基于改进YOLOv7的果园行间导航线检测

在复杂果园环境中，传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰，导致导航道路分割不准确。针对此问题，该研究提出了一种改进YOLOv7的果园内导航线检测方法。将注意力机制模块(convolutional block attention module，CBAM)引入到原始YOLOv7模型的检测头网络中，增强果树目标特征，削弱背景干扰；在ELAN-H(efficient layer aggregation networks-head，ELAN-H)模块和Repconv(re-parameterization convolution，Repconv)模块之间引入SPD-Conv(space-to-depth，non-strided convolution，SPD-Conv)模块，提高模型对低分辨率图像或小尺寸目标的检测能力。以树干根部中点作为导航定位基点，利用改进YOLOv7模型得到两侧果树行线的定位参照点，然后利用最小二乘法拟合两侧果树行线和导航线。试验结果表明，改进YOLOv7模型检测精度为95.21%，检测速度为42.07帧/s，相比于原始YOLOv7模型分别提升了2.31个百分点和4.85帧/s，能够较为准确地识别出树干，且对树干较密的枣园图像也能达到较好的检测效果；提取到的定位参照点与人工标记树干中点的平均误差为8.85 cm，拟合导航线与人工观测导航线的平均偏差为4.90 cm，处理1帧图像平均耗时为0.044 s，能够满足果园内导航需求。     

用动态图层融合与纹理-灰度梯度能量模型的果树行识别

为解决果园机器视觉导航中果树行识别易受果园复杂环境干扰的问题,该研究提出一种采用动态选取融合因子对彩色图像与深度图像进行图层融合并采用纹理-灰度梯度能量模型进行图像分割的果树行视觉识别算法。首先,通过搭建立体视觉系统获取果园彩色图像与对应的深度图像,并基于饱和度（S）通道图像的灰度值选取动态融合因子,实现对果园彩色图像与深度图像的图层融合;然后,分别计算融合图像的纹理特征图像与灰度梯度特征图像,并建立纹理-灰度梯度结合的能量模型,基于模型能量最小原则进行树干与背景的分割;最后,以树干与地面交点为果树行特征点进果树行直线拟合,完成果树行角度的识别。并对上述算法分别进行果树行识别试验与移动作业平台视觉对行导航试验。果树行识别试验结果表明,该研究算法果树行角度识别平均偏差为2.81°,与基于纹理、灰度梯度特征的果树行识别算法相比识别平均偏差分别降低2.37°和1.25°。移动作业平台视觉导航试验结果表明,在作业平台速度为0.6 m/s时,对行行驶最大偏差为12.2 cm,平均偏差为5.94 cm。该研究提出的视觉导航算法可以满足果园移动作业平台视觉对行导航需求,研究成果将为基于机器视觉的果园自动导航系统的研究与优化奠定基础。     

基于梯度下降和角点检测的玉米根茎定位导航线提取方法

针对玉米根茎图像信息，提出一种在拔节期后玉米大田环境下快速、精准提取导航基准线的新方法。首先利用2G-B-R和最大类间方差法分割图像，并利用形态学处理提高图像质量，对去噪图像像素按列累加获取垂直投影。传统峰值点法在寻找特征点时需要设定阈值，耗时长且伪特征点多，因此提出一种基于梯度下降的特征点寻找方法，利用某点沿梯度下降的方向求解极小值从而求得特征点。根据角点检测原理，利用特征点像素各个方向梯度变化不同剔除伪特征点，解决了传统算法异常点过多、错误剔除玉米根茎定位点等问题，最终采用随机采样一致算法拟合导航线。试验结果表明，与传统算法相比该算法能够很好的适应复杂环境，实时性强，即使在缺苗、杂草等情况下仍具有很强的鲁棒性，平均处理准确率为92.2%，处理一帧分辨率为1 280像素×720像素的图像平均耗时为215.7 ms，该算法为智能农业化机械在玉米田间行走提供了可靠的、实时的导航路径。     

基于逐步改变阈值方法的玉米种子图像分割

针对图像处理中玉米计数的问题,提出了基于逐步改变阈值的分水岭变换方法。首先,对二值图像进行欧氏距离变换,合并图像中灰度值大于或者等于初始阈值的区域,并通过分水岭算法初步分割图像。为避免单粒玉米被过度分割,提取图像中单个种子区域存入结果图像。然后,判断去除单粒玉米后的图像是否为空;如果不为空,增大分割阈值并重复上述操作。最后,统计目标图像中的玉米个数。对50幅种子数目500粒左右的图像进行处理,分割正确率为97.7%,较好地解决了粘连玉米的分割问题。该方法已成功应用于基于机器视觉的玉米计数。     

改进二维最大类间方差法及其在黄瓜目标分割中的应用

为了提高图像阈值分割算法的应用广适性和处理实时性,该文在二维最大类间方差分割算法的基础上,研究邻域模板尺寸对最佳阈值的影响,将图像的灰度值、邻域尺寸及邻域均值进行遗传基因编码,利用遗传算法得到阈值最优解的小范围,在此小范围内进行二次遗传算法运算寻求全局最优解。将此基于两级遗传算法的二维最大类间方差分割算法应用于黄瓜计算机视觉识别目标试验中,试验结果表明,在计算类间方差次数上,基于两级遗传算法的二维最大类间方差算法分别为二维最大类间方差耗时的0.18%和一维Otsu算法耗时的46.87%,耗时上也较传统二维最大类间方差算法和一维Otsu算法有很大缩短,分割效果也有了明显改善。同时该算法也为目标识别领域提供了一种新型的实时图像分割方法,具有一定的推广价值。     

基于遗传算法和阈值滤噪的玉米根茬行图像分割

作物行的识别是农业机械视觉导航系统的一项重要研究内容,针对华北一年两熟区玉米利用联合收获机留茬收获后,农田原始图像中背景目标多(行间秸秆、裸露地表等),且背景目标与玉米根茬颜色接近,难以实现玉米根茬行准确快速分割的问题,该文采用RGB颜色空间,以根茬顶端切口为目标,提出了一种基于遗传算法和阈值滤噪的玉米根茬行图像分割方法。首先,为了降低图像分割难度,选取图像中间位置包含一条完整玉米根茬行的矩形区域作为感兴趣区域(region of interest,ROI);然后,利用经过遗传算法优化得到的灰度化算子对ROI进行灰度化,采用单阈值法分割ROI;最后,通过形态学腐蚀处理去除孤立点、毛刺等误分割情况,同时利用基于连通域面积阈值和偏距阈值的滤噪方法滤除根茬行两侧噪声,实现玉米根茬行的有效分割。为评价该分割方法,利用从农业部河北北部耕地保育农业科学观测实验站采集到的200幅玉米根茬行图像进行试验。结果表明:该方法能够较好的适应晴天光照条件变化,从含有裸露地表、玉米行间秸秆等复杂背景下,准确快速地分割出玉米根茬行,平均相对目标面积误差率为24.68%,处理一幅1280像素×1 024像素的彩色图像平均耗时为0.16 s,具有较好的鲁棒性、实时性和准确性。研究结果验证了基于遗传算法和阈值滤噪方法实现玉米利用联合收获机留茬收获后根茬行图像分割的可行性,并为玉米根茬行直线检测提供良好的基础。     

葡萄园植保机器人路径规划算法

为提高植保机器人葡萄园作业在垄行识别和路径规划中的准确度和可靠性,该文提出了一种基于支持向量机(support vector machine,SVM)的多支持向量配比权重进行葡萄园垄行识别与农业机器人作业路径规划的算法。该算法利用Kalman滤波器对由激光雷达扫描获取的粗大实况果园数据信息进行预处理,校正数据中的噪声离群点,然后结合SVM,获得垄行环境中的分割超平面和分类边际线,最后根据样本点与分类边际线存在的几何间隔关系判别各点所占相对权重,获取垄线安全预估测位置并进行农业机器人作业导航线的规划拟合。通过对多个实际样本的试验与测试,拟合导航线与实际垄行中心线平均角度偏差为0.72°,相对植保机器人的平均距离偏差为4.22 mm。试验结果表明,该算法能够有效的识别与定位植保机器人所需导航线的位置,拟合的导航线满足葡萄园植保机器人准确作业的要求。     

Machine Vision for a Micro Weeding Robot in a Paddy Field

The study developed an image processing method to determine the travel directrix for a micro weeding robot in a paddy field. The processing samples, which included 24 images in each sample, were selected from the videotapes which were obtained on a weekly basis, when the camera manually revolved 360° eight times at each height and angle position in the space between the rice rows from the third day after transplanting to 7 weeks. The target image was abstracted from the 24 images by analysing the distribution of blue pixels in the colour image and the distribution of black pixels in its binary image. The candidate points for the directrix line in the target image were obtained by analysing each horizontal line profile of its binary image or the blue image according to the level of growth in the paddy field. The travel directrix line was detected by passing a known-point Hough transform. The directrix lines of all 69 samples used in the study were correctly detected. The processing times required to draw the directrix line after reading the 24 images were about 0·4–0·8 s.     

改进随机样本一致性算法的弯曲果园道路检测

果园道路检测的目的是为农业采摘机器人鲁棒实时地规划出合适的行走路径,因果园环境的复杂性,例如光照变化、杂草和落叶遮挡等因素的影响造成视觉检测算法鲁棒性差,为此提出融合边缘提取和改进随机样本一致性的弯曲果园道路检测方法。首先,根据果园道路的颜色分布特征和几何形状特征,使用有限差分算子提取图像边缘,再使用灰度值对比度约束和霍夫直线检测去除噪声,实现道路边缘点提取。然后,提出多项式函数描述直线和弯曲道路,使用改进的随机样本一致性算法和线性最小二乘法拟合道路边缘点,以估计多项式函数的参数,实现果园道路检测。在华南农业大学果园采集240张道路图像作为试验对象。试验表明:在光照变化、阴影和遮挡背景的影响下,该方法能有效地提取果园道路边缘点,并能正确地拟合道路以实现道路检测,平均正确检测率为89.1%,平均检测时间为0.2639 s,能够满足视觉导航系统的要求。该研究为农业采摘机器人的视觉导航的鲁棒性和实时性提供指导。     

改进DeepLabV3+算法提取无作物田垄导航线

机器视觉导航是智慧农业的重要部分,无作物田垄的导航线检测是旱地移栽导航的关键。针对无作物田垄颜色信息相近、纹理差距小,传统图像处理方法适用性差、准确率低,语义分割算法检测速度慢、实时性差的问题,该研究提出一种基于改进DeepLabV3+的田垄分割模型。首先对传统DeepLabV3+网络进行轻量化设计,用MobileNetV2网络代替主干网络Xception,以提高算法的检测速度和实时性;接着引入CBAM（convolutional block attention module,CBAM）注意力机制,使模型能够更好地处理垄面边界信息;然后利用垄面边界信息获得导航特征点,对于断垄情况,导航特征点会出现偏差,因此利用四分位数对导航特征点异常值进行筛选,并采用最小二乘法进行导航线拟合。模型评估结果显示,改进后模型的平均像素精确度和平均交并比分别为96.27%和93.18%,平均检测帧率为84.21帧/s,优于PSPNet、U-Net、HRNet、Segformer以及DeepLabV3+网络。在不同田垄环境下,最大角度误差为1.2°,最大像素误差为9,能够有效从不同场景中获取导航线。研究结果可为农业机器人的无作物田垄导航提供参考。     

基于扫描滤波的农机具视觉导航基准线快速检测方法

针对基于机器视觉的自动导航系统现有导航线提取算法易受外界环境干扰和处理速度较慢等问题,该文提出一种基于图像扫描滤波的导航线提取方法。首先获取不同农作物的彩色图像,使用2G-R-B算法对彩色图片进行灰度化处理,得到作物行和土壤背景对比性良好的图片。使用Otsu方法对图像进行分割,得到二值化的图像后,再采用腐蚀-中值滤波-膨胀的滤波方法对图像进行去噪处理。然后使用该文提出的扫描滤波导航线提取算法,将图像分成左右两部分,使用等面积三角形对两部分分别进行扫描后,再对扫描的结果进行滤波,从而提取作物行,得到导航线。试验结果表明,采用该方法处理一幅640×320像素的图像只需要76ms,可满足农机具实时导航的要求;与传统导航线提取算法相比,该算法计算速度快,适应能力强。     

基于FCN的无人机玉米遥感图像垄中心线提取

为解决农业机器人在玉米田行间行走的全局路径规划问题,该研究提出一种基于全卷积神经网络(Fully ConvolutionalNetworks,FCN)的无人机玉米遥感图像垄中心线提取方法。基于无人机获取的高精度可见光遥感图像,设计了针对农田垄中心线提取的数据集标注方法,采用滑动窗口法进行图像分块,利用深度学习语义分割网络FCN对垄中心线附近7～17像素宽度范围的垄线区域进行提取,模型在测试田块上精确率达66.1%～83.4%,召回率达51.1%～73.9%,调和平均值为57.6%～78.4%;对拼接后的图像使用影像分割投影法提取中心线,探究了垄线区域宽度对垄中心线提取精度的影响,训练采用9像素的垄区域宽度,可得到垄中心线在77 mm左右偏差范围准确率为91.2%,在31.5 mm左右偏差范围内为61.5%。结果表明,基于FCN对无人机玉米遥感图像进行处理,可得到整片田地的垄中心线栅格地图,方便农业机器人进行全局路径规划。