网站地图
-
农田环境中的玉米株数信息不仅是研究玉米出苗率的重要基础，也对作物产量分析有意义。传统的玉米株数识别采用人工实地考察的方法耗时费力，识别精度依赖于人工经验，且对植株具有一定损伤性。随着农业智能化及精细化的发展，激光测量方法的进步及其在农业领域中的应用[1-5]，作物信息的获取具有更大的灵活性。
激光测量技术在农田环境下作物的分类识别应用中，和传统方法相比，极大地降低了时间和人力成本，且非接触式的扫描能弥补作物易损的缺陷。基于此，目前已有很多学者针对不同作物的特点提出了可行的方法。GUAN等人[1]针对大田大豆的种植模式特点，使用局部邻域特征分割方法提取单行植株，然后通过均值漂移算法实现了单株大豆的提取。YANG等人[3]基于黄瓜幼苗的颜色信息结合条件滤波去除土壤背景，然后利用距离分割算法有效分割出单株黄瓜点集。LIAO等人[5]通过基于法向量的区域生长分割算法在油菜田块点云数据中分割出了单株油菜的点云簇，结合视觉坐标系，对作物进行了准确定位。目前基于激光3维点云的大田作物研究内容相对较少，已有的大田作物分类和识别研究中大多过于依赖作物生长状况以及生长环境，识别效率在较大程度上决定于作物之间的遮挡情况，对于种植间距较小且遮挡严重的情况不具有很强的适应性。
基于上述情况，作者以农田环境下的玉米植株作为研究对象，通过地面激光扫描仪、采用四站式扫描法获取完整的玉米点云数据，提出一种基于标靶球自动提取的点云配准方法，并对配准后的点云数据进行定量分析，利用圆柱体几何信息设计茎秆识别算法，获取茎秆点云数据并统计茎秆数量，与实际株数进行对比分析。研究方法为农作物3维虚拟仿真、作物识别、产量估算、农田管理等提供依据。
-
研究区域位于武汉市洪山区华中农业大学校内试验基地，中心地理坐标为30°28′47″N，114°21′6″E，海拔高度约为50m。该地区气候湿润，属于北亚热带季风性气候，雨水和日照充足，适合玉米种植。整个试验田区域地势较为平缓，玉米进行分块种植，不同田块的玉米种植密度不同，总体密度在6株/m2~9株/m2。
3维点云数据采用FARO公司focus s70型号的激光扫描仪获取，该扫描仪的尺寸为30mm×183mm×103mm，扫描范围为0.6m~70m，扫描视野在水平方向为0°~360°，垂直方向为-60°~90°，测量误差在0.1mm~1.3mm，所能承受的环境温度在5°~40°。考虑田间玉米的种植间距较小且玉米叶片较长，被扫描目标之间会造成较为严重的遮挡，需要通过围绕玉米田块架设多个站点进行扫描，获取不同视角的点云数据，同时，由于玉米植株较高，为获取玉米完整的3维信息，需要在每个站点进行不同高度的扫描。
图 1描述了田间玉米植株3维点云数据的采集方法。如图 1a(俯视图)所示，数据采集过程采用四站式扫描，将站点布置在玉米田块的4个角点处。如图 1b(侧视图)所示，高点扫描位置平行于冠层最高点，低点扫描位置平行于茎秆最高点。针对农田环境较为复杂，且玉米具有非刚性的特点，为了将各站点云数据配准在同一个坐标系下，采用直径15cm的标靶球作为配准的基准，如图 1a中所示，将标靶球放置在田块任意一条边的外侧，满足同一侧不能放置两个及以上的标靶球，且任意两个标靶球的连线不与田块平行。考虑配准精度以及多站点云数据配准产生误差叠加等问题，同时放置3个标靶球且保证在每一站扫描中标靶球都被扫描到。为分析本文中方法的适用性，实验过程中采集多组数据进行分析对比。选取两个长势较为完整的拔节期玉米田块进行数据采集，分别标记为f1和f2，并在16d后对f2进行第2次数据采集，获取不同生长时期的玉米点云数据，标记为f3。图 1c为完整的数据获取方法，A, B, C, D是布置的4个扫描站点，其中，Ah是A站点中的高点扫描位置，Al是A站点中的低点扫描位置，其它站点以此类推，a, b, c是标靶球位置，中间区域为目标田块。按照图 1中的数据采集方法，每个田块获取8组原始点云，每组原始点云包含3个标靶球点集，共有24个标靶球点集，对每个标靶球点集进行编号，编号顺序遵循扫描顺序(Ah-Al-Bh-Bl-Ch-Cl-Dh-Dl)，其中，每组原始点云中的标靶球点集按照a-b-c顺序进行排序，以图中的A站点为起始站，编号从1开始，依次递增，最终完成24个标靶球点集的编号。采用基于标靶球自动提取的点云配准方法对每组点云数据进行配准，并利用随机采样一致性(random sample consensus，RANSAC)算法[6]以圆柱体特征提取玉米茎秆点云数据进行玉米植株株数统计，将统计结果与实际种植数量进行对比，完成精度验证。
Figure 1. Point cloud data collection process of corn field
-
把不同视角获取的3维点云数据转换到同一个空间坐标系下即为3维点云的配准。目前，点云配准方法的研究大多是基于迭代最近邻配准(iterated closest points，ICP)算法的改进[7-9]，但该类算法需要不断迭代，时间成本较高，不适用于大场景下的点云数据，且局限于刚性物体的配准。在农田环境下扫描时，玉米容易发生形变，尤其是叶片部分较为柔软，不具有刚性特征，本文中提出一种基于标靶球自动提取的点云配准方法[10]，该方法忽略扫描过程中玉米发生的形变，以标靶球为基准，实现多站点云数据的配准。图 2为算法流程图。
Figure 2. Point cloud registration algorithm flow chart
考虑到农田环境复杂，飞虫以及灰尘等使获取的标靶球点云数据具有较多噪声点，且玉米植株较高，会对标靶球造成一定程度的遮挡，为提高标靶球拟合精度，以球体几何特征对原始点云数据中的标靶球点云数据进行自动提取[11-12]。对于给定的原始点云，随机选取标靶球上的4个点S1(x1, y1, z1), S2(x2, y2, z2), S3(x3, y3, z3), S4(x4, y4, z4), 则球体拟合方程为：
$ \left\{ \begin{array}{l} ({x_1} - {x_2}){x_0} + ({y_1} - {y_2}){y_0} + ({z_1} - {z_2}){z_0} = 0.5({x_1}^2 + {y_1}^2 + {z_1}^2 - {x_2}^2 - {y_2}^2 - {z_2}^2)\\ ({x_1} - {x_3}){x_0} + ({y_1} - {y_3}){y_0} + ({z_1} - {z_3}){z_0} = 0.5({x_1}^2 + {y_1}^2 + {z_1}^2 - {x_3}^2 - {y_3}^2 - {z_3}^2)\\ ({x_1} - {x_4}){x_0} + ({y_1} - {y_4}){y_0} + ({z_1} - {z_4}){z_0} = 0.5({x_1}^2 + {y_1}^2 + {z_1}^2 - {x_4}^2 - {y_4}^2 - {z_4}^2) \end{array} \right. $
(1) 式中，(x0, y0, z0)是球心坐标。再加上球体半径, 根据这4个参量就可以确定一个球体。对于两片待配准的点云数据(例如Ah，Al)，任选一片点云(如Ah)作为参考点云，分别提取Ah和Al中的标靶球点云并进行强制对应，则Ah中的标靶球球心Pi(x1i, y1i, z1i)与Al中对应的标靶球球心Qi(x2i, y2i, z2i)满足：
$ \left[ {\begin{array}{*{20}{c}} {{x_{1i}}}\\ {{y_{1i}}}\\ {{z_{1i}}} \end{array}} \right] = \mathit{\boldsymbol{R}}\left[ {\begin{array}{*{20}{c}} {{x_{2i}}}\\ {{y_{2i}}}\\ {{z_{2i}}} \end{array}} \right] + {\rm{ }}\mathit{\boldsymbol{T}} $
(2) $ \mathit{\boldsymbol{R}}{\rm{ }} = \left[ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;{\rm{cos}}\beta {\rm{cos}}\alpha \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{cos}}\beta {\rm{sin}}\theta \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; - \rm sin\beta \\ - {\rm{cos}}\beta {\rm{sin}}\theta - {\rm{sin}}\alpha {\rm{sin}}\beta {\rm{cos}}\theta \;\;\;\;\;{\rm{cos}}\alpha {\rm{cos}}\theta + {\rm{sin}}\alpha {\rm{sin}}\beta {\rm{sin}}\theta \;\;\;\;\;{\rm{sin}}\alpha {\rm{cos}}\beta \\ {\rm{sin}}\alpha {\rm{sin}}\theta + {\rm{cos}}\alpha {\rm{sin}}\beta {\rm{cos}}\theta \;\;\;\;\; - {\rm{sin}}\alpha {\rm{cos}}\theta - {\rm{cos}}\alpha {\rm{sin}}\beta {\rm{sin}}\theta \;\;\;\;{\rm{cos}}\alpha {\rm{cos}}\beta \end{array} \right] $
(3) $ \mathit{\boldsymbol{T}} = \left[ {\begin{array}{*{20}{c}} {\Delta x}\\ {\Delta y}\\ {\Delta z} \end{array}} \right] $
(4) 式中，α，β，θ，分别代表x, y, z方向的旋转角度，R是旋转矩阵，T是平移矩阵，Δx、Δy、Δz分别代表x, y, z轴方向上的平移量。
以Ah，Al两组点云中对应标靶球球心坐标作为对应点，利用(3)式计算旋转和平移矩，阵将两片点云数据配准在同一坐标系下。为了降低多站配准时的叠加误差，首先对每个站点不同高度获取的点云数据进行配准，然后再逐站依次配准。即Ah和Al，Bh和Bl, Ch和Cl, Dh和Dl获取的原始点云数据分别配准，得到A0，B0，C0，D0共4组点云数据，然后A0和B0进行配准，得到AB0，再和C0进行配准, 得到ABC0，以此类推，直到四站点云全部配准完成。
-
玉米茎秆整体上呈现出圆柱体几何特征，为从玉米田中识别单颗作物，完整的计算出玉米植株数目，利用3维点云精确分离出每颗玉米的茎秆是最有效办法。本文中根据玉米茎秆的圆柱体几何特征利用随机采样一致性算法以圆柱体模型参量迭代寻找符合模型的最优点集[13-18]，完成茎秆点云提取。玉米茎秆空间柱面模型如图 3所示。图中，M(a, b, c)是圆柱体轴线Ax上的一点，(p, q, l)是Ax的方向向量，r是圆柱体的半径，N(x, y, z)是柱面上任意一点，根据这7个参量就可以确定一个圆柱体。圆柱体的计算公式为:
$ \begin{array}{c} {\left( {x - a} \right)^2} + {\left( {y - b} \right)^2} + {\left( {z - c} \right)^2} = {r^2} + \\ [{\rm{ }}\mathit{\boldsymbol{p}}{\rm{ }}\left( {x - a} \right) + {\rm{ }}\mathit{\boldsymbol{q}}{\rm{ }}\left( {y - b} \right) + \\ \mathit{\boldsymbol{l}}{\rm{ }}\left( {z - c} \right){]^2}/({\rm{ }}\mathit{\boldsymbol{p}}{^2} + {\rm{ }}\mathit{\boldsymbol{q}}{^2} + {\rm{ }}\mathit{\boldsymbol{l}}{^2}) \end{array} $
(5) 
Figure 3. Space cylinder model
算法具体步骤为：(1)对于给定的初始玉米田块原始点云，任意选取一些点计算以上参量拟合圆柱体; (2)遍历剩余所有点并计算其到圆柱表面的距离，对任意一点i，距离di的计算公式为：
$ {d_i} = \left| {r - {\rm{ }}\sqrt {{{(x - {x_0})}^2} + {{(y - {y_0})}^2} + {{(z - {z_0})}^2}} } \right| $
(6) (3) 把距离小于阈值ε的点当作内点保存，否则将其作为外点并删除，最后得到模型点集S; (4)重复该过程，直到达到预设迭代次数k，将模型最多点集数S与预设最小点集数σ比较，当S>σ时, 将该点集作为玉米茎秆点云，否则认为茎秆不存在; (5)重复步骤(1)~(4)直到原始点云中不能再找到茎秆，算法终止。
基于玉米实际生长状况，经过反复试验，本文中设置最大迭代次数k=10000，内点到模型的最大距离ε=0.005m，圆柱体模型半径的估计范围为0m~0.01m，最小点集数σ=4000，此时茎秆识别效果最好，图 4为玉米茎秆提取结果。红色部分为茎秆部分，可以看出，即使获取的茎秆点云有部分遮挡或者残缺，仍然能取得较好的拟合效果。
Figure 4. Cloud extraction of corn stalk point
-
图 5是配准后的玉米3维点云数据。由于地面3维激光扫描仪水平扫描范围为0°~360°，垂直扫描范围为-60°~90°，因此需要对配准后的点云数据进行裁剪，获取实验区域的点云数据。图 5中的虚线框表示裁剪完的点云数据。
Figure 5. Result map of 3-D point cloud data registration
在农田环境下进行激光扫描时，玉米叶片会产生瞬间的形变，导致配准后的叶片点云数据出现不同程度的失真，称之为叶片的分层现象。基于此，本文中采用标靶球的拟合误差来分析点云数据的配准质量，以A站点高点扫描位置Ah获取的的点云数据为例，图 6所示为标靶球拟合过程。可以看出，标靶球拟合较为均匀，每个标靶球之间没有明显的大小差异。图 7a表示4个站点扫描所获得的8组点云数据中所有标靶球的拟合误差。大部分的误差波动在3mm~5mm，只有10号标靶球和16号标靶球的拟合误差大于5mm，这是因为10号标靶球和16号标靶球对应的扫描位置为Bl和Cl，低点位置扫描时标靶球遮挡较为严重，扫描获取的球面点云数据太少造成误差较大。同时，标靶球自动提取的精度也是影响拟合误差的重要因素，采用标靶球拟合的标准偏差来度量标靶球自动提取的误差，如图 7b所示。大部分标靶球拟合的标准偏差都在0.1mm~0.5mm，个别偏差在0.5mm~0.7mm之间，并且16号标靶球的拟合误差和标准偏差均为最大，表示遮挡过于严重时，标靶球自动提取会混入一定噪声点。在该方法下，标靶球拟合的标准偏差均在扫描仪允许的测量误差范围内(0.1mm~1.1mm)，总体配准误差小于大场景配准误差标准(5mm)[19]，证明本文中提出的配准方法在农田环境中具有较好的适应能力，解决目标遮挡等问题，能够满足实验需求。
Figure 6. Target ball fitting
Figure 7. Target ball fitting error and standard deviation
-
玉米种植情况以及玉米的生长状态均会影响数据采集的精度，对采集的3组数据进行对比分析。采用本文中数据采集方法和配准算法获取实验区域完整的玉米3维点云数据，通过基于圆柱体模型提取的方法对获取的点云数据进行迭代处理分别提取茎秆进行株数统计，与实际株数进行对比，完成精度R验证。验证方法如下：
$ R = (1 - \left| {E - F} \right|/F) \times 100\% $
(7) 式中, E为识别的株数，F为真实种植株数。玉米茎秆的提取效果如图 8所示。图中直线条部分代表茎秆。表 1为株数识别精度分析。结果显示，f1和f2的茎秆提取精度分别为92.1%和86.1%，种植密度分别为7株/m2和8株/m2，表明在生长时期相同的情况下，种植密度越小，茎秆提取的成功率越高，精度差异产生的原因主要是不同的种植密度造成各植株之间不同程度的遮挡对数据采集精度的影响。经过实地考察对比，f3的冠层密集程度明显大于f2，但玉米的平均高度分别为1.61m和1.78m；根据精度验证结果显示，f2和f3的茎秆提取精度分别为86.1%和88.9%，说明相比于f3，虽然f2的冠层部分遮挡更为严重，但考虑株高因素，f3茎秆部分较长，能有效降低叶片的遮挡影响，提高茎秆识别率。
Figure 8. Point cloud extraction of tubers in corn fields
Table 1. Comparative analysis of plant number extraction accuracy
corn field scan date field area/
m2planting density/
(number·m-2)average plant
height/mnumber of
plants plantednumber of
identified treesaccuracy
verification/%f1 2020-07-13 12.7 7 1.64 89 82 92.1 f2 2020-07-13 9 8 1.61 72 62 86.1 f3 2020-07-29 9 8 1.78 72 64 88.9 图 9是玉米田块行和列之间的株数识别分析。从图中可以看出，靠近田块边界的行和列识别的茎秆数量较为准确，而处于中间区域的行和列依然存在一定误差，主要是因为中间区域植株获取的茎秆点云数据较为残缺，但是采用本文中的研究方法，不同高度的四站式扫描结合圆柱体茎秆特征提取，能最大程度上有效地解决农田作物遮挡难题，为高精度田间场景重建提供了技术方案。
Figure 9. Identification and analysis of plant numbers between rows and col-umns
-
本文中提出了1种基于激光点云的农田玉米种植株数识别的方法，首先根据玉米作物的特征采用不同高度扫描位置的四站式扫描获取完整的玉米3维点云数据，提出了基于标靶球的点云自动配准算法，该算法基于球体特征自动提取标靶球的球面点云数据，以标靶球作为配准基准，忽略玉米形变实现点云配准。对于配准好的3维点云数据，利用采样一致性算法基于圆柱体特征从完整的玉米田块点云中精确分离出茎秆点云，统计玉米种植株数，实验结果表明，该方法能有效识别出玉米田块的种植株数，在不同生长时期和生长环境下都有较高的识别效率。
基于激光点云的农田玉米种植株数数目识别
Recognition of the number of corn plants in farmland based on laser point cloud
-
摘要: 为了对玉米种植株数进行无损的自动化识别，利用FARO focus s70地面激光扫描仪、采用四站式扫描方法，采集不同视角下的玉米田块点云数据。设计了一种基于标靶球自动提取的配准算法，对各站获取的点云数据进行精确配准，取得了完整的玉米田块点云数据，并以标靶球拟合误差和标准偏差分析配准精度。对于配准好的3维点云数据，利用采样一致性算法基于圆柱体特征从完整的玉米田块点云中精确分离出茎秆点云，统计玉米种植株数。结果表明，标靶球拟合标准偏差在0.1mm~0.7mm之间，满足仪器测量精度要求; 拟合误差总体在2mm~5mm之间，能满足大场景测量配准误差5mm的要求; 对玉米种植株数的识别率达到86.1%~92.1%。这一结果对于农田环境下玉米种植株数识别的实际应用方面是有帮助的，为作物的估产提供了数据基础，为智慧农业研究提供了理论方法。Abstract: In order to identify the number of maize plants without damage, the four station scanning method was used to collect the data of corn field point cloud from different perspectives by using FARO focus s70 laser scanner. A registration algorithm based on automatic extraction of target ball was designed. The point cloud data obtained by each station was accurately registered, and the complete corn field point cloud data was obtained. The registration accuracy was analyzed by the fitting error and standard deviation of the target ball. For the three-dimensional point cloud data, the stem point cloud was separated from the whole corn field point cloud by using the sampling consistency algorithm based on the cylinder characteristics, and the number of corn planting plants was counted. The results show that the standard deviation of the standard fitting of the target ball is between 0.1mm and 0.7mm, which meets the requirements of the instrument measurement accuracy. The fitting error is between 2mm~5mm, which can meet the requirements of 5mm in large scene measurement registration error. The recognition rate of maize plant number was 86.1%~92.1%. This result is helpful to the practical application of maize plant number identification in farmland environment, providing data base for crop yield estimation and theoretical method for intelligent agricultural research.
-
Figure 1. Point cloud data collection process of corn field
a—top view b—side view c—point cloud collection method
Figure 7. Target ball fitting error and standard deviation
a—target ball fitting error b—standard deviation of target ball fitting
Table 1. Comparative analysis of plant number extraction accuracy
corn field scan date field area/
m2planting density/
(number·m-2)average plant
height/mnumber of
plants plantednumber of
identified treesaccuracy
verification/%f1 2020-07-13 12.7 7 1.64 89 82 92.1 f2 2020-07-13 9 8 1.61 72 62 86.1 f3 2020-07-29 9 8 1.78 72 64 88.9 
下载: 导出CSV
-
[1] GUAN X P, LIU K, QIU B J, et al. Extraction of geometric parameters of soybean canopy by airborne 3D laser scanning [J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(23): 96-103(in Chinese). [2] BULANON D M, KATAOKA T. Fruit detection system and an end effector for robotic harvesting of Fuji apples[J]. CIGR Journal, 2010, 12(1): 203-210. [3] YANG S, GAO W L, MI J Q, et al. Method for measurement of veg-etable seedlings height based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(s1): 128-135(in Chinese). [4] XIA Ch L, WANG L T, CHUNG B K, et al. In situ 3D segmentation of individual plant leaves using a RGB-D camera for agricultural automation[J]. Sensors, 2015, 15(8): 20463-20479. doi: 10.3390/s150820463 [5] LIAO J, WANG Y, YIN J N, et al. Point cloud acquisition, segmentation and location method of crops based on binocular vision[J]. Jiangsu Journal of Agricultural Sciences, 2019, 35(4): 847-852(in Chinese). [6] LU Z F, XU Y, SHAN X, et al. A lane detection method based on a ridge detector and regional G-RANSAC[J]. Sensors, 2019, 19(18): 4028. doi: 10.3390/s19184028 [7] HOLZ D, ICHIM A E, TOMBARI F, et al. Registration with the point cloud library: A modular framework for aligning in 3-D[J]. IEEE Robotics & Automation Magazine, 2015, 22(4): 110-124. [8] LIU Zh, YANG W, LI M Z, et al. Three-dimensional point cloud registration method for soil surface based on kinect camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(s1): 144-149(in Chinese). [9] BERGSTRÖM P, EDLUND O. Robust registration of point sets using iteratively reweighted least squares[J]. Computational Optimization & Applications, 2014, 58(3): 543-561. [10] GUO C L, ZONG Z, ZHANG X, et al. Apple tree canopy geometric parameters acquirement based on 3D point clouds[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(3): 175-181(in Chinese). [11] WANG L H, SHI H B, YIN Y C, et al. Sphere targets automatic in 3D terrestrial laser scanning[J]. Journal of Geomatics, 2019, 44(3): 57-61(in Chinese). [12] FREDERICO A L, MANUEL M O. Real-time detection of planar regions in unorganized point clouds[J]. Pattern Recognition, 2015, 48(6): 2043-2053. doi: 10.1016/j.patcog.2014.12.020 [13] WANG P, LIU R F, MA X J, et al. An automatic extraction method for pole-like objects fromvehicle-borne laser point cloud[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1035-1042(in Chinese). [14] SHI L, GUO T, PENG Ch, et al. Segmentation of laser point cloud and safety detection of power lines[J]. Laser Technology, 2019, 43(3): 341-346(in Chinese). [15] WU Q H, ZHU S S, ZHOU Y, et al. Regular sticks pose position and orientation recognition based on RANSAC[J]. Transducer and Microsystem Technologies, 2019, 38(9): 137-140(in Chinese). [16] WU H, LIU H Y, DING G F, et al. Automatic extraction of power lines from laser point clouds in complex environments. Laser Technology, 2020, 44(4): 509-514(in Chinese). [17] XU L G, GUO T, WU Sh H, et al. Fast extraction and reconstruction of power line based on point cloud data features[J]. Laser Technology, 2020, 44(2): 244-249(in Chinese). [18] WU J J, CHEN L, LI L, et al. Power line extraction and reconstruction from airborne LiDAR point cloud[J]. Laser Technology, 2019, 43(4): 500-505(in Chinese). [19] YIN R J, YANG C, FU Z W. Overall control and registration precision analysis of large-scale terrain with multiple laser scanners[J]. Journal of Geomatics, 2015, 40(3): 13-17(in Chinese). -
点击查看大图
图(9) / 表(1)
计量
- 文章访问数: 4408
- HTML全文浏览量: 3024
- PDF下载量: 22
- 被引次数: 0
