基于多视角自动成像系统的作物三维点云重建策略优化

为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3～4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R²>0.90...     

利用无人机倾斜影像与GCP构建高精度侵蚀沟地形模型

为了提高侵蚀沟立体建模与监测的精度,该文采用消费级无人机作为低空遥感平台,以黄土高原一典型切沟为研究对象,通过无人机采集的倾斜影像与部署的地面控制点,采用多视立体运动恢复结构方法(structure from motion with multi-view stereo,Sf M-MVS)构建了高精度侵蚀沟表面模型,对其建模精度与数字高程模型、正射影像等成果进行分析,并与传统正射航图建模成果进行了比较。结果表明:构建的侵蚀沟稠密点云模型的水平均方根误差约为0.096 m,高程均方根误差约为0.018 m,满足1:500比例尺数字线划图与正射影像图的要求。与正射航图建模成果相比,高程误差减小了50%;侵蚀沟稠密点云的整体密度与地面激光雷达相当,且避免了后者多站拼接造成的密度不均问题。除了沟头部分的小块内凹区域,沟壁、沟头部分没有明显的空洞,植被覆盖的区域也能够正常建模。而正射航图的建模成果中在沟头内凹部分以及植被覆盖部分存在大块的空洞;由侵蚀沟的数字高程模型与等高线图可见,构建的侵蚀沟模型能够准确地反映切沟的形态特征。总体而言,该方法在侵蚀沟的高精度建模与监测方面具有显著优势,具有推广应用的潜力。     

基于尺度不变特征转换算法的棉花双目视觉定位技术

为了给采棉机器人提供运动参数,设计了一套双目视觉测距装置以定位棉株。对获取的左右棉株图像进行经背景分割等预处理。求取其在8个尺度下的高斯图,通过尺度不变特征转换SIFT(scale-invariant feature transform)算法在相邻高斯差分图中提取出SIFT关键点;计算每个高斯图中关键点邻域内4×4个种子点的梯度模值,得到128维特征向量。分割右图关键点构成的128维空间,得到二叉树;利用最优节点优先BBF(best bin first)算法在二叉树中寻找到172个与左图对应的粗匹配点。由随机采样一致性RANSAC(random sample consensus)算法求出基础矩阵F,恢复极线约束,剔除误匹配,得到分布在11朵棉花上的151对精匹配。结合通过标定和F得到的相机内外参数,最终重建出棉花点云的三维坐标。结果表明,Z轴重建结果比较接近人工测量,平均误差为0.039 3 m,能够反映棉花间的相对位置。     

基于双目立体视觉技术的玉米叶片三维重建

玉米叶片的三维形态特征是衡量叶片生物学特性的重要指标,为了能够简捷、快速、准确的获得叶片的三维形态,该研究以两个位置相对固定的摄像机组成双目立体视觉系统,采用平面模板法标定摄像机内外参数,照射结构光测量玉米叶片边缘与叶脉点的三维坐标,对稀疏离散点进行Cardinal样条插值,三角面片化插值点重建出部分叶片三维曲面,旋转平移各部分三维曲面拼接成完整的叶片。试验结果表明该文所提出的方法不仅能够准确的重建玉米叶片三维结构,同时具有无损、非接触、自动化程度高等优势。     

基于双目立体视觉的机械手移栽穴盘定位方法

为了解决自动化机械手移栽过程中穴盘放置偏斜和底部局部"凸起"而引起的移栽效果不理想的问题,为机械手提供穴盘精准坐标,对穴盘准确定位方法进行研究。首先,根据机械手移栽特点提出穴盘定位总体方法及图像获取手段。其次,利用单目相机获取的图像采用像素标记法和Radon变换法计算穴盘中心坐标和角度,完成穴盘平面定位。再次,对双目相机获取的图像采用SIFT(scale invariant feature transform)特征匹配的算法获得匹配点对坐标,并提出区域整合匹配点的方法。最后,利用整合的区域双目匹配点坐标配合相机标定结果重建匹配点的三维世界坐标,并且与穴盘平面定位结果相结合完成穴盘空间位置重构。试验结果表明,提出的穴盘定位方法能够真实地恢复穴盘空间姿态,中心像素横纵坐标相对误差分别在(-7,+7)和(-6,+7)像素内,角度检测值与实测值相对误差值在(-0.51°,+0.53°)内,利用SIFT特征匹配算法匹配双目图像,在2×4区域内对8对整合匹配点进行三维世界坐标重建,其中7个坐标的三个维度与测量值相对误差在2 mm内,1个坐标与测量值相对误差为4.6 mm内。该方法所应用的算法成熟,可以满足机械手移栽实际应用处理要求。     

利用三维激光扫描技术动态监测沟蚀发育过程的方法研究

在介绍三维激光扫描技术基本原理的基础上,详述了应用三维激光扫描技术实现沟蚀发育过程动态监测的方法和流程,包括扫描测量前期准备、扫描测量、点云预处理、坐标转换、TIN及等高线的生成、侵蚀量的估算等。以沟蚀发育过程的模拟降雨试验为案例,介绍了应用三维激光扫描技术进行沟蚀发育过程动态监测的方法,包括实地数据采集、点云分析处理和建模等,并分析了本案例基于三维激光扫描技术估算侵蚀量的精度,其平均精度达到96.85%。建议在野外应用三维激光扫描技术动态监测沟蚀过程时结合GPS进行辅助测量。     

基于点云配准的果树快速三维重建

旨在为果园生产管理提供果树三维可视化基础数据,该文提出了一种基于点云配准的自然光照环境下的果树三维重构方法。首先,利用RGB-D相机采集不同视角下的果树彩色图像和深度图像,并通过信息融合获取相应视角下果树的三维点云数据;第二,对果树原始点云进行去背景和滤波等预处理,利用归一化对齐径向特征NARF(Normal Aligned Radial Feature)算法计算每片点云中的关键点,并在关键点初运用快速点特征直方图FPFH(Fast Point Feature Histograms)描述子得到关键点的特征向量。通过计算比较两片点云的FPFH特征,寻找两片相邻点云之间的空间映射关系,利用随机抽样一致性RANSAC(RANdomSAmple Consensus)算法提纯映射关系并完成相邻两片点云的初始配准;第三,在初始配准的基础上,利用迭代最近点ICP(Iterative Closest Point)算法完成点云的精确配准;最后,利用上述点云初始配准和精确配准方法对果树多片点云进行全局配准并完整重构果树的三维点云图像。针对配准过程中时间消耗过大的问题,该文提出了基于OpenMP技术对配准进行加速的方法。结果表明,该文所提出的果树三维重构方法具有较高的准确性,配准的平均距离误差为0.0068 m;同时,在不影响配准精度和稳定性的前提下大幅提高了果树三维重建的效率。     

基于三维激光扫描的坡沟系统侵蚀产沙过程研究

为了探究野外自然坡沟系统土壤侵蚀过程,研究于黄土丘陵沟壑区典型流域辛店沟内自然坡面开展5场放水冲刷试验,利用地面三维激光扫描技术(Terrestrial laser scanning, TLS)获取高精度地形信息,并采用DEM of difference(DoD)地形变化监测方法计算产沙量,利用实测产沙量评估TLS的监测精度,并探讨了坡沟系统侵蚀/沉积的变化特征。结果表明：(1)累积场次中,DoD不确定性(即level of detection, LoD)平均值(范围)为16.5 mm(16.2～16.8 mm)。单场次中,LoD值平均值为16.4 mm(16.2～16.6 mm);(2)累积场次中,梁峁坡、沟谷坡、坡沟系统TLS扫描所得产沙量相对误差的平均值(范围)为52.63%(26.06%～106.98%),56.68%(30.26%～75.49%)和56.28%(33.37%～73.28%),与实测数据显著相关(R²>0.9,p<0.05)。单场次TLS扫描相对误差波动范围更大且平均值高于累积场次,其值分别为83.70%(4.08%～190.4...     

基于点云配准的果树快速三维重建（英文）

旨在为果园生产管理提供果树三维可视化基础数据,该文提出了一种基于点云配准的自然光照环境下的果树三维重构方法。首先,利用RGB-D相机采集不同视角下的果树彩色图像和深度图像,并通过信息融合获取相应视角下果树的三维点云数据;第二,对果树原始点云进行去背景和滤波等预处理,利用归一化对齐径向特征NARF(Normal Aligned Radial Feature)算法计算每片点云中的关键点,并在关键点初运用快速点特征直方图FPFH(Fast Point Feature Histograms)描述子得到关键点的特征向量。通过计算比较两片点云的FPFH特征,寻找两片相邻点云之间的空间映射关系,利用随机抽样一致性RANSAC(RANdom SAmple Consensus)算法提纯映射关系并完成相邻两片点云的初始配准;第三,在初始配准的基础上,利用迭代最近点ICP(Iterative Closest Point)算法完成点云的精确配准;最后,利用上述点云初始配准和精确配准方法对果树多片点云进行全局配准并完整重构果树的三维点云图像。针对配准过程中时间消耗过大的问题,该文提出了基于OpenMP技术对配准进行加速的方法。结果表明,该文所提出的果树三维重构方法具有较高的准确性,配准的平均距离误差为0.0068 m;同时,在不影响配准精度和稳定性的前提下大幅提高了果树三维重建的效率。     

基于相机位姿恢复与神经辐射场理论的果树三维重建方法

针对传统立体视觉三维重建技术难以准确表征果树多尺度复杂表型细节的问题，该研究提出了一种基于相机位姿恢复技术与神经辐射场理论的果树三维重建方法，设计了一套适用于标准果园环境的果树图像采集设备和采集方案。首先，环绕拍摄果树全景视频并以抽帧的方式获取果树多视角图像；其次，使用运动结构恢复算法进行稀疏重建以计算果树图像位姿；然后，训练果树神经辐射场，将附有位姿的多视角果树图像进行光线投射法分层采样和位置编码后输入多层感知机，通过体积渲染监督训练过程以获取收敛且能反映果树真实形态的辐射场；最后，导出具有高精度与高表型细节的果树三维实景点云模型。试验表明，该研究构建的果树点云能准确表征从植株尺度的枝干、叶冠等宏观结构到器官尺度的果实、枝杈、叶片乃至叶柄、叶斑等微观结构。果树整体精度达到厘米级，其中胸径、果径等参数达到毫米级精度，尺度一致性误差不超过5%。相较于传统的立体视觉三维重建方法，重建时间缩短39.50%，树高、冠幅、胸径和地径4个树形参数的尺度一致性误差分别降低了77.06%、83.61%、45.47%和62.23%。该方法能构建具有高精度、高表型细节的果树点云模型，为数字果树技术的应用奠定基础。     

基于运动恢复结构算法的油菜NDVI三维分布

植物形态伴随着植物生长过程而发生变化,植物的三维重建对研究植物形态对植物生物量估测、植物病害虫害、基因型表达等有着很重要的意义。目前三维重建方法重建出的三维点云多包含植物的形态、颜色等特征,无法反应植物营养状况（如叶绿素含量）、病虫害胁迫等原因造成有机质空间三维分布改变,同时以往手段都需要专门仪器,携带和作业都受到很大限制。多光谱图像能够反应有机质含量等化学值的分布,在近地面遥感、农产品质量无损检测等发面取得了广泛的应用。该文通过采集31张4叶龄油菜的多光谱图像,使用运动恢复结构算法（structure from motion）方法对其进行空间三维重建,得到油菜的三维点云,并对点云中噪声点进行滤除。以控制点和控制长度对所得模型进行评价,得到长度最大偏差在0.1023 cm,RMSE=0.052599,证明该方法重建所得模型具有较好的空间均匀性与准确性,最后计算NDVI指数空间分布。证明所得模型对将来研究植物营养与病虫害胁迫空间分布有着重要意义。     

基于多视角立体视觉的植株三维重建与精度评估

基于图像序列的植株三维结构重建是植物无损测量的重要方法之一。而对重建模型的精度评估方法大多基于视觉逼真程度和常规测量数据。该研究以精确的激光扫描三维模型为参照,采用豪斯多夫距离,从三维尺度上对基于图像序列的植株三维重建模型进行精度评估。同时,从植株表型参数(叶片长、宽、叶面积)方面,对植株三维重建模型进行精度评估。结果表明,基于图像序列的三维重建模型精度较高,豪斯多夫距离在0~10 mm之间,各试验植株豪斯多夫距离大多小于4.0 mm,各植株表型参数与其对照值的R2均大于0.95,且两者的无显著性差异(P0.05)。此植株三维结构重建方法能够应用于植物表型、基因育种、植物表型与环境互作等研究领域。     

基于贴近摄影测量的崩岗侵蚀监测技术

在崩岗侵蚀研究中,为了高效精准的对高陡崩壁土体侵蚀沉积运移进行准确监测,运用无人机贴近摄影测量技术对崩岗研究区进行数字影像采集,通过运动恢复结构-多视点匹配(Structure From Motion-Multi View Stereo,SFM-MVS)技术,生成点云数据及研究区数字表面模型(Digital Surface Model,DSM),利用ArcMap进行叠加分析监测周期内研究区侵蚀沉积变化。从定位精度、测量精度、重现性分析3个方面对贴近摄影测量技术进行误差及可行性分析。最终验证结果贴近摄影测量技术总平均重投影误差为0.19 mm,侵蚀沉积量总平均绝对误差为0.006 m~3,较传统倾斜摄影测量技术误差降低了了45.45%。高程精度较倾斜摄影测量技术总体提升了162.5%。重复点云数据高程误差的平均值仅为0.36 mm,识别图像及控制点误差均达到毫米级,因此利用无人机贴近摄影测量技术精度满足崩岗高陡崩壁监测需求,该技术可提取崩岗研究区侵蚀地貌特征信息,是较为高效精准的研究侵蚀沉积过程的监测技术。     

无人机倾斜航空摄影监测崩岗侵蚀量变化的方法

如何高效精确地监测崩岗的动态发育过程并且量化侵蚀量是崩岗侵蚀机理研究中的难点。该文以准专业级无人机对目标崩岗进行倾斜摄影获得的全方位多角度航空影像为基础,通过空三加密处理生成目标崩岗的三维点云模型;利用点云数据构建DTM,提取目标崩岗地形数据;运用多时相连续DEM相减的方法获取监测周期内崩岗的高程变化,计算侵蚀量并找到侵蚀严重的部位,再使用2.5D体积测算方法细化侵蚀严重的崩壁和沟头部位的侵蚀量,以此作为补充,最终获得监测期内的总侵蚀/沉积量体积并换算为泥沙量。最终结果验证的平均相对误差为9.69%,一个月监测周期内最大的绝对误差仅为0.303 3 m3,满足监测要求。因此利用无人机倾斜航空摄影测量的方法监测崩岗侵蚀量是可行有效的,该方法可提取崩岗的所有地形信息,研究侵蚀泥沙的来源和侵蚀过程,是较为快速和精确的崩岗监测手段。     

基于Rank变换的农田场景三维重建方法

农田场景的三维重建对于研究远程监测作物的生长形态、预测作物产量、识别田间杂草等都具有重要作用。为解决农田场景图像三维重建困难、立体匹配精度较差等问题,该文提出了一种基于Rank变换的农田场景三维建模方法。该方法运用加权平均法灰度化图像,以保留农田场景的完整特征;以灰度图像的Rank变换结果作为匹配基元,采用基于归一化绝对差和测度函数的区域匹配算法获取场景的稠密视差图;根据平行双目视觉成像原理计算场景的空间坐标,并生成三维点云图;依据所得场景的三维坐标,对场景中感兴趣区域实现三维重建。采用标准视差计算测试图像验证立体匹配算法精确性,平均误匹配率较传统的绝对差和函数算法降低约5.63%。运用不同环境下的棉田场景图像测试三维重建方法,试验结果表明,在6.8 m的景深范围内,作物及杂草的高度、宽度等几何参数计算值与实际测量值接近,各项指标的平均相对误差为3.81%,验证了三维重建方法的可靠性及准确性。     

Alpha-shape算法构建枣树点云三维模型

为了实现枣树智能化修剪作业,该研究提出了基于点云配准的自然光照环境下的果树三维重构方法,并针对传统最近点迭代（Iterative Closest Point,ICP）算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先,使用彩色深度（RGB-D）相机采集不同角度下的枣树彩色和深度图像,并通过信息融合实现相应角度下的点云获取。其次,对点云进行背景去除和滤波处理,基于直方图设定分割阈值,提取单株枣树点云,并将放置在树根附近的标靶球作为标记,使用人工标记法进行两站点云初配准。最后,在初配准基础上计算点云的曲面法向量和曲率,由曲率相近的点构成配对点对,使用k维树最近点迭代（k dimensional-tree-Iterative Closest Point,kd-tree-ICP）算法完成精配准,对点云使用Alpha-shape算法面片化,实现表面重构。利用上述方法对多棵枣树进行全局配准并完整重构果树模型。试验结果表明,通过引入初配准,有效提高了点云配准的准确性和稳定性,配准误差均控制在1.0 cm以内,平均配准误差为0.78 cm;重构模型真实感较强,在外观上更加接近真实树,枝干相对误差控制在7%以内。该研究重构模型精度较高,可为枣树智能修剪提供可视化研究基础和技术支持。     

基于RGB-D相机的玉米茎粗测量方法

为实现田间玉米茎粗的快速测量,提出了一种基于RGB-D(RGB-Depth)相机的玉米茎粗参数提取方法。以小喇叭口期玉米为观测对象,利用RGB-D相机获取田间玉米的彩色图像和深度图像。首先,根据玉米与背景的颜色差异,对图像进行自动阈值分割,提取图像中感兴趣区域内的信息;利用形态学"开"操作剔除图像中的噪声,得到玉米茎杆的主干。其次,对茎杆主干进行骨架化操作,检测骨架的交叉点和末端点,确定茎杆的待测量部位。然后,对该部位的点云数据进行去噪、聚类、椭圆拟合操作,得到椭圆的长轴和短轴,获得玉米的茎粗。对20株玉米进行测试,结果表明:茎粗长轴的平均测量误差为3.31 mm,标准差为3.01 mm,平均测量相对误差为10.27%,茎粗短轴的平均测量误差为3.33 mm,标准差为2.39 mm,平均测量相对误差为12.71%。该研究可为作物表型参数的快速获取提供参考。     

基于三维重构的哈蜜瓜均瓣雕花算法

为解决哈密瓜雕刻速度慢、花瓣大小不一致等问题，该研究提出了一种基于三维重构的哈蜜瓜均瓣雕花算法。对多角度拍摄得到的哈蜜瓜照片进行滤波处理，提取其图像特征并进行稀疏重建，通过点云坐标得出哈蜜瓜的特征参数；接着在稀疏点的基础上利用CMVS/PMVS算法进行稠密重建；最后调节八叉树算法与泊松表面重建，得到哈密瓜精确三维空间坐标。根据哈密瓜体型特征及设定花瓣数量，将点云三角网格化在深度优先算法的基础上结合粒子群算法，规划雕刻起点、终点及雕刻深度，使每个花瓣体积相同。采用48个哈密瓜，雕刻花瓣数取15~30，雕刻深度为1.5、2.0、2.5 cm。其中切割花瓣数为28这一组精度最低，测得最大与最小花瓣体积分别为3.40与3.25 cm3，最大体积差为0.15 cm3，误差小于5.00%。结果表明，该研究提出的基于三维重构的哈蜜瓜均瓣雕花算法精度高，研究结果可为机器人雕刻哈密瓜提供技术支持。     

基于多尺度几何感知Transformer的植物点云补全网络

对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度.为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer(Multi-Scale Geometry-Aware Point Transformer,MGA-PT)的植物点云补全网络...