基于改进Mask R-CNN模型的植物叶片分割方法

通过图像处理对植物叶片进行分割是研究植物表型性状的基础,但叶片间相互遮挡、叶片边缘特征不明显以及幼叶目标过小会对叶片分割效果造成很大的障碍。针对上述问题,该研究提出了一种基于改进Mask R-CNN模型的植物叶片分割方法,通过引入级联检测模块对模型检测分支进行改进,以提高遮挡叶片检测质量;利用注意力机制和一个2层3×3卷积模块对模型分割分支进行优化,以提高边缘特征表达能力;在模型测试过程中采用多尺度叶片分割策略,利用多个尺度上的最优目标以分割幼叶。测试结果表明,在CVPPP叶片分割挑战数据集中的对称最佳Dice得分Symmetric Best Dice（SBD）为90.3%,相比于利用域随机化数据增强策略并采用Mask R-CNN模型进行叶片实例分割的方法提高了2.3个百分点,叶片分割效果有显著提升。该研究提出的方法可以有效解决植物叶片分割效果不佳的问题,为植物表型研究提供技术支撑。     

基于改进Mask R-CNN的番茄侧枝修剪点识别方法

为解决番茄枝叶修剪机器人无法准确识别番茄侧枝修剪点的问题,提出基于改进Mask R-CNN模型的番茄侧枝修剪点的识别方法。将Mask R-CNN的主干网络ResNet50替换为MobileNetv3-Large来降低模型复杂度和提升运行速度,并对部分特征图添加ECA(Efficient Channel Attention)注意力机制,以提升模型精度;通过改进的Mask R-CNN模型预测番茄侧枝与主枝的分割掩膜和边框位置;针对部分单根枝条被分割成多段掩膜的问题,通过掩膜边界框宽高比区分侧枝和主枝,分析同一枝条相邻掩膜约束条件,然后将符合约束条件的掩膜进行合并连接;根据修剪点在主枝附近的特点确定修剪点所在端,然后确定靠近修剪端端点的中心点作为侧枝的修剪点。试验结果表明,改进的Mask R-CNN模型平均分割图片时间为0.319s,召回率和精确率分别为91.2%和88.6%,掩膜平均合并成功率为86.2%,修剪点识别平均准确率为82.9%。该研究为番茄枝叶修剪机器人的研发提供参考。     

采用改进Mask R-CNN算法定位鲜食葡萄疏花夹持点

为实现鲜食葡萄疏花机械化与自动化,该研究提出了一种鲜食葡萄疏花夹持点定位方法。首先基于ResNeXt骨干网络并融合路径增强,改进Mask R-CNN模型,解决鲜食葡萄花穗、果梗目标较小难以检测的问题;进而针对花穗、果梗生长姿态的复杂性与不确定性,提出一种集合逻辑算法,该算法采用IoU函数剔除重复检测的花穗与果梗,建立花穗、果梗对,并对果梗掩模进行形态学开运算,利用集合关系获取主果梗掩模,确定以主果梗质心附近的中心点为果梗的夹持点。最后,随机选取测试集中的图像进行试验。试验结果表明：果梗夹持点平均定位准确率为83.3%,平均定位时间为0.325 s,夹持点x、y方向定位误差及定位总误差最大值分别为10、12和16像素,能够满足鲜食葡萄疏花的定位精度与速度要求,可为实现鲜食葡萄疏花机械化与自动化提供理论支撑。     

基于改进Cascade Mask R-CNN与协同注意力机制的群猪姿态识别

猪体姿态识别有助于实现猪只健康状况预警、预防猪病爆发,是当前研究热点。针对复杂场景下群猪容易相互遮挡、粘连,姿态识别困难的问题,该研究提出一种实例分割与协同注意力机制相结合的两阶段群猪姿态识别方法。首先,以Cascade Mask R-CNN作为基准网络,结合HrNetV2和FPN模块构建猪体检测与分割模型,解决猪体相互遮挡、粘连等问题,实现复杂环境下群猪图像的高精度检测与分割;在上述提取单只猪基础上,构建了基于协同注意力机制（coordinate attention,CA）的轻量级猪体姿态识别模型（CA?MobileNetV3）,实现猪体姿态的精准快速识别。最后,在自标注数据集上的试验结果表明,在猪体分割与检测环节,该研究所提模型与Mask R-CNN、MS R-CNN模型相比,在AP0.50、AP0.75、AP0.50:0.95和AP0.5:0.95-large 指标上最多提升了1.3、1.5、6.9和8.8个百分点,表现出最优的分割与检测性能。而在猪体姿态识别环节,所提CA?MobileNetV3模型在跪立、站立、躺卧、坐立4种姿态类上的准确率分别为96.5%、99.3%、98.5%和98.7%,其性能优于主流的MobileNetV3、ResNet50、DenseNet121和VGG16模型,由此可知,该研究模型在复杂环境下群猪姿态识别具有良好的准确性和有效性,为实现猪体姿态的精准快速识别提供方法支撑。     

基于Mask R-CNN的番茄植株整枝操作点定位方法

针对工厂化番茄智能化整枝打叶作业需要,研究了基于Mask R-CNN模型的整枝操作点识别定位方法,以期为整枝机器人的精准操作提供依据。鉴于丛生植株中主茎和侧枝茎秆目标随机生长、形态各异,结合植株在不同生长阶段、远近视场尺度和观测视角等条件下的成像特征,构建了温室番茄植株图像样本数据集。采用学习率微调训练方法,对Mask R-CNN预训练模型进行迁移训练,建立了主茎和侧枝像素区域的识别分割模型。在对视场内同株相邻主茎和侧枝目标进行判别基础上,提出基于图像矩特征的茎秆中心线拟合方法。以中心线交点为参考,沿侧枝进行定向偏移,实现对整枝操作点图像坐标的定位。最后,通过测试试验评估该方法对目标识别和定位的效果。试验结果表明,模型对番茄主茎和侧枝目标识别的错误率、精确率和召回率分别为0.12、0.93和0.94,对整枝操作点平均定位偏差与对应主茎像素宽度的比值为0.34,模型对于近景仰视图像中目标的识别和定位效果优于其他视场的图像。该研究可为整枝机器人视觉系统的研发提供技术依据。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高真实复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM（Convolutional Block Attention Module, CBAM）注意力模块的Mask R-CNN交并比分别提升了2.46和1.0个百分点,综合评价指标分别提升了2.57和0.92个百分点,模型参数量分别减小了4.7和5 MB。研究结果可为鱼体点云计算提供参考。     

改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法

基于深度神经网络的果实识别和分割是采摘机器人作业成功的关键步骤,但由于网络参数多、计算量大,导致训练时间长,当模型部署到采摘机器人上则存在运行速度慢,识别精度低等问题。针对这些问题,该研究提出了一种改进Mask R-CNN的温室环境下不同成熟度番茄果实分割方法,采用跨阶段局部网络（Cross Stage Partial Network,CSPNet）与Mask R-CNN网络中的残差网络（Residual Network,ResNet）进行融合,通过跨阶段拆分与级联策略,减少反向传播过程中重复的特征信息,降低网络计算量的同时提高准确率。在番茄果实测试集上进行试验,结果表明以层数为50的跨阶段局部残差网络（Cross Stage Partial ResNet50,CSP- ResNet50）为主干的改进Mask R-CNN模型对绿熟期、半熟期、成熟期番茄果实分割的平均精度均值为95.45%,F1分数为91.2%,单张图像分割时间为0.658 s。该方法相比金字塔场景解析网络（Pyramid Scene Parsing Network,PSPNet）、DeepLab v3+模型和以ResNet50为主干的Mask R-CNN模型平均精度均值分别提高了16.44、14.95和2.29个百分点,相比以ResNet50为主干的Mask R-CNN模型分割时间减少了1.98%。最后将以CSP- ResNet50为主干的改进Mask R-CNN模型部署到采摘机器人上,在大型玻璃温室中开展不同成熟度番茄果实识别试验,该模型识别正确率达到90%。该研究在温室环境下对不同成熟度番茄果实具有较好的识别性能,可为番茄采摘机器人精准作业提供依据。     

基于CSS-Cascade Mask R-CNN的有遮挡多片烟叶部位识别

烟叶的部位信息是进行烟叶分级的重要参考信息,准确识别烟叶部位对实现烟叶智能分级具有重要意义。在实际的烟叶智能分级应用中,为了提高分级效率,需要对多片烟叶等级进行同步识别。受现行上料方式的限制,同步识别的多片烟叶间往往存在局部遮挡的问题,给烟叶的目标检测和部位识别带来挑战。该研究提出一种基于改进Cascade Mask R-CNN,融合通道、非局部和空间注意力机制（channel-nonlocal-space attation）,并引入柔性极大值抑制检测框交并操作（soft non-max-suppression）与斯库拉交并比损失函数（SIoU）的目标检测与识别模型（CSS-Cascade Mask R-CNN）。该模型对Cascade Mask R-CNN进行了三方面的改进：一是在其骨干网络Resent101上同时引入通道、非局部、空间3种注意力机制,使网络更加关注未被遮挡且部位特征明显区域的显著度;二是将Cascade Mask R-CNN中的损失函数SmoothL1Loss替换为SIoU损失函数,将预测框与真实框之间的方向差异引入到模型训练中提高模型检测精度;三是在筛选候选框时将常规的非极大抑制（non-max-suppression）替换为柔性非极大抑制,以避免删除候选框造成信息丢失。试验结果表明,利用提出的模型对有遮挡多片烟叶进行检测和部位识别,检测框平均准确率均值（bbox_mAP50）达到了80.2%,与改进前的Cascade Mask R-CNN模型相比提高了7.5个百分点。提出的模型与多个主流的目标检测模型（YOLO VX、YOLO V3、YOLO V5、Mask R-CNN、Cascade R-CNN）相比,也分别高出7.1、10.2、5.8、9.2、8.4个百分点,尤其是对较难区分的下部烟叶优势明显,因此研究结果可以为有遮挡多片烟叶部位的检测识别提供参考。     

基于弱监督学习的玉米苗期植株图像实例分割方法

基于有监督深度学习的图像分割任务通常利用像素级标签来保证模型的训练和测试精度,但受植株复杂形态影响,保证像素级标签精度的同时,时间成本也显著提高。为降低深度模型训练成本,同时保证模型能够有较高的图像分割精度,该研究提出一种基于边界框掩膜的深度卷积神经网络（Bounding-box Mask Deep Convolutional Neural Network,BM-DCNN）,在有监督深度学习模型中融入伪标签生成模块,利用伪标签代替真值标签进行网络训练。试验结果表明,伪标签与真值标签的平均交并比为81.83%,平均余弦相似度为86.14%,高于Grabcut类方法生成伪标签精度（与真值标签的平均交并比为40.49%,平均余弦相似度为61.84%）;对于玉米苗期图像（顶视图）计算了三种人工标注方式的时间成本,边界框标签为2.5 min/张,涂鸦标签为15.8 min/张,像素级标签为32.4 min/张;利用伪标签样本进行训练后,BM-DCNN模型的两种主干网络当IoU值大于0.7时（AP70）,BM-DCNN模型对应的实例分割精度已经高于有监督模型。BM-DCNN模型的两种主干网络对应的平均准确率分别为67.57%和75.37%,接近相同条件下的有监督实例分割结果（分别为67.95%和78.52%）,最高可达到有监督分割结果的99.44%。试验证明BM-DCNN模型可以使用低成本的弱标签实现高精度的玉米苗期植株图像实例分割,为基于图像的玉米出苗率统计以及苗期冠层覆盖度计算提供低成本解决方案及技术支持。。     

基于自生成标签的玉米苗期图像实例分割

在植物图像实例分割任务中,由于植物种类与形态的多样性,采用全监督学习时人们很难获得足量、有效且低成本的训练样本。为解决这一问题,该研究提出一种基于自生成标签的玉米苗期图像实例分割网络（automatic labelling based instance segmentation network,AutoLNet）,在弱监督实例分割模型的基础上加入标签自生成模块,利用颜色空间转换、轮廓跟踪和最小外接矩形在玉米苗期图像（俯视图）中生成目标边界框（弱标签）,利用弱标签代替人工标签参与网络训练,在无人工标签条件下实现玉米苗期图像实例分割。试验结果表明,自生成标签与人工标签的距离交并比和余弦相似度分别达到95.23%和94.10%,标签质量可以满足弱监督训练要求;AutoLNet输出预测框和掩膜的平均精度分别达到68.69%和35.07%,与人工标签质量相比,预测框与掩膜的平均精度分别提高了10.83和3.42个百分点,与弱监督模型（DiscoBox和Box2Mask）相比,预测框平均精度分别提高了11.28和8.79个百分点,掩膜平均精度分别提高了12.75和10.72个百分点;与全监督模型（CondInst和Mask R-CNN）相比,AutoLNet的预测框平均精度和掩膜平均精度可以达到CondInst模型的94.32%和83.14%,比Mask R-CNN模型的预测框和掩膜平均精度分别高7.54和3.28个百分点。AutoLNet可以利用标签自生成模块自动获得图像中玉米植株标签,在无人工标签的前提下实现玉米苗期图像的实例分割,可为大田环境下的玉米苗期图像实例分割任务提供解决方案和技术支持。     

融合动态机制的改进型Faster R-CNN识别田间棉花顶芽

针对田间密植环境棉花精准打顶时,棉花顶芽因其小体积特性所带来识别困难问题,该研究提出一种改进型快速区域卷积神经网络（Faster Region Convolutional Neural Networks,Faster R-CNN）目标检测算法实现大田环境棉花顶芽识别。以Faster R-CNN为基础框架,使用 RegNetX-6.4GF作为主干网络,以提高图像特征获取性能。将特征金字塔网络（Feature Pyramid Network,FPN）和导向锚框定位（Guided Anchoring,GA）机制相融合,实现锚框（Anchor）动态自适应生成。通过融合动态区域卷积神经网络（Dynamic Region Convolutional Neural Networks,Dynamic R-CNN）,实现训练阶段检测模型自适应候选区域（Proposal）分布的动态变化。最后在目标候选区域（Region of Interest,ROI）中引入目标候选区域提取器（Generic ROI Extractor,GROIE）提高图像特征融合能力。采集自然环境下7种不同棉花总计4 819张图片,建立微软常见物体图像识别库2017（Microsoft Common Objects in Context 2017,MS COCO 2017）格式的棉花顶芽图片数据集进行试验。结果表明,该研究提出方法的平均准确率均值（Mean Average Precision,MAP）为98.1%,模型的处理帧速（Frames Per Second,FPS）为10.3帧/s。其MAP在交并比（Intersection Over Union,IOU）为0.5时较Faster R-CNN、RetinaNet、Cascade R-CNN和RepPoints网络分别提高7.3%、78.9%、10.1%和8.3%。该研究算法在田间对于棉花顶芽识别具有较高的鲁棒性和精确度,为棉花精准打顶作业奠定基础。