基于改进YOLOv7的疏果期苹果目标检测方法

疏果期苹果目标检测是实现疏果机械化、自动化需要解决的关键问题。为实现疏果期苹果目标准确检测,该研究以YOLOv7为基础网络,融合窗口多头自注意力机制（Swin Transformer Block）,设计了一种适用于近景色小目标检测的深度学习网络。首先在YOLOv7模型的小目标检测层中添加Swin Transformer Block,保留更多小尺度目标特征信息,将预测框与真实框方向之间的差异考虑到模型训练中,提高模型检测精度,将YOLOv7中的损失函数CIoU替换为SIoU。最后利用Grad-CAM方法产生目标检测热力图,进行有效特征可视化,理解模型关注区域。经测试,该文模型的检测均值平均精度为95.2%,检测准确率为92.7%,召回率为91.0%,模型所占内存为81 MB,与原始模型相比,均值平均精度、准确率、召回率分别提高了2.3、0.9、1.3个百分点。该文模型对疏果期苹果具有更好的检测效果和鲁棒性,可为苹果幼果生长监测、机械疏果等研究提供技术支持。     

基于改进RetinaNet的果园复杂环境下苹果检测

为了快速准确地检测重叠、遮挡等果园复杂环境下的苹果果实目标,该研究提出一种基于改进RetinaNet的苹果检测网络。首先,该网络在传统RetinaNet的骨干网络ResNet50中嵌入Res2Net模块,提高网络对苹果基础特征的提取能力;其次,采用加权双向特征金字塔网络（Bi-directional Feature Pyramid Network,BiFPN）对不同尺度的特征进行加权融合,提升对小目标和遮挡目标的召回率;最后,采用基于焦损失（Focal Loss）和高效交并比损失（Efficient Intersection over Union Loss,EIoU Loss）的联合损失函数对网络进行优化,提高网络的检测准确率。试验结果表明,改进的网络在测试集上对叶片遮挡、枝干/电线遮挡、果实遮挡和无遮挡的苹果检测精度分别为94.02%、86.74%、89.42%和94.84%,平均精度均值（meanAveragePrecision,mAP）达到91.26%,较传统RetinaNet提升了5.02个百分点,检测一张苹果图像耗时42.72 ms。与Faster-RCNN和YOLOv4等主...     

基于改进YOLOv5s的自然环境下猕猴桃花朵检测方法

为实现对猕猴桃花朵的快速准确检测,该研究提出了一种基于改进YOLOv5s的猕猴桃花朵检测模型YOLOv5s＿S＿N＿CB＿CA,并通过对比试验进行了精度验证。在YOLOv5s基础上引入C3HB模块和交叉注意力(criss-cross atte ntion,CCA)模块增强特征提取能力,结合样本切分和加入负样本处理方法进一步提升模型精度。改进模型的检测精确率为85.21%,召回率为90%,模型大小为14.6 MB,交并比(intersection over union,IoU)为0.5下的均值平均精度(mAP_0.5)为92.45%,比仅进行样本缩放处理的原始YOLOv5s提高了31.91个百分点,检测速度为35.47帧/s,比原始YOLOv5s提高了34.15%。使用改进模型对自然环境下不同天气、晴天不同时段光照强度下的猕猴桃花朵进行检测,结果表明模型检测晴天、阴天下猕猴桃花朵的mAP_0.5分别为91.96%、91.15%,比原始YOLOv5s分别高出2.55、2.25个百分点;检测晴天9:00-11:00、15:00-17:00光强下猕猴桃花...     

基于改进YOLOv5s的苹果叶片小目标病害轻量化检测方法

为解决自然环境中苹果叶片病害检测场景复杂、小目标病害检测难度高以及模型参数大无法在移动端和嵌入式设备部署等问题,提出一种基于YOLOv5s的苹果叶片小目标病害轻量化检测方法。该方法将YOLOv5s的骨干网络更改为ShuffleNet v2轻量化网络,引入CBAM（convolutional block attention module）注意力模块使模型关注苹果叶片小目标病害,添加改进RFB-s（receptive field block-s）支路获取多尺度特征,提高苹果叶片病害检测精度,并更改边界框回归损失函数为SIoU（scylla-intersection over union）,增强病斑定位能力。试验表明改进后的YOLOv5s模型在IoU大于0.5时的平均精度均值（mean average precision,mAP_0.5）和每秒传输帧数（frame per second,FPS）分别达到90.6%和175帧/s,对小目标的平均检测准确率为38.2%,与基准模型YOLOv5s相比,其mAP_0.5提升了0.8个百分点,参数量减少了6.17 MB,计算量减少了13.8 G,对小目标的检测准确率提高了3个百分点。改进后的YOLOv5s目标检测模型与Faster R-CNN、SSD、YOLOv5m、YOLOv7、YOLOv8和YOLOv5s目标检测模型相比,具有最小的参数量和计算量,对小目标病害叶斑病和锈病的检测准确率分别提高了1.4、4.1、0.5、5.7、3.5、3.9和1.5、4.3、1.2、2.1、4、2.6个百分点,该方法为真实自然环境下苹果叶片病害尤其是小目标病害的轻量化检测提供参考依据。     

融合轻量化网络与注意力机制的果园环境下苹果检测方法

为提高复杂果园环境下苹果检测的综合性能,降低检测模型大小,通过对单阶段检测网络YOLOX-Tiny的拓扑结构进行了优化与改进,提出了一种适用于复杂果园环境下轻量化苹果检测模型（Lightweight Apple Detection YOLOX-Tiny Network,Lad-YXNet）。该模型引入高效通道注意力（Efficient Channel Attention,ECA）和混洗注意力（Shuffle Attention,SA）两种轻量化视觉注意力模块,构建了混洗注意力与双卷积层（Shuffle Attention and Double Convolution Layer,SDCLayer）模块,提高了检测模型对背景与果实特征的提取能力,并通过测试确定Swish与带泄露修正线性单元（Leaky Rectified Linear Unit,Leaky-ReLU）作为主干与特征融合网络的激活函数。通过消融试验探究了Mosaic增强方法对模型训练的有效性,结果表明图像长宽随机扭曲对提高模型综合检测性能贡献较高,但图像随机色域变换由于改变训练集中苹果的颜色,使模型检测综合性能下降。为提高模型检测苹果的可解释性,采用特征可视化技术提取了Lad-YXNet模型的主干、特征融合网络和检测网络的主要特征图,探究了Lad-YXNet模型在复杂自然环境下检测苹果的过程。Lad-YXNet经过训练在测试集下的平均精度为94.88%,分别比SSD、YOLOV4-Tiny、YOLOV5-Lite和YOLOX-Tiny模型提高了3.10个百分点、2.02个百分点、2.00个百分点和0.51个百分点。Lad-YXNet检测一幅图像的时间为10.06 ms,模型大小为16.6 MB,分别比YOLOX-Tiny减少了20.03%与18.23%。该研究为苹果收获机器人在复杂果园环境下准确、快速地检测苹果提供了理论基础。     

基于改进YOLOv3的果园复杂环境下苹果果实识别

为使采摘机器人能够全天候在不同光照、重叠遮挡、大视场等果园复杂环境下对不同成熟度的果实进行快速、准确识别,该研究提出了一种基于改进YOLOv3的果实识别方法。首先,将DarkNet53网络中的残差模块与CSPNet（Cross Stage Paritial Network）结合,在保持检测精度的同时降低网络的计算量;其次,在原始YOLOv3模型的检测网络中加入SPP（Spatial Pyramid Pooling）模块,将果实的全局和局部特征进行融合,提高对极小果实目标的召回率;同时,采用Soft NMS（Soft Non-Maximum Suppression）算法代替传统NMS（Non-Maximum Suppression）算法,增强对重叠遮挡果实的识别能力;最后,采用基于Focal Loss和CIoU Loss的联合损失函数对模型进行优化,提高识别精度。以苹果为例进行的试验结果表明：经过数据集训练之后的改进模型,在测试集下的MAP（Mean Average Precision）值达到96.3%,较原模型提高了3.8个百分点;F1值达到91.8%,较原模型提高了3.8个百分点;在GPU下的平均检测速度达到27.8帧/s,较原模型提高了5.6帧/s。与Faster RCNN、RetinaNet等几种目前先进的检测方法进行比较并在不同数目、不同光照情况下的对比试验结果表明,该方法具有优异的检测精度及良好的鲁棒性和实时性,对解决复杂环境下果实的精准识别问题具有重要参考价值。     

改进Faster-RCNN自然环境下识别刺梨果实

为了实现自然环境下刺梨果实的快速准确识别,根据刺梨果实的特点,该文提出了一种基于改进的Faster RCNN刺梨果实识别方法。该文卷积神经网络采用双线性插值方法,选用FasterRCNN的交替优化训练方式(alternating optimization),将卷积神经网络中的感兴趣区域池化(ROI pooling)改进为感兴趣区域校准(ROI align)的区域特征聚集方式,使得检测结果中的目标矩形框更加精确。通过比较Faster RCNN框架下的VGG16、VGG_CNN_M1024以及ZF 3种网络模型训练的精度-召回率,最终选择VGG16网络模型,该网络模型对11类刺梨果实的识别精度分别为94.00%、90.85%、83.74%、98.55%、96.42%、98.43%、89.18%、90.61%、100.00%、88.47%和90.91%,平均识别精度为92.01%。通过对300幅自然环境下随机拍摄的未参与识别模型训练的刺梨果实图像进行检测,并选择以召回率、准确率以及F1值作为识别模型性能评价的3个指标。检测结果表明:改进算法训练出来的识别模型对刺梨果实的11种形态的召回率最低为81.40%,最高达96.93%;准确率最低为85.63%,最高达95.53%;F1值最低为87.50%,最高达94.99%。检测的平均速度能够达到0.2 s/幅。该文算法对自然条件下刺梨果实的识别具有较高的正确率和实时性。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

基于改进YOLOv5s的自然环境下茶叶病害识别方法

针对现有目标检测模型对自然环境下茶叶病害识别易受复杂背景干扰、早期病斑难以检测等问题,该研究提出了YOLOv5-CBM茶叶病害识别模型。YOLOv5-CBM以YOLOv5s模型为基础,在主干特征提取阶段,将一个带有Transformer的C3模块和一个CA（coordinate attention）注意力机制融入特征提取网络中,实现对病害特征的提取。其次,利用加权双向特征金字塔（BiFPN）作为网络的Neck,通过自适应调节每个尺度特征的权重,使网络在获得不同尺寸特征时更好地将其融合,提高识别的准确率。最后,在检测端新增一个小目标检测头,解决了茶叶病害初期病斑较小容易出现漏检的问题。在包含有3种常见茶叶病害的数据集上进行试验,结果表明,YOLOv5-CBM对自然环境下的初期病斑检测效果有明显提高,与原始YOLOv5s模型相比,对早期茶饼病和早期茶轮斑病识别的平均精度分别提高了1.9和0.9个百分点,对不同病害检测的平均精度均值达到了97.3%,检测速度为8ms/幅,均优于其他目标检测算法。该模型具有较高的识别准确率与较强的鲁棒性,可为茶叶病害的智能诊断提供参考。     

基于改进YOLO-V4网络的浅海生物检测模型

海洋生物智能检测是海洋牧场战略的一部分,而利用水下机器人在复杂的海洋环境中快速、准确地检测海洋生物是关键问题.由于海底环境复杂、亮度分布不均匀、海洋生物与其生存环境的区分性差、生物被遮蔽或半隐蔽等原因,准确识别海洋生物是一个巨大的挑战.随着卷积神经网络的发展,基于深度学习的目标检测算法成为主流,出现了如Efficien...     

基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

柑橘识别是实现柑橘园果实自动采摘、果树精细化管理以及实现果园产量预测的关键技术环节。为实现自然环境下柑橘果实的快速精准识别,该文提出一种基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法。在采摘机器人领域,果实识别回归框的准确率直接决定了机器手的采摘成功率,该方法通过引入GIoU边框回归损失函数来提高果实识别回归框准确率;为便于迁移到移动终端,提出一种YOLOv3-LITE轻量级网络模型,使用MobileNet-v2作为模型的骨干网络;使用混合训练与迁移学习结合的预训练方式来提高模型的泛化能力。通过与Faster-RCNN以及SSD模型对比在不同遮挡程度的测试样本下模型的识别效果,用F1值与AP值评估各模型的差异,试验结果表明：该文提出的模型识别效果提升显著,对于果实轻度遮挡的数据集,该文提出的柑橘识别模型的F1值和AP值分别为95.27%和92.75%,Average IoU为90.65%;在全部测试集上,F1值和AP值分别为93.69%和91.13%,Average IoU为87.32%,在GPU上对柑橘目标检测速度可达246帧/s,对单张416×416的图片推断速度为16.9ms,在CPU上检测速度可达22帧/s,推断速度为80.9 ms,模型占用内存为28 MB。因此,该文提出的柑橘识别方法具有模型占用内存低、识别准确率高及识别速度快等优点,可为柑橘采摘机器人以及柑橘产业产量预测提出新的解决方案,为柑橘产业智能化提供新的思路。     

基于改进YOLOv5s的自然场景下生姜叶片病虫害识别

为提高自然环境下生姜叶片病虫害的识别精确率,提出一种基于改进YOLOv5s的生姜叶片病虫害识别模型。建立了田间不同自然环境条件下的生姜叶片病虫害数据集,为保证模型在田间移动设备上流畅运行,实现网络模型的轻量化,在YOLOv5s中引入GhostNet网络中的Ghost模块和Ghost BottleNeck结构。同时,为避免生姜叶片病虫害图像小目标特征丢失的情况,增强图像特征提取,加入CA注意力机制模块,提升生姜叶片病虫害的识别准确率和定位精确度。改进后的模型参数量、计算量和权重文件大小分别为YOLOv5s模型的52.0%、50.6%和55.2%,对生姜叶片病虫害识别平均精度均值达到了83.8%。与Faster-RCNN、SSD、YOLOv4、YOLOv5s、Tea-YOLOv5s等算法相比,平均精度均值分别提高37.6、39.1、22.5、1.5、0.7个百分点,将改进后的目标检测模型部署在Jetson Orin NX开发板上,并使用TensorRT、Int8量化和CUDA等方法对检测模型加速,加速后的模型检测速度为74.3帧/s,满足实时检测的要求,测试结果显示,改进后的模型减少了漏检、误检的情况,并且对目标定位更加精准,适用于自然环境下生姜叶片病虫害的精准识别,为后续生姜机械自动化施药作业提供技术理论支持。     

基于改进YOLOv7的苹果生长状态及姿态识别

针对目前苹果在复杂环境下难以进行生长状态分类识别、姿态信息同步获取等问题,该研究提出了一种基于改进YOLOv7的苹果生长状态分类和果实姿态融合识别方法。首先改进多尺度特征融合网络,在骨干网络中增加160×160的特征尺度层,用于增强模型对微小局部特征的识别敏感度;其次引入注意力机制CBAM(convolutional block attention module),改善网络对输入图片的感兴趣目标区域的关注度;最后采用Soft-NMS算法,能够有效避免高密度重叠目标被一次抑制从而发生漏检现象。此外,结合UNet分割网络和最小外接圆及矩形特征获取未遮挡苹果姿态。试验结果表明,改进YOLOv7的识别精确率、召回率和平均识别精度分别为86.9%、80.5%和87.1%,相比原始YOLOv7模型分别提高了4.2、2.2和3.7个百分点,另外苹果姿态检测方法的准确率为94%。该文模型能够实现苹果生长状态分类及果实姿态识别,可为末端执行器提供了抓取方向,以期为苹果无损高效的采摘奠定基础。     

采用双重注意力特征金字塔网络检测群养生猪

为解决复杂环境下,猪只粘连和猪栏遮挡等因素给生猪个体多目标实例检测带来的困难,该研究以群养猪圈场景下8栏(日龄20～105 d)共计45头生猪为研究对象,以视频为数据源,采用平视视角、镜头位置不固定的数据采集方式,共获得标注图像3834张,并将其划分为训练集2490张、验证集480张、测试集864张.引入一种融合通道注...     

基于改进CornerNet的水稻灯诱飞虱自动检测方法构建与验证

针对水稻灯诱昆虫图像中稻飞虱自动检测存在严重误检和漏检问题,提出一种基于改进CornerNet的水稻灯诱飞虱自动检测方法.由于稻飞虱个体在灯诱昆虫图像中所占区域比例极小,利用重叠滑动窗方法提高飞虱在图像检测区域中所占比例,提高2种稻飞虱(白背飞虱和褐飞虱)的检测率和避免滑动窗边界造成的目标漏检.针对CornerNet存...     

基于改进YOLOv8n的复杂环境下柑橘识别

针对复杂环境下柑橘果实大量重叠、枝叶遮挡且现有模型参数量大、计算复杂度高等问题,提出了一种基于改进YOLOv8n的柑橘识别模型YOLOv8-MEIN。首先,该研究设计了ME卷积模块并使用它改进YOLOv8n的C2f模块。其次,为了弥补CIoU损失函数在检测任务中泛化性弱和收敛速度慢的问题,使用Inner-CIoU损失函数加速边界框回归,提高模型检测性能。最后,在自建数据集上进行模型试验对比,试验结果表明,YOLOv8-MEIN模型交并比阈值为0.5的平均精度均值mAP_0.5值为96.9%,召回率为91.7%,交并比阈值为0.5~0.95的平均精度均值mAP_0.5～0.95值为85.8%,模型大小为5.8MB,参数量为2.87M。与原模型YOLOv8n相比,mAP_0.5值、召回率、mAP_0.5～0.95值分别提高了0.4、1.0、0.6个百分点,模型大小和参数量相比于原模型分别降低了3.3%和4.3%,为柑橘的自动化采摘提供技术参考。