移动机器人级联超像素行人目标分割算法

针对移动机器人视觉应用中,复杂室内外环境下行人目标提取因背景干扰而导致主体轮廓失真的问题,提出一种基于超像素的级联式行人目标分割算法。利用超像素对目标边缘轮廓的吸附特性,第一级超像素在获取全局超像素区块的基础上,结合行人显著区域检测,计算第二级超像素区块的平均颜色距离和中心点空间位置距离相关度,从而获取行人目标轮廓的分割结果。仿真结果表明,该算法精确度与召回率统计平均为0.98,高于当下流行的其他显著目标分割算法,对行人目标检测分割性能具有良好效果,为行人目标跟踪等应用提供必要的预处理基础。     

基于改进Mask R-CNN模型的电力场景目标检测方法

为了解决电力施工现场中安全帽佩戴情况以及危险区域行人入侵检测问题,提出一种基于改进Mask R-CNN模型的目标检测方法。首先依据迁移学习策略对Mask R-CNN主干网络进行参数初始化,以提取图像基本特征;然后引入特征金字塔结构进行自下而上的特征图提取,完成多尺度特征融合;接着,通过多尺度变换方法对区域推荐网络进行调整,获取锚点进行回归计算完成检测实验;最终对结果进行分析评价,多目标平均准确率达到了95.22%。将改进后的Mask R-CNN模型用于监控视频分析,针对监控视频像素过低问题,加入拉普拉斯算法锐化边缘,精准率提高到90.9%,验证了拉普拉斯算法对低质量监控视频检测的有效性。     

基于GrabCut的免交互图像分割算法

针对GrabCut算法需要用户交互进行初始矩形框的设定而不能做到自动分割,且在前景图像较为复杂时分割效果不佳等问题,提出一种基于GrabCut的免交互图像分割算法。首先,训练Faster R-CNN网络,将待分割图像通过Faster R-CNN进行目标检测来得到前景目标所在区域矩形框;然后在k-means算法初始化高斯混合模型时加入位置信息,进行聚类以得到优化的初始高斯混合模型参数;最后对GrabCut算法分割结果中的边缘像素进行平滑后处理。试验结果表明,该算法无需用户交互即可完成分割且相比原始GrabCut算法具有更好的视觉效果和更高的分割正确率。     

融合注视点预测和流形学习的显著性目标分割

针对现有显著性分割算法在图像背景复杂时先验知识不够健壮的问题,提出一种融合注视点预测和流形学习的显著性目标分割算法,能有效地对复杂场景中的显著性目标进行分割.该算法通过引入注视点先验知识和提取超像素分割图,预测并粗分割场景中的显著性目标;为了进一步提高显著性分割的性能,利用色彩模型(CIE-Lab)空间的颜色对比度表示超像素的特征;通过基于流形学习的方法对粗分割区域进行显著性优化,提高了分割精度.实验结果表明:在处理复杂图像集过程中,相比其他分割算法,该算法性能提高了21.8%,并且在不同环境下的显著性目标分割的鲁棒性更好.     

融合Swin Transformer的虫害图像实例分割优化方法研究

【目的】为了实现对虫害的精准监测，提出了一种融合Swin Transformer的图像实例分割优化方法，以期有效解决复杂真实场景下多幼虫个体图像识别分割困难的问题。【方法】选用Swin Transformer模型，改进Mask R-CNN实例分割模型的主干网部分，对黄野螟幼虫虫害图像进行识别分割。针对不同结构参数的Swin Transformer模型与ResNet模型，调整各层的输入输出维度，将其分别设置为Mask R-CNN的主干网进行对比实验，从定量与定性两个角度分析不同主干网的Mask R-CNN模型对黄野螟幼虫的识别分割精度与效果，确定最佳模型结构。【结果】(1)该方法在虫害识别框选方面的测度(F1)分数可达89.7%,平均精度(A_P)可达88.0%;在虫害识别分割方面的F1分数可达84.3%,A_P可达82.2%。相较于Mask R-CNN,在目标框选与目标分割方面分别提升8.75%与8.40%。(2)对于小目标虫害识别分割任务，该方法在虫害识别框选方面的F1分数可达88.4%,A_P可达86.3%;在虫害识别分割...     

基于Mask R-CNN的物体识别和定位

为了让机器人能识别物体类别、探测物体形状、判断物体距离,提出一种基于Mask R-CNN模型的双目视觉的物体识别和定位方法。该方法利用Mask R-CNN处理双目图像,对每张图像进行物体识别和形状分割,然后利用神经网络特征对双目图像中的相同目标进行匹配。以物体形状为依据,使用最近点搜索算法估计视差并计算距离。实验结果表明,该方法能够以准实时的速度进行物体的识别和定位,与传统的依赖计算全局视差图的方法相比,在速度和精度上都有提高。     

改进SLIC的紫色土彩色图像分割

【目的】从野外采集的紫色土机器视觉彩色图像往往具有复杂背景,需要研究从中分割提取紫色土区域图像,为紫色土视觉图像识别打下基础。【方法】首先,引入闵可夫斯基距离重新定义 SLIC 算法的颜色空间距离,实现 SLIC 算法改进,利用改进 SLIC算法实现对紫色土彩色图像的超像素初分割;然后,重构基于a 分量的度量anew拉伸紫色土与背景差异,利用重构anew定义超像素之间的相似度,并根据类间方差最大准则建立优化模型,优化超像素之间相似度的合并阈值,根据阈值从初分割图像中心超像素开始由内而外合并紫色土超像素;最后,提出填充算法来填充紫色土区域内部空洞,获得最终分割提取的紫色土区域图像。【结果】仿真实验图像结果显示:提出的算法从具有复杂背景的野外采集的紫色土机器视觉彩色图像中,分割提取紫色土区域图像是有效的;对有不同阴影覆盖的视觉图像样本的分割提取也具有有效性;仿真实验定量分析的数据结果显示:提出的算法相对于用来对比的阈值分割算法、聚类分割算法、已有的改进 SLIC算法在杰卡德系数评价指标上有一定程度的提高。【结论】提出的算法对从紫色土机器视觉彩色图像中完整分割提取紫色土区域图像,能实现自适应分割,算法是有效的。     

基于Mask R-CNN的防波堤复杂护面块体检测和分割方法

针对斜坡式防波堤护面层块体个数统计效率和精确率低的问题,提出了基于Mask R-CNN深度学习网络的斜坡式防波堤扭王字块体的识别和分割方法。该方法利用Mask R-CNN深度学习网络学习实验室采集图像的特征信息,通过调整交并比(IOU)阈值得到评价指标最好的模型,并将该模型应用于现场防波堤图像护面块体的识别和分割。测试结果表明,IOU取0.5时,目标分割的平均精确率为91.83%,平均召回率为92.94%;将训练得到的网络用于识别无人机航拍现场的防波堤图像,扭王字块识别率可达90.7%,且拍摄角度和高度对识别精度影响不大。Mask R-CNN深度学习网络可实现密集、复杂护面块体的准确识别,具有良好的移植性和通用性。     

利用视觉显著性的前景目标分割

针对图像中的前景目标分割问题,提出一种视觉显著性引导的前景目标分割算法.对原始图像进行预处理后分解为互不重叠的超像素区域.将这些区域构成一个无向图,相邻两个区域间存在边,通过计算相邻区域间的特征差异得到边的权值.提取图像边缘的超像素区域作为背景区域,利用无向图计算各超像素区域相对于背景区域的视觉显著性,得到初始显著图.对初始显著图进行改进和优化,根据视觉显著性计算结果采用自适应阈值进行前景目标分割.在公开的图像数据集MASR-1000、ECSSD、Pascal-S和SOD上进行实验验证,并和目前流行的算法进行对比.结果表明,本研究算法在查准率、召回率、平均绝对误差及F-Measure等方面优于目前流行的几种算法,用于图像和视频的前景目标检测与分割是正确有效的.     

基于改进Mask R-CNN的露天矿边坡裂隙智能检测算法

为了预防因露天矿边坡表面恶化而产生节理、裂隙或断裂等破坏边坡完整性所引发的安全事故,同时解决传统图像处理算法以及经典的深度学习模型直接应用于露天矿边坡裂隙检测效果不甚理想的问题,提出了一种基于改进的Mask R-CNN的露天矿边坡裂隙智能检测算法,运用了Mask R-CNN在目标检测、语义分割以及目标定位方面的集成性特点,改进了其在掩膜分支的边缘不清晰以及误检等缺点,构建了一种针对露天矿边坡裂隙图像的检测分割框架。该方法在掩膜分割分支引入了空洞卷积神经网络以及分类分割迭代上采样操作,能够解决边坡裂隙分割边缘粗糙的问题,实验结果表明,与传统的裂隙分割算法相比,该算法具有更高的识别精度以及更好的分割效果。     

基于改进Mask R-CNN的高密度砂岩颗粒的分割识别

针对高密度颗粒密度大,数量多,形态不一,且颜色相近的情况,通过传统方法对砂岩颗粒分割难度存在检测不准和漏检的不足。想要在少量样本中获取更好的效果,变得更加困难。基于上述问题本文提出一种基于改进Mask R-CNN的DGC-Mask R-CNN检测模型,针对少量样本、高密度砂岩颗粒的分割与识别。研究中首先收集了128张超高分辨率的图片,每张图片有近200个砂岩颗粒实例,共26200个实例对象。为了使模型拥有更好的泛化能力,防止少量样本下的过拟合,使用Albu进行图像增强。用自监督预训练模型Barlow Twins来对砂岩颗粒的特征进行初步提取。在DGC-Mask R-CNN中,构建ResNet50模型作为骨干特征提取网络,在ResNet50的BottleNeck的C3,C4,C5特征卷积层中改进传统卷积方式,使用可变形卷积神经网络DCN,并添加GCB注意力机制。在上采样器的多个级联上采样模块中,结合改进的上采样算法CARAFE。实验结果表明,改进后的DGC-Mask R-CNN,使得检测与分割识别的平均精度 达到88.9%和88.8%,与传统的Mask R-CNN、Cascade-Mask R-CNN、Mask Scoring R-CNN、HybridTaskCascade相比检测精度更高。在均值平均精度 方面,与其它模型相比提升较为明显。将模型分割后得到的结果,进行砂岩颗粒的统计以及长短轴的计算,可实现对该部分砂岩颗粒的溯源,计算地壳运动导致的砂岩迁移的距离,进而评估地下油藏。     

多目标显著性区域提取算法

结合对象估计和超像素分割,提出面向多目标的显著性区域提取算法.首先,应用对象估计对图像中的多目标作初步检测,得到若干个显著性区域的初步结果;然后,再将这些显著性区域与超像素分割的结果作图像拼接,完善这些显著性区域;最后,将图像拼接的结果二值化,作为多目标显著性区域提取的最终结果.结果表明:所提算法可实现面向多目标的显著性区域提取.与3个经典算法的比较结果表明:所提算法在面向多目标显著性区域提取时更优.     

3D Object Detection Incorporating Instance Segmentation and Image Restoration

Nowadays, 3 D object detection, which uses the color and depth information to find object localization in the 3 D world and estimate their physical size and pose, is one of the most important 3 D perception tasks in the field of computer vision. In order to solve the problem of mixed segmentation results when multiple instances appear in one frustum in the F-PointNet method and in the occlusion that leads to the loss of depth information, a 3 D object detection approach based on instance segmentation and image restoration is proposed in this paper. Firstly, instance segmentation with Mask R-CNN on an RGB image is used to avoid mixed segmentation results. Secondly, for the detected occluded objects, we remove the occluding object first in the depth map and then restore the empty pixel region by utilizing the Criminisi Algorithm to recover the missing depth information of the object. The experimental results show that the proposed method improves the average precision score compared with the F-PointNet method.     

基于Mask R-CNN的多目标跟踪算法

针对目前多目标跟踪算法在面对目标频繁遮挡时跟踪效果较差的问题, 提出采用Mask R-CNN作为检测器, 根据检测结果利用Kalman滤波器预测下帧图像中跟踪目标的位置, 用改进匈牙利算法进行数据关联, 并利用轨迹修正方案应对轨迹中断问题. 将该算法在MOT16数据集的各测试集上进行实验, 实验结果表明, 该算法目标跟踪准确率为55.1%, 且针对目标被遮挡问题效果较好.     

基于双目视觉的部分遮挡行人检测算法

针对行人被障碍物部分遮挡导致的检测准确率降低问题,本文提出了基于多特征融合的树形路径半全局立体匹配的部分遮挡行人检测算法。本方法使用SLIC算法进行超像素分割,提升行人的轮廓信息,并使用多特征融合的树形路径半全局立体匹配算法生成深度图;对行人信息和背景信息及障碍物信息使用自适应分割算法进行分离,获取感兴趣区域;将感兴趣区域放置在行人特征明显且稳定的头肩部,进行感兴趣区域的约束;使用降维HOG进行特征提取并生成样本集,训练SVM分类器,最终实现部分遮挡的行人检测。实验表明,本文算法与其它行人检测算法相比,在行人部分遮挡场景下,有着更高的行人检测准确率,证明本文算法的有效性。     

基于帧差和Otsu的红外行人分割算法

针对红外图像中行人与环境对比度较低,直接进行分割易产生误分割问题,提出一种基于帧差和Otsu的红外行人分割算法.首先选取红外视频序列中时间间隔较短的2帧图像求其帧差图像,对帧差图像采用Otsu分割得到运动目标的部分区域;然后对基准帧也采用Otsu方法分割,并将帧差图像分割结果与基准帧分割结果相乘,得到目标区域的种子像素;最后在基准帧分割图像上,通过连通性判断得到最终的行人分割区域.实验结果表明,该算法很好地克服了环境带来的干扰,鲁棒性强,能有效实现红外行人目标的分割.