改进Mask R-CNN的甲状腺结节超声图像分割方法

甲状腺结节超声图像对比度低,斑点噪声严重,且不同病人的甲状腺结节形态差异较大,这给医生准确分割结节带来极大困难。为了精确地从超声图像中分割出甲状腺结节,对原掩膜区域卷积神经网络（mask regionconvolutional neural network,Mask R-CNN）的主干网络进行改进。在原主干网络的残差网络层中加入注意力机制模块来提高模型收敛性,并且在特征金字塔网络中增添一条由下向上的支路,将该支路输出特征图进行融合后,输入至区域推荐网络和感兴趣区域池化层,从而能够在融合多尺度特征的同时平衡特征图信息差异。经过对600幅甲状腺结节超声图像进行测试,改进后Mask R-CNN图像分割的平均Dice系数为0.914 8,平均精确度为0.932 2,平均召回率为0.903 4,平均F1分数为0.917 6。改进算法分割的Dice系数比原Mask R-CNN提升了0.080 6,改进算法可以应用于实际临床医学中自动分割甲状腺结节超声图像。     

Mask R-CNN算法的改进策略研究

Mask R-CNN作为一种优秀的实例分割算法,不仅能够对图像或视频中的每个感兴趣目标进行分类和定位,还能够对每个不同的目标进行分割。该算法在遥感图像智能解译,自动驾驶,智能医疗等计算机视觉领域具有极高的应用价值。因此如何对Mask R-CNN算法进行改进,提高实例分割的准确性,对计算机视觉领域的发展具有重要意义。文章对Mask R-CNN算法进行深入的分析和研究,提出了可用于Mask R-CNN算法的几个改进策略。通过实验验证,本文提出的改进策略对于提高Mask R-CNN算法的准确性具有一定的可行性。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题，基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN，引入方向信息对染色体图像进行实例分割。首先，新增有向包围框回归分支，以预测紧实包围框并获取方向信息；然后，提出新的交并比（IoU）度量——角度加权交并比（AwIoU），从而结合方向信息与边的关系以改进冗余包围框的判据；最后，实现有向卷积通路结构，通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明，相较于基准模型Mask R-CNN，Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点，IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示，Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果，有助于实现染色体图像自动分割。     

结合通道空间加权特征金字塔网络的白细胞检测与分割

白细胞的准确检测和精确分割是一项具有挑战性的医学图像处理任务.在显微镜下获取的白细胞图像会受到染色杂质的影响,且白细胞种类繁多、形态各异、类间差别小,还存在相互重叠相互粘连的现象,导致细胞边缘无法被准确分割,上述问题一直都是白细胞图像检测和分割的难点.针对以上问题,基于Mask R-CNN提出了结合注意力机制多尺度特征融合的白细胞检测方法.在Mask R-CNN结构的基础上,在特征金字塔网络(FPN)模块中融合了注意力机制模块,提出了通道空间加权特征金字塔网络.该结构不仅可以学习特征图中重要通道特征的权重大小,还可以学习层中重要特征区域的表示.同时,在网络结构中加入了Skip-FPN模块,该模块通过短连接融合更多白细胞的底层细节信息,从而更准确地检测白细胞,更精确地进行白细胞的形态分割.实验结果表明,所提方法具有良好的检测与分割性能.在Kaggle开源数据集下,所提方法对白细胞检测的指标mAP值达到了98.25％,与改进前相比提高了1.25％;分割的平均精度mIoU值达到了89.30％,与改进前相比提高了0.002％.     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

基于改进Mask RCNN的俯视群养猪图像的分割

本文算法基于目标检测模型Mask RCNN进行改进,改进后的模型能分割和标记出不同的猪个体并且能精确分割出猪头区域。首先选用Resnet50作为模型的特征提取网络,然后考虑到群养猪图像分割任务的特殊性,在区域建议网络(Region Proposal Networks, RPN)中引入感兴趣区域(Region of Interest, ROI)的非局部特征向量,最后为进一步提高分割掩模边缘精度,在ROI输出的掩模分支中提出使用sobel检测滤波器预测目标边缘,并在损失函数中加入边缘损失。实验选取1000张图像作为训练样本,200张图像作为测试样本,结果表明,该算法模型在测试样本上对猪体和猪头分割的平均召回率达到0.851和0.845,相对Mask RCNN模型分别提高了6.4%和7.2%,并且在训练速度上相对Mask RCNN提高了18%。提取分割出的猪个体可进一步进行身份识别研究,精确分割出的猪头区域可用于饮水、吃食等行为识别。     

基于深度学习的城市建筑三维可视化系统研究

为提升三维建模建模效率和可视化效果,在深度学习的基础上,设计一个基于Mask R-CNN的三维可视化模型。首先利用Mask R-CNN算法对图像进行分割,选择ThreeJS作为模型的Web三维可视化框架;然后构建基于Mask R-CNN算法三维可视化模型,对模型多次进行训练和测试后,得到相应的建模图像,将该图像进行配准和坐标定位后,将其代入至适宜的建模场景中,最后完成建筑的快速建模。结果表明,提出的Mask R-CNN方法对图像检出率为98.13%,误检率为0,漏检率为1.87%,算法性能优越,建模效率高,可降低建模成本,提升城市建筑三维可视化效果。     

基于改进Mask R-CNN的建筑钢筋尺寸检测算法

建筑施工现场钢筋图像背景复杂且干扰较多,传统图像检测算法无法有效利用特征信息,难以满足现阶段建筑智能监理行业中钢筋尺寸检测精度的验收要求。提出一种在Mask R-CNN模型基础上加入自下而上路径和注意力机制的改进模型BU-CS Mask R-CNN。在建筑工地现场拍摄图像后,整理自建钢筋数据集,并在此数据集上进行算法验证。实验结果表明,与Mask R-CNN模型相比,BU-CS Mask R-CNN模型的召回率、交并比和像素准确率分别提升了4.9%、6.8%、7.4%,钢筋直径和间距的尺寸检测精度分别提升了14.9%、4.4%,能得到更加准确的钢筋目标检测框和边缘分割掩膜,达到了行业中实际工程验收的精度要求。     

基于细胞显微图像特征的ROI自动提取算法

为了在细胞显微图片中快速有效地自动提取细胞聚集的区域,提出了一种基于细胞显微图像特征的感兴趣区域(ROI)自动提取算法.该算法以图像的自动阈值分割为基础,利用图像膨胀后边缘的融合和重叠消亡原理,以图像特征的相似度为判别手段,最后用八邻域轮廓跟踪法取得轮廓线.对大量细胞显微图片的实验表明,该算法成功实现了对细胞显微图像的感兴趣区域沿边缘全自动快速提取.     

实例分割和边缘优化算法的研究与实现

摘 要：近年来,实例分割技术正受到越来越多的关注。Mask R-CNN 实例分割方法是实 例分割领域中的重要方法,但是用 Mask R-CNN 方法得到的结果中,每个分割出的实例的边缘 往往不够理想,无法与真正的边缘完全吻合。针对此问题,提出了一种用显著性目标提取方法 得到的结果与 Mask R-CNN 实例分割结果相结合的方法,从而得到更好的实例分割边缘。首先, 利用 Mask R-CNN 对图片进行识别,得到实例分割的结果。然后用 PoolNet 对待检测图片进行 处理,得到图片中的显著物体信息。最后用 PoolNet 的结果对实例分割的掩码图边缘进行优化, 从而得到边缘更好的实例分割结果。经过测试,该方法可以对绝大多数待检测目标较为显著的 图片在一些重要指标上得到比 Mask R-CNN 更好的分割结果。     

基于改进的Faster R-CNN的通用目标检测框架

针对当前基于深度学习的检测器不能有效检测形状不规则或长宽相差悬殊的目标的问题,在传统Faster R-CNN算法的基础上,提出了一个改进的二阶段目标检测框架——Accurate R-CNN。首先,提出了新的交并比（IoU）度量——有效交并比（EIoU）,通过提出中心度权重来降低训练数据中冗余包围框的占比。然后,提出了一个上下文相关的特征重分配模块（FRM）,通过建模目标的远程依赖和局部上下文关系信息对特征进行重编码,以弥补池化过程中的形状信息损失。实验结果表明,在微软多场景通用目标（MS COCO）数据集上,对于包围框检测任务,当使用深度为50和101的残差网络（ResNet）作为骨干网络时,Accurate R-CNN比基线模型Faster R-CNN的平均精度（AP）分别提高了1.7个百分点和1.1个百分点,超越了使用同样骨干网络的基于掩膜的检测器。在添加掩膜分支后,对于实例分割任务,当使用两种不同深度的ResNet作为骨干网络时,Accurate R-CNN比Mask R-CNN的掩膜平均精度分别提高了1.2个百分点和1.1个百分点。研究结果显示,相较于基线模型,Accurate R-CNN在不同数据集、不同任务上均取得了更好的检测效果。     

Mask R-CNN中特征不平衡问题的全局信息融合方法

特征不平衡问题是影响神经网络检测效率的关键因素。针对Mask R-CNN中的特征不平衡问题,提出一种基于全局特征金字塔网络（GFPN）的信息融合方法。通过将GFPN产生的不同大小特征相融合,生成包含全局语义信息的特征网络,并采用反向过程对原始特征层进行重新标度,从而使得每个特征层均含有全局语义信息。实验结果表明,与原始基于Mask R-CNN的方法相比,该方法的检测精度提升4~6个百分点,而检测时间仅增加0.112 s。     

基于深度学习的白菜田杂草分割

田间除草在农业生产中具有重要意义,传统杂草识别方式具有效率低或者局限性大的缺点。为此提出将Mask R-CNN算法应用到自然光照下杂草幼苗和白菜幼苗的图像识别。实验选取常见杂草幼苗和白菜幼苗图像作为训练集训练网络,经测试集测试得到81%的合格率。与传统阈值分割算法对比,Mask R-CNN在不同环境下都能精确地识别出杂草幼苗,解决了传统图像算法在复杂光照和叶片遮挡环境下图像难以分割的问题,并且避免了分类器设置工作。     

基于Mask R-CNN的电力设备锈迹检测

电力设备锈迹目标的识别在电力安全方面具有极高的应用价值，但是锈迹具有大小、形状不规则等特点，利用传统的机器学习算法检测效率和准确率不高.针对这一问题，研究分析锈迹特点，提出基于Mask R-CNN的电力设备锈迹检测识别方法.使用Faster R-CNN完成目标检测的功能，FCN精准的完成语义分割的功能，实现像素级别的分类识别，较好地解决了不规则锈迹的检测问题.实验结果表明，基于Mask R-CNN的电力设备锈迹检测结果准确率高.     

基于改进Mask R-CNN的卫星目标部位检测方法

针对卫星部件维修更换、燃料加注、废弃卫星回收等空间在轨服务中需解决的目标卫星部位检测问题,在Mask R-CNN的基础上,改进其主干网络结构并缩减分类回归、Mask分支通道数,提出了一种改进的实例分割网络模型Ring-Engine-Mask R-CNN,使用实物模型图像和3dsMax生成的仿真图像建立了专用数据集,给出了一种基于深度学习的卫星目标部位检测方法;实验结果表明,该方法能较好的完成卫星星箭对接环和远地点发动机喷管两种目标部位的检测分割,相较于传统的网络模型,在缩小了模型规模的同时,具有更高精度和更快的检测速度.     

改进Mask R-CNN模型的海洋锋检测

目的 海洋锋的高效检测对海洋生态环境变化、渔业资源评估、渔情预报及台风路径预测等具有重要意义。海洋锋具有边界信息不明显且多变的弱边缘性,传统基于梯度阈值法及边缘检测的海洋锋检测方法,存在阈值选择不固定、判定指标不一致导致检测精度较低的问题。针对上述问题,基于Mask R-CNN（region convolutional neural network）提出一种改进的海洋锋自动检测方法。方法 兼顾考虑海洋锋的小数据量及弱边缘性,首先对数据扩增,并基于不同算法对海表温度（sea surface temperatures,SST）遥感影像进行增强;其次,基于迁移学习的思想采用COCO（common objects in context）数据集对网络模型进行初始化;同时,对Mask R-CNN中残差神经网络（residual neural network,ResNet）和特征金字塔模型（feature pyramid network,FPN）分别进行改进,在充分利用低层特征高分辨率和高层特征的高语义信息的基础上,对多个尺度的融合特征图分别进行目标预测,提升海洋锋的检测精度。结果 为验证本文方法的有效性,从训练数据和实验模型上分别设计多组对比实验。实验结果表明,相比常用的Mask R-CNN和YOLOv3（you only look once）神经网络,本文方法对SST梯度影像数据集上的海洋锋检测效果最好,海洋锋的定位准确率（intersection over union,IoU）及检测平均精度均值（mean average precision,mAP）达0.85以上。此外,通过对比分析实验结果发现,本文方法对强海洋锋的检测效果明显优于弱海洋锋。结论 本文根据专家经验设立合理的海洋锋检测标准,更好地考虑了海洋锋的弱边缘性。通过设计多组对比实验,验证了本文方法对海洋锋的高精度检测效果。