基于区块特征融合的点云语义分割方法

为降低室外大规模点云场景中多类三维目标语义分割的计算复杂度,提出一种融合区块特征的语义分割方法。采用方形网格分割方法对三维点云进行区块划分、采样以及组合,求取简化的点云组合区块集,将其输入至区块特征提取和融合网络中从而获得每个区块的特征修正向量。设计点云区块全局特征修正网络,以残差的方式融合特征修正向量与原始点云全局特征,修正因分割造成的错误特征。在此基础上,将方形网格分割尺寸作为神经网络的参数引入反向传播过程中进行优化,从而建立高效的点云语义分割网络。实验结果表明,反向传播算法可以优化分割尺寸至最佳值附近,所提网络中的全局特征修正方法能够提高语义分割精度,该方法在Semantic3D数据集上的语义分割精度达到78.7%,较RandLA-Net方法提升1.3%,且在保证分割精度的前提下其点云预处理计算复杂度和网络计算时间明显降低,在处理点数为10万~100万的大规模点云时,点云语义分割速度较SPG、KPConv等方法提升2~4倍。     

基于多路径特征提取的实时语义分割方法

深度学习在图像语义分割领域的应用极大地提升了分割精确度,但由于深度学习网络在速度、内存等方面的限制,其并不能直接应用于嵌入式设备进行实时分割。针对语义分割模型存在的的网络结构复杂和计算开销巨大的问题,提出了结合边缘检测算法的多路径特征提取的实时语义分割算法。模型通过Sobel算子、Scharr算子和Laplacian算子对图像的轮廓信息进行提取。算法设计了空间路径提取图像的空间位置信息、语义路径提取图像高级语义信息,以及通过边缘检测路径提取图像中具有代表性的纹理特征,并采用Ghost轻量化模块来减少模型参数量,提高算法的分割速度。在480像素×360像素的CamVid数据集上的实验结果表明,在3种边缘检测算子上,模型的分割准确率均能得到有效提升,尤其是在加入3×3大小的Sobel算子下算法的性能提升最为明显,在CamVid测试集图像处理速度为349 frames/s的基础上,分割精度达到了42.9%。所提算法在分割精度和分割速度上均取得了较好的效果,在实时性和准确性之间达到了很好的平衡。     

基于深度特征融合的图像语义分割

在图像语义分割中使用卷积网络进行特征提取时,由于最大池化和下采样操作的重复组合引起了特征分辨率降低,从而导致上下文信息丢失,使得分割结果失去对目标位置的敏感性。虽然基于编码器-解码器架构的网络通过跳跃连接在恢复分辨率的过程中逐渐细化了输出精度,但其将相邻特征简单求和的操作忽略了特征之间的差异性,容易导致目标局部误识别等问题。为此,文中提出了基于深度特征融合的图像语义分割方法。该方法采用多组全卷积VGG16模型并联组合的网络结构,结合空洞卷积并行高效地处理金字塔中的多尺度图像,提取了多个层级的上下文特征,并通过自顶向下的方法逐层融合,最大限度地捕获上下文信息;同时,以改进损失函数而得到的逐层标签监督策略为辅助支撑,联合后端像素建模的全连接条件随机场,无论是在模型训练的难易程度还是预测输出的精度方面都有一定的优化。实验数据表明,通过对表征不同尺度上下文信息的各层深度特征进行逐层融合,图像语义分割算法在目标对象的分类和空间细节的定位方面都有所提升。在PASCAL VOC 2012和PASCAL CONTEXT两个数据集上获得的实验结果显示,所提方法分别取得了80.5%和45.93%的mIoU...     

多尺度特征自适应融合的图像语义分割算法

为解决Deeplab v3+网络在解码过程中仅融合一个尺度编码特征,导致部分细节信息丢失,从而造成最终分割结果较为粗糙等问题,提出多尺度特征自适应融合的图像语义分割算法.该算法在Deeplab v3+的解码过程中使用自适应空间特征融合结构,给不同尺度的编码特征分配自适应的融合权重,通过融合编码过程中的多尺度特征进行特征...     

轻量化卷积注意力特征融合网络的实时语义分割

轻量化卷积神经网络的出现促进了基于深度学习的语义分割技术在低功耗移动设备上的应用.然而,轻量化卷积神经网络一般不考虑融合特征之间的关系,常使用线性方式进行特征融合,网络分割精度有限.针对该问题,提出一种基于编码器-解码器架构的轻量化卷积注意力特征融合网络.在编码器中,基于MobileNetv2给出空洞MobileNet模块,以获得足够大的感受野,提升轻量化主干网络的表征能力;在解码器中,给出卷积注意力特征融合模块,通过学习特征平面通道、高度和宽度3个维度间的关系,获取不同特征平面之间的相对权重,并以此对特征平面进行加权融合,提升特征融合的效果.所提网络仅有0.68×106参数量,在未使用预训练模型、后处理和额外数据的情况下,使用NVIDIA 2080Ti显卡在城市道路场景数据集Cityscapes和CamVid上进行实验的结果表明,该网络的平均交并比分别达到了72.7%和67.9%,运行速度分别为86帧/s和105帧/s,在分割精度、网络规模与运行速度之间达到了较好的平衡.     

基于多级特征整合的图像语义分割研究

传统的全卷积神经网络由于不断的池化和下采样操作使得最后的特征热点图分辨率损失严重,导致了分割结果的细节刻画能力的缺失,为了弥补这一缺陷,往往通过跳跃连接融合中层的特征图以恢复空间信息.由于无法充分利用网络的低层特征信息,传统全卷积网络的特征融合阶段存在相当的缺陷,本文对这一现象进行了深入的分析.本文在上采样路径之前采用基于特征金字塔的特征信息增强方法,克服了浅层特征图语义信息匮乏这一缺点,使得整个网络能更充分的利用前向计算产生的特征图,输出的分割结果也更为精确.本文提出的算法在Pascal VOC数据集上取得了75.8%的均像素精度和83.9%的权频交并比,有效的提高了分类精度.     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法.该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征...     

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。     

基于深度学习的无监督领域自适应语义分割算法综述

随着现代生活逐步智能化,越来越多的应用需要从图像中推断相应的语义信息再进行后续的处理,如虚拟现实、自动驾驶和视频监控等应用。目前的语义分割模型利用大量标注数据进行有监督训练能达到理想的性能,但模型对与训练数据不同分布的数据进行推理时,其性能严重下降。这意味着一旦应用场景发生变化,就需对新场景的数据进行标注。模型重新利用新数据进行训练,才能达到正常的性能。这无疑是耗时的、代价昂贵的。为此,领域自适应语义分割算法提供了解决模型在分布不一致数据上语义分割性能下降问题的思路。总结了领域自适应语义分割算法的前沿进展,并对未来研究方向进行展望。     

中医舌象分割技术研究进展: 方法、性能与展望

中医舌诊的客观化、定量化研究是中医现代化发展中的重要课题. 数字化采集到的舌图像包括舌体及部分面部区域, 为了便于后续舌象自动分析, 需要首先将舌体部分从图像中分割出来, 分割效果将直接影响后续舌象特征分析的准确性. 基于传统方法的舌象分割技术虽然取得了很大进展, 但其性能仅能达到半自动分割, 对较难分割的图像往往需要借助人机交互来完成. 近年来, 深度学习技术在图像处理及计算机视觉等多个领域取得了突破, 其在图像语义分割任务中也取得了远超传统方法的进展. 基于深度学习的舌象分割技术已经基本实现了全自动的鲁棒分割. 本文首先从传统分割方法和基于深度学习的分割方法两方面对中医舌象分割技术发展中的主要方法进行综述; 其次, 采用我们收集的舌象数据库对典型的方法进行性能评估, 并对不同舌象分割方法的特点进行分析与讨论. 最后, 对中医舌图像分割方法潜在的发展方向进行了展望.     

基于增强特征融合解码器的语义分割算法

针对语义分割中全卷积神经网络解码器部分特征融合低效的问题,设计一种增强特征融合的解码器。级联深层特征与降维后的浅层特征,经过卷积运算后引入自身平方项的注意力机制,通过卷积预测自身项与自身平方项各通道的权重,利用乘法增强后对结果进行作和。基于pascal voc2012数据集的实验结果表明,该解码器相比原网络mIoU指标提升2.14%,结合不同特征融合方式的解码结果也验证了其性能优于同一框架下的其他对比方法。     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

基于多语义特征融合的图像检索

多媒体技术的发展导致数字图像迅速增长,如何根据语义特征高效检索出满足用户要求的图像,已成为当前各行业迫切需要解决的问题。为此提出一种基于颜色、纹理和形状三种语义特征的图像检索方法,建立了颜色和纹理特征的语义描述,使用BP神经网络实现了低层视觉特征到高层语义特征的映射。选取Corel图像库作为测试图像库,实验通过与基于颜色语义特征的检索方法相比较,取得了良好的实验效果。     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。