结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法。该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进。使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融合特征图送入区域建议网络和检测网络,完成行人检测。在Caltech和ETH行人检测数据集上进行试验验证,结果表明,与传统行人检测方法相比,该方法的行人检测准确率得到提高,同时检测速度满足实时性要求。     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

全卷积神经网络在道路场景语义分割中的应用研究

在使用全卷积神经网络处理图像时,网络中的池化层会造成特征信息的丢失,从而导致图像分割结果不理想.为保留更多的特征信息,提出一种没有池化层,只有卷积层的语义分割网络,在保留特征空间降维功能的前提下降低了图像处理过程中特征信息的损失,加深网络深度,同时在反卷积过程中使用跳跃结构融合不同层次的特征信息,提高语义分割结果的精确度.实验结果表明,提出的语义分割网络与全卷积神经网络相比,其结果在MIoU和像素精度方面均有提升.     

航拍图像中绝缘子串的识别与分割方法研究

为实现航拍图像中绝缘子串的识别与分割,以Faster R-CNN和全卷积神经网络(fully convolutional networks,FCN)为框架构建了深度学习算法,并以算法为核心搭建了绝缘子串图像检测平台.算法首先使用Faster R-CNN模型,结合Resnet-101深度残差卷积神经网络,对所有感兴趣区域进行分类,再对Bounding Box回归和坐标进行修正,用于绝缘子串的识别,接着以FCN网络为基础,通过微调使原网络适应新的绝缘子串数据集,实现了在复杂背景下绝缘子串的语义分割.实验结果表明,文中给出的方法与已有方法相比,不仅能够在不同光照条件、不同拍摄角度以及复杂背景干扰下实现绝缘子串的识别与分割,且处理时间短、精度高和鲁棒性强.     

基于多尺度复合卷积和图像分割融合的车道线检测算法

在车道线检测任务中，由于车道线的特点和获取更大范围感受野的需求，空洞卷积被广泛使用.然而，为了获取大范围信息，空洞卷积会造成卷积点附近信息的丢失.针对以上问题，提出了一种基于多尺度复合卷积和图像分割融合的车道线检测算法.首先将不同尺寸的空洞卷积、全卷积和标准卷积结合以弥补空洞卷积造成的信息丢失；然后通过语义分割和实例分割融合的图像分割融合模块来增强实例分割网络对全局特征的关注；最后，设计一个加权交叉熵损失函数对网络进行训练和优化.实验结果表明，算法在CULane数据集中的整体F1measure取得74.9%，整体性能优于比较算法，在多种挑战性环境中均有所提升.     

基于SegNet的非结构道路可行驶区域语义分割

为了增强自动驾驶车辆对非结构化道路中可行驶区域的场景理解能力,基于SegNet深度学习网络结构,提出了一种针对非结构道路的可行驶区域语义分割方法。在传统的卷积神经网络基础上,构建编码-解码深度卷积神经网络,用于自动习得图片中非结构化道路的特征,通过在数据集上进行训练和学习,得到图像语义分割模型,可直接用该模型预测非结构道路中的可行驶区域,实现自动驾驶车辆在非结构道路中行驶时的环境感知。实验结果表明,研究方法分割效果和精确度提升明显,Dice相似度和Jaccard相似系数均可达80%以上。     

基于改进Mask R-CNN的可见光图像中舰船目标检测方法

针对基于卷积神经网络的目标识别方法中经典的矩形检测框在检测舰船目标时会框出很多无关区域,易出现漏检、误检等问题,提出基于改进Mask R-CNN （mask region-based convolution neural networks）的舰船目标检测方法,在Mask R-CNN网络的基础上通过增加判别模块、类别预测分支和语义分割分支对视觉系统采集的可见光图像中的舰船目标进行目标定位和类别预测,同时获得舰船目标的边缘轮廓并实现对军舰目标的语义分割,为海上无人作战系统提供更精确的信息.实验结果表明,该方法在保持较高检出率和运行效率的同时误检率较低,舰船目标的平均检测精度较高,具有良好的舰船目标检测性能.      

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于上下文情景结构的图像语义分割

语义分割的目标是对图像进行像素级分类并分割为表示不同语义的区域,以便实现对更复杂场景的分析及理解。考虑到更大的卷积核对目标的定位及分割都有促进作用,故提出的网络里使用了一种基于上下文情景结构层(contextual structure)的卷积神经网络,既增大了感受野的范围,同时解决了增大传统卷积核带来大量参数的问题。自然图像中的目标往往具有不同的尺度和纵横比,提取丰富的细节信息和上下文信息对于像素级的预测至关重要。提出的网络同时实现了多尺度特征的提取,从规模较小区域到规模较大区域,再到完整目标,可以有效提取局部信息和全局信息,达到分割多尺度目标的效果。实验中使用PASCAL VOC 2012数据集对提出的方法进行评测,在综合考虑算法复杂度以及运行时间效率的基础上,提出算法取得了更好的实验结果。     

组合全卷积神经网络和条件随机场的道路分割

常见的道路分割方法往往环境噪声鲁棒性不足并且分割边缘不够平滑。针对该问题,提出了一种组合全卷积神经网络和全连接条件随机场的道路分割方法。首先,利用深度神经网络良好的特征表征能力,将道路分割视为一个二分类问题,构建一个基于VGG_16深度卷积网络的全卷积网络,实现道路图像端到端的路面和背景分类;然后,利用全连接条件随机场能够实现图像精细分割的特点,采用全连接条件随机场对二分类得到的粗糙边缘再进行平滑优化。针对真实环境下采集的道路分割基准数据库的测试结果表明:该方法获得了98.13%的分割准确率以及每0.84s处理1幅图像的分割速度,具有一定的先进性。     

无人驾驶车辆基于语义分割方法障碍物检测

障碍物检测是无人驾驶车辆环境感知重要的组成部分,语义分割技术能够对障碍物进行像素级检测。为满足无人车系统的实时性要求和对障碍物检测精度要求,提出了一种轻量级语义分割模型。该模型构建了特征提取块,通过跳跃层结构将底层级特征与高层级特征相融合,用于提取更加细化的图像特征信息。运用深度可分离卷积代替标准卷积操作,减少了模型参数量和计算量。利用不同膨胀率的膨胀卷积以获取多尺度目标信息,在上采样时融合不同尺度的特征信息,使得语义信息更加丰富。试验结果表明:提出的轻量级语义分割模型在Cityscapes数据集和ApolloScape数据集上取得了较好的障碍物检测结果,同时也满足无人车的实时性要求。     

结合目标检测的小目标语义分割算法

卷积神经网络(Convolutional Neural Networks,CNN)可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征,有效地提高了图像语义分割的准确性.然而,基于CNN的语义分割算法依然存在一些挑战,例如在复杂场景中现有较优的方法较难分割小目标.为了解决复杂场景下小目标分割的难题,提出一种结合目标检测的小目标语义分割算法.与现有较优方法不同的是,该方法没有直接利用单个神经网络模型同时分割单幅图像中的小尺寸和较大尺寸目标,而是将小目标分割任务从完整图像的分割任务中分离.算法首先训练一个目标检测模型以获取小目标图像块,然后设计一个小目标分割网络得到图像块的分割结果,最终根据该结果修正整体图像的分割图.该算法提升了语义分割数据集的总体性能,同时能够有效地解决小目标分割的难题.     

用于肺结节检测和分类的两阶段深度学习方法

针对肺部CT数据具有空间信息的特点, 提出一种基于深度学习的两阶段方法, 即使用两个3D卷积网络有效学习结节特征, 对CT图像中的肺结节进行检测和分类. 该方法的检测器部分采用基于U Net的编码器 解码器结构的3D语义分割模型, 以预测结节的位置、 大小和语义掩码; 分类器部分采用3D双路径网络, 用于特征的汇总和收缩, 并给出分类结果. 为充分利用原始数据中的特征信息, 将检测器的结果应用于对原始数据进行采样和掩码操作, 并通过空间金字塔池化层获得一致的输入尺度. 在公开数据集上的实验结果表明, 该深度学习方法对CT图像肺结节的检测和分类具有良好的性能.     

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法.使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网...     

一种轻量化非结构化道路语义分割神经网络

非结构化道路由于没有明显车道线且道路特征多、地域差异大，现有的结构化道路分割方法无法满足非结构化道路分割在实际应用中的实时性与准确性要求．为了解决上述难点，本文基于DeepLabv3+网络提出一种G-lite-DeepLabv3+网络结构，使用Mobilenetv2网络替换解码器中的Xception特征提取网络，并通过在Mobilenetv2网络与空洞空间金字塔池化模块中使用分组卷积替换普通卷积，且有选择地取舍批规范层来减少参数量，在不影响精度的同时提升分割效率．同时针对非结构化道路在图像里分布位置相对较固定的特点，引入注意力机制对高级语义特征进行处理，提升网络对有用特征的敏感度与准确性．选用与我国非结构化道路路况相似的印度道路驾驶IDD进行训练，并与其他经典语义分割网络进行实验对比，结果表明，相比于其他网络，本文提出的G-lite-DeepLabv3+准确率与实时性均表现较好、误分割与边缘清晰度均好于对照网络；与经典算法进行对比，平均交并比mIoU提升1.3%，平均像素精度提升6.2%，帧率提升22.1%.     

基于语义分割的高原鼠兔目标检测

针对区域建议网络中锚点框引入背景噪声导致小目标检测精度低的问题,提出了基于语义分割的感兴趣区域生成方法.首先把感兴趣区域的搜索问题转化为前景和背景的二值语义分割问题;然后对语义分割所得的前景进行中值滤波及连通域分析,直接得到感兴趣区域的大小和位置,从而避免使用锚点框来生成感兴趣区域,减小了背景噪声对目标检测的影响.对自然场景下高原鼠兔目标进行检测,结果表明:基于语义分割的感兴趣区域生成方法最优F1值比区域建议网络高27.75%,检测精度更高.     

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

基于最优传输模型的人脸颜色转换

现有人脸颜色转换算法仅基于图像的Lαβ颜色空间匹配均值和方差,因而仅限于线性变换且通常适用于自然图像;同时,现有算法利用人脸关键点信息来定位人脸五官的位置,但由此得到的人脸五官区域信息不是非常准确,通常需要进一步优化处理.针对上述问题,在自动获得人脸区域分割的基础上,为得到更自然的人脸颜色转换效果,基于最优传输模型,提出了一种新的人脸颜色转换的方法.首先利用全卷积网络自动得到人脸区域的分割信息,再利用最优传输模型获得对应的人脸区域的颜色转换结果.试验结果表明,所提算法在人脸五官分割的鲁棒性和人脸图像颜色转换的主观视觉上均得到明显的改善.     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。