基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于可见光/红外图像的夜间道路场景语义分割

针对夜间道路场景解析困难的问题,提出了一种联合可见光与红外热像图实现夜间场景语义分割的方法。首先将双谱图像分别输入至两路并行的全卷积神经网络中,在网络的尾端融合特征并预测得到初步的语义分割结果。在此基础上,对双谱图像进行自适应直方图均衡及双边滤波,并利用基于双谱图像信息的稠密条件随机场对语义分割结果进行优化。实验结果表明,相比于单独使用可见光图、红外热像图、融合图,本文方法可以对夜间道路场景进行更准确的解析。     

基于多尺度复合卷积和图像分割融合的车道线检测算法

在车道线检测任务中，由于车道线的特点和获取更大范围感受野的需求，空洞卷积被广泛使用.然而，为了获取大范围信息，空洞卷积会造成卷积点附近信息的丢失.针对以上问题，提出了一种基于多尺度复合卷积和图像分割融合的车道线检测算法.首先将不同尺寸的空洞卷积、全卷积和标准卷积结合以弥补空洞卷积造成的信息丢失；然后通过语义分割和实例分割融合的图像分割融合模块来增强实例分割网络对全局特征的关注；最后，设计一个加权交叉熵损失函数对网络进行训练和优化.实验结果表明，算法在CULane数据集中的整体F1measure取得74.9%，整体性能优于比较算法，在多种挑战性环境中均有所提升.     

基于上下文情景结构的图像语义分割

语义分割的目标是对图像进行像素级分类并分割为表示不同语义的区域,以便实现对更复杂场景的分析及理解。考虑到更大的卷积核对目标的定位及分割都有促进作用,故提出的网络里使用了一种基于上下文情景结构层(contextual structure)的卷积神经网络,既增大了感受野的范围,同时解决了增大传统卷积核带来大量参数的问题。自然图像中的目标往往具有不同的尺度和纵横比,提取丰富的细节信息和上下文信息对于像素级的预测至关重要。提出的网络同时实现了多尺度特征的提取,从规模较小区域到规模较大区域,再到完整目标,可以有效提取局部信息和全局信息,达到分割多尺度目标的效果。实验中使用PASCAL VOC 2012数据集对提出的方法进行评测,在综合考虑算法复杂度以及运行时间效率的基础上,提出算法取得了更好的实验结果。     

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.     

基于双通道CNN的单幅图像超分辨率重建

卷积神经网络在单幅图像超分辨率重建方面取得了很大的进展,目前的很多方法都选择使用浅层或者深层的卷积神经网络实现图像超分辨率重建。浅层网络结构简单,但容易丢失图像的高频信息,而深层网络可以学习图像的高频纹理特征。本文提出了双通道卷积神经网络。浅层网络负责重建图像的整体轮廓,保留图像的原始信息;深层网络学习图像的高频纹理特征。在深层网络中,使用密集连接的卷积网络,能更有效地恢复图像的高频信息。同时,在两个网络的末端,通过添加额外的卷积层表示融合层,将网络进行融合,重建超分辨率图片。实验结果表明,在大多数情况下,本文模型的重构效果在主观和客观评估中均优于当前代表性的超分辨率重构方法。     

基于像素分类的图像语义分割方法及其应用研究

为了提高药片外观缺陷检测效率,提出一种使用深度学习进行药片外观缺陷检测的基于像素分类的图像语义分割方法 .首先,利用全卷积神经网络对预处理后的样本数据集进行训练,提取药片外观的缺陷特征,然后,采用像素精度和交并比来评估模型分割的精确度,最后,使用训练得到的模型分割出药片的缺陷位置并加以语义的描述.实验结果 表明,该方法...     

基于级联卷积神经网络的人脸特征点识别算法实现

针对在有冗余图像信息干扰下进行人脸有效特征点提取时精度不高的问题,提出了基于级联卷积神经网络的人脸特征点检测算法.在该算法中:输入层读入规则化的原始图像,神经元提取图像的局部特征;池化层进行局部平均和降采样操作,对卷积结果降低维度;卷积层和池化层分布连接,迭代训练,输出特征点检测结果.该算法采用Python语言编程实现,在人脸数据集进行仿真实验,结果表明该算法对人脸特征点有较高的识别率.     

变电站巡检机器人道路语义分割方法及其应用

为提升变电站巡检机器人对道路场景的识别理解能力,将深度学习技术应用于变电站巡检机器人中,提出了一种适用于变电站道路场景的全卷积语义分割网络。该网络借鉴ENet编码结构提取图像特征,同时融入多种解码结构来获取更多有效特征,恢复图像目标信息。同时,针对巡检机器人以及变电站道路特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明:所提出的网络有效地提升了图像分割精度,并能较好地适应于实际变电站环境中。研究结果为机器人提供了有效的道路场景信息,辅助机器人导航避障。     

结合目标检测的小目标语义分割算法

卷积神经网络(Convolutional Neural Networks,CNN)可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征,有效地提高了图像语义分割的准确性.然而,基于CNN的语义分割算法依然存在一些挑战,例如在复杂场景中现有较优的方法较难分割小目标.为了解决复杂场景下小目标分割的难题,提出一种结合目标检测的小目标语义分割算法.与现有较优方法不同的是,该方法没有直接利用单个神经网络模型同时分割单幅图像中的小尺寸和较大尺寸目标,而是将小目标分割任务从完整图像的分割任务中分离.算法首先训练一个目标检测模型以获取小目标图像块,然后设计一个小目标分割网络得到图像块的分割结果,最终根据该结果修正整体图像的分割图.该算法提升了语义分割数据集的总体性能,同时能够有效地解决小目标分割的难题.     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

使用候选框进行全卷积网络修正的目标分割算法

由于反卷积和上池化操作的存在,传统全卷积网络在解码阶段常常会丢失目标位置信息,降低图像的分割精度.针对这种情况,提出基于候选框网络对全卷积网络的输出进行缺陷位置微调的液晶面板缺陷分割算法.算法基于ResNet-101网络搭建全卷积主干网络,此构建2个分支,候选框生成网络和反卷积网络.在反卷积网络的输出层中使用多通道分类损失函数,输出关于每种缺陷的类别分割图.同时利用候选框网络产生高置信度的目标框,以此框对反卷积网络输出的类别分割图进行逐通道修正,使用修正后的多通道缺陷类别分割图进行逐像素分类,得到最终分割结果.实验结果表明,该算法对液晶面板缺陷的分割取得了7.5％的精度提升,边缘分割更加精细化.     

基于深度CNN的改进弱监督学习方法设计与验证

针对包含目标、尺度和平移变化较强的空间信息难以获取大量训练样本的问题,提出一种基于深度卷积神经网络(deep convolutional neural network,DCCN)的弱监督学习方法,从3个层面对当前卷积神经网络进行扩展。为了提取分辨率更高的局部特征,同时考虑到全卷积网络(full convolution network,FCN)在全监督式学习下的高效性能,使用FCN作为后端模块;为了获取更多的通用特征,增加一个多映射弱监督学习的传输层,对与补充性类模态相关的多个局部特征进行显式学习;为了优化训练过程,改进了池化层,使用全局图像标签进行训练,将空间得分聚合为全局预测。使用图像分类、弱监督逐点目标定位和图像分割3种常用的机器视觉任务进行评估。多个公开数据库的实验结果表明,所提方法能够有效地学习强局部特征,具有良好的分类和定位效果。     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法。该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进。使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融合特征图送入区域建议网络和检测网络,完成行人检测。在Caltech和ETH行人检测数据集上进行试验验证,结果表明,与传统行人检测方法相比,该方法的行人检测准确率得到提高,同时检测速度满足实时性要求。     

基于深度学习和水平集的彩色图像分割方法（英文）

本文结合基于全卷积神经网络的语义分割与基于水平集的图像分割方法,使用DeepLab V2与Distance Regularized Level Set Evolution(DRLSE)模型对一般彩色图像进行分割.通过在DRLSE模型中加入一个新形状能量项,该方法提高了零水平集的演化速度.数值模拟结果验证了方法的有效性.     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.