结合语义辅助和边缘特征的显著对象检测

目的 现有的显著对象检测模型能够很好地定位显著对象,但是在获得完整均匀的对象和保留清晰边缘的任务上存在不足。为了得到整体均匀和边缘清晰的显著对象,本文提出了结合语义辅助和边缘特征的显著对象检测模型。方法 模型利用设计的语义辅助特征融合模块优化骨干网的侧向输出特征,每层特征通过语义辅助选择性融合相邻的低层特征,获得足够的结构信息并增强显著区域的特征强度,进而检测出整体均匀的显著对象。通过设计的边缘分支网络以及显著对象特征得到精确的边缘特征,将边缘特征融合到显著对象特征中,加强特征中显著对象边缘区域的可区分性,以便检测出清晰的边缘。同时,本文设计了一个双向多尺度模块来提取网络中的多尺度信息。结果 在4种常用的数据集ECSSD （extended complex scene saliency dataset）、DUT-O （Dalian University of Technology and OMRON Corporation）、HKU-IS和DUTS上与12种较流行的显著模型进行比较,本文模型的最大F值度量（max F-measure,MaxF）和平均绝对误差（mean absolution error,MAE）分别是0.940、0.795、0.929、0.870和0.041、0.057、0.034、0.043。从实验结果看,本文方法得到的显著图更接近真值图,在MaxF和MAE上取得最佳性能的次数多于其他12种方法。结论 本文提出的结合语义辅助和边缘特征的显著对象检测模型十分有效。语义辅助特征融合和边缘特征的引入使检测出的显著对象更为完整均匀,对象的边缘区分性也更强,多尺度特征提取进一步改善了显著对象的检测效果。     

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

用于手绘检索的伪监督边缘检测算法

基于深度学习的边缘检测算法需要大量的标注，这阻碍了边缘检测的推广应用。因此提出一种伪监督边缘检测算法，能够在无标注的手绘图像数据集上提取图像边缘。算法分成三部分，包括伪监督标签生成、多尺度边缘检测网络和特征增强模块。伪监督标签为多尺度监督的边缘检测网络生成监督信息，特征增强模块可以弥补伪监督带来的信息丢失。该算法比现有边缘检测算法提取的边缘更完整，在手绘数据集QMUL-Shoe和QMUL-Chair上可以提高1%～6%的检索精度，对需要边缘检测的所有领域都有启发性意义。     

基于视觉显著性图与似物性的对象检测

为了能够准确地检测出图像中的显著性对象,提出了一种新的基于视觉显著性图与似物性的对象检测算法。该算法首先在图像上提取大量具有较高似物性度量的矩形窗口,并估算出对象可能出现的位置,将窗口级的似物性度量转换到像素级的似物性度量;然后把原始显著性图与像素级的似物性图进行融合,生成加权显著性图,分别二值化原始显著性图和加权显著性图,利用凸包检测得到最大查找窗口区域与种子窗口区域;最后结合边缘概率密度搜索出最优的对象窗口。在公开数据集MSRA-B上的实验结果表明,该算法在准确率、召回率以及F-测度方面优于最大化显著区域检测算法、区域密度最大化算法以及似物性对象检测算法等已有的多种算法。     

幂律变换和IGLC算法的显著性目标检测方法

针对显著性检测方法生成显著图存在对比度低、目标区域细节不明显、检测区域不准、背景抑制效果不足的问题，提出幂律变换和IGLC算法的显著性目标检测方法。利用幂律变换函数优化IG算法，彻底抑制显著图的背景区域。经二值化处理的显著图在原图像分割，得到感兴趣目标分割图；LC算法优化感兴趣目标分割图，得到细节佳的显著图；利用自适应烟花算法增强显著目标区域的对比度，生成最终的显著图。对标准测试数据集MSRA10K和PASCAL-S数据集中的图像进行显著性目标检测实验，且与目前较流行的6种显著性目标检测方法进行主观和客观的对比分析，分析结果均优于对比方法。该算法得到的显著图既具有对比度和细节增强的效果，又具有背景抑制效果更好的优点。     

多深度特征增强与顶层信息引导的边缘检测网络

针对现有边缘检测网络在复杂自然场景下的检测结果仍存在边缘缺失、噪声过多等问题,提出多深度特征增强与顶层信息引导的边缘检测网络.首先,采用UNet++作为主干网络提取不同深度的特征,并通过特征叠加使不同尺度的边缘更加完整;然后,在每个卷积层的侧输出后添加特征增强模块,通过引入空洞卷积增大感受野,增强多尺度信息;最后,设计顶层信息引导模块,通过在跳跃连接中引入高层的语义特征增强边缘检测效果.实验结果表明,在BSDS500,NYUDv2和Multicue这3个数据集上进行训练均取得了较好的效果,其中,BSDS500数据集上的ODS,OIS和AP指标分别达到了0.821,0.839和0.869,整体上高于现有边缘检测网络,且噪声少,主观效果也更接近真值.     

一种快速自适应边缘提取方法的研究

利用图像边缘灰度突变的特性。提出了一种梯度算子结合抽样的快速自适应边缘检测方法,在对整幅图抽样得到的低分辨率图上搜索出边缘点,然后以此为指导在整幅图上精确定位待检测的目标轮廓;为了提高边缘检测的自动化程度,将整幅图分成若干幅子图像．对每幅子图像各自统计其梯度,根据梯度信息自适应生成阈值．蛮验证明该方法不仅能快速准确地提取出单像素目标边缘而且还能较好地抑制细小边缘的于扰,在实际应用中获得了良好的效果。     

基于堆叠边缘感知模块的显著性目标检测

现有显著性目标检测算法对边缘感知的效果不理想.因此,为了有效利用高层语义信息及低层纹理信息,文中提出基于堆叠边缘感知模块的显著性目标检测算法.采用多尺度骨干网络(Res2Net)作为主干网络提取图像的多尺度、多目标的显著性特征.堆叠边缘感知模块以非对称性方式融合图像高低层信息,增强显著性目标区域.网络输出显著性目标的检测结果.在5个公开数据集上的实验表明,文中算法检测结果较优,同时,在客观评估指标和主观视觉效果上也较优.     

基于RCF的精细边缘检测模型

针对目前基于深度学习的边缘检测技术生成的边缘粗糙及模糊等问题，提出一种基于更丰富特征的边缘检测（RCF）模型的端到端的精细边缘检测模型。该模型以RCF模型为基础，在主干网络中引入"注意力"机制，采用SE模块提取图像边缘特征，并且去掉主干网络部分下采样，避免细节信息过度丢失，使用扩张卷积技术增大模型感受野，并利用残差结构将不同尺度的边缘图进行融合。对伯克利分割数据集（BSDS500）进行增强，使用一种多步骤的训练方式在BSDS500和PASCAL VOC Context数据集上进行训练，并用BSDS500进行测试实验。实验结果表明，该模型将全局最佳（ODS）和单图最佳（OIS）指标分别提高到了0.817和0.838，在不影响实时性的前提下可以输出更精细的边缘，同时还具有较好的鲁棒性。     

基于小波变换的水下显著性目标快速检测算法

目前地面显著性目标检测取得了较大进展,而水下场景具有较高的复杂性,导致水下显著性目标检测仍然面临诸多挑战。为了实现复杂水下环境的显著性目标快速检测,提出一种基于小波变换的水下显著性目标检测算法。对水下采集图像进行多级小波变换预处理,针对提取的低频子带图像,利用自适应中值滤波去除其中的斑点颗粒,对相应的高频子带进行显著性边缘检测以强化目标边缘信息。在此基础上,利用小尺度超像素分割与合并策略分割处理后的低频子带图像,通过基于区域对比度的显著性检测方法进行图像显著性计算。融合低频子带显著图和高频子带显著边缘图,得到最终的显著性检测结果。USOD公开数据集上的实验结果表明,在进行水下显著性目标检测时该算法的整体度量值达到93.9%,平均绝对误差低至3.08%,能较好地实现水下大目标和成群小目标的准确检测,且在处理大分辨率水下图像时具有良好的实时性,在CPU平台上每帧的显著性目标检测时间为168 ms,算法适用于水下机器人显著性目标快速检测应用场景。     

基于特征融合与边界修正显著性目标检测

显著性目标检测旨在寻找图像中的视觉显著区域。现有的显著性目标检测方法已经展现出强大的优势，但依然在尺度感知和边界预测方面具有局限性。首先，各类场景中的显著目标存在诸多尺度，使算法难以适应不同尺度变化。其次，显著目标往往具有复杂的轮廓，这使边界像素点的检测变得更为困难。针对以上问题，文中提出了基于特征融合与边界修正的显著性目标检测网络，该网络基于特征金字塔，提取了不同层次显著特征。首先针对目标的尺度多样性设计了由多尺度特征解码模块组成的特征融合解码器，通过逐层融合相邻层特征，提高了网络对目标尺度的感知能力。同时设计了边界修正模块学习显著目标的轮廓特征，以生成边界清晰的高质量显著图。在5个常用显著性目标检测数据集上进行实验，结果表明所提算法在平均绝对误差、F指标和S指标3项定量指标上均能取得较优的结果。     

基于可变形卷积的手绘图像检索

手绘图像仅包含简单线条轮廓, 与色彩、细节信息丰富的自然图像有着截然不同的特点. 然而目前的神经网络大多针对自然图像设计, 不能适应手绘图像稀疏性的特性. 针对此问题, 本文提出一种基于可变形卷积的手绘检索方法. 首先通过Berkerly边缘检测算法将自然图转化为边缘图, 消除域差异. 然后将卷积神经网络中的部分标准卷积替换为可变形卷积, 使网络能够充分关注手绘图轮廓信息. 最后分别将手绘图与边缘图输入网络并提取全连接层特征作为特征描述子进行检索. 在基准数据集Flickr15k上的实验结果表明, 本文方法与现有方法相比能够有效提高手绘图像检索精度.     

图像的中介边缘检测方法

以中介真值程度的数值化度量为基础,通过引入距离比率函数度量像素点的灰度以及像素点间灰度的相似程度,并采用双域值和非局部极大值抑制方法,设计了新的图像边缘检测算法。通过仿真实例,与已有的典型算法处理结果比较表明,基于中介真值程度度量的图像边缘检测算法能有效去除噪声,并较好地保持图像边缘细节,因而更具有实用性和有效性。     

自然图像中目标轮廓上显著边缘检测的计算模型

如何模拟人类视觉感知系统的感知过程,建立一个鲁棒性较好、无监督的自然图像中目标轮廓上显著边缘检测的计算模型是文中要讨论的问题。首先确定自然图像中目标所在的子区域。然后通过分析纹理以及颜色等低级视觉特征得到一组潜在的轮廓边缘,对这些潜在的轮廓边缘进行闭合性分析,建立各条潜在边缘之间闭合关系的图模型。最后通过最短路径找出最优的轮廓上的显著边缘。将该模型用于多幅自然图像,实验效果较好。该模型在生物学上的合理性也得到验证。     

基于渐进式嵌套特征的融合网络

显著目标检测是指通过引入人类视觉注意力机制,使计算机能检测视觉场景中人们最感兴趣的区域或对象.针对显著性目标检测中存在检测边缘不清晰、检测目标不完整及小目标漏检的问题,文中提出基于渐进式嵌套特征的融合网络.网络采用渐进式压缩模块,将较深层特征不断向下传递融合,在降低模型参数量的同时也充分利用高级语义信息.先设计加权特征融合模块,将编码器的多尺度特征聚合成可访问高级信息和低级信息的特征图.再将聚合的特征分配到其它层,充分获取图像上下文信息及关注图像中的小目标对象.同时引入非对称卷积模块,进一步提高检测准确性.在6个公开数据集上的实验表明文中网络取得较优的检测效果.     

基于分块对比的多尺度图像显著区域检测

针对图像显著区域检测区域轮廓不明确,抗噪能力弱的问题,提出一种基于分块对比的多尺度图像显著区域检测。该方法以Itti模型为基础,在多尺度下提取图像特征以更全面地表现图像的总体特征;以图像块为单位计算图像的局部对比度作为图像的显著值;用自适应阈值法从显著图中提取显著区域。仿真实验结果表明,该方法能够准确地提取图像的显著性区域,使区域具有明确的边界。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

基于深度中心邻域金字塔结构的显著目标检测

基于中心邻域的对比度计算在基于深度学习的算法中应用甚少.因此,文中提出基于深度中心邻域金字塔结构的显著目标检测方法.结合中心邻域对比度机制和卷积神经网络,用于显著目标检测.首先为网络的各阶段引入深层语义特征.再利用扩张卷积建立中心邻域金字塔,捕获不同级别的对比度信息,生成多尺度注意力子图.最后进一步融合所有注意力子图,得到最终的显著目标检测结果.在4个公用数据集上的对比实验表明,文中算法具有较低的平均绝对误差和较高的F测度值.     

基于注意力机制的显著性目标检测方法

针对目前主流的基于全卷积神经网络的显著性目标检测方法,受限于卷积层感受野大小,低层特征缺少全局性的信息,而高层特征由于多次池化操作分辨率较低,无法准确地预测目标边缘等细节的问题,本文提出了基于注意力的显著性目标检测方法。在ResNet-50网络中加入注意力精炼模块,利用训练样本的显著真值图对空间注意力进行有监督的学习,使得不同像素位置的相关性更准确。通过深度融合多尺度的特征,用低层特征优化高层特征,精修网络的预测结果使其更加准确。在DUT-OMRON和ECSSD数据集上的测试结果显示,本文方法能显著提升检测效果,F-measure和平均绝对误差都优于其他同类方法。