RGB-D图像的贝叶斯显著性检测

本文提出了一种基于贝叶斯框架融合颜色和深度对比特征的RGB-D图像显著性检测模型.基于空间先验的超像素对比计算得到深度特征,并通过高斯分布近似深度对比特征概率密度建模深度显著图.类似于深度显著性计算,采用高斯分布计算多尺度超像素低层对比特征得到颜色显著图.假设在给定显著类别下颜色和深度对比特征条件独立,依据贝叶斯定理,由深度显著概率和颜色显著概率得到RGB-D图像显著性后验概率,并采用判别混合分量朴素贝叶斯（DMNB）模型进行计算,其中DMNB模型中的高斯分布参数由变分最大期望算法进行估计.在RGB-D图像显著性检测公开数据集的实验结果表明提出的模型优于现有的方法.     

小样本条件下的RGB-D显著性物体检测

目的 现有基于RGB-D （RGB-depth）的显著性物体检测方法往往通过全监督方式在一个较小的RGB-D训练集上进行训练,因此其泛化性能受到较大的局限。受小样本学习方法的启发,本文将RGB-D显著性物体检测视为小样本问题,利用模型解空间优化和训练样本扩充两类小样本学习方法,探究并解决小样本条件下的RGB-D显著性物体检测。方法 模型解空间优化通过对RGB和RGB-D显著性物体检测这两种任务进行多任务学习,并采用模型参数共享的方式约束模型的解空间,从而将额外的RGB显著性物体检测任务学习到的知识迁移至RGB-D显著性物体检测任务中。另外,训练样本扩充通过深度估计算法从额外的RGB数据生成相应的深度图,并将RGB图像和所生成的深度图用于RGB-D显著性物体检测任务的训练。结果 在9个数据集上的对比实验表明,引入小样本学习方法能有效提升RGB-D显著性物体检测的性能。此外,对不同小样本学习方法在不同的RGB-D显著性物体检测模型下（包括典型的中期融合模型和后期融合模型）进行了对比研究,并进行相关分析与讨论。结论 本文尝试将小样本学习方法用于RGB-D显著性物体检测,探究并利用两种不同小样本学习方法迁移额外的RGB图像知识,通过大量实验验证了引入小样本学习来提升RGB-D显著性物体检测性能的可行性和有效性,对后续将小样本学习引入其他多模态检测任务也提供了一定的启示。     

基于贝叶斯框架融合的RGB-D图像显著性检测

为了有效融合RGB图像颜色信息和Depth图像深度信息, 提出一种基于贝叶斯框架融合的RGB-D图像显著性检测方法.通过分析3D显著性在RGB图像和Depth图像分布的情况, 采用类条件互信息熵(Class-conditional mutual information, CMI)度量由深层卷积神经网络提取的颜色特征和深度特征的相关性, 依据贝叶斯定理得到RGB-D图像显著性后验概率.假设颜色特征和深度特征符合高斯分布, 基于DMNB (Discriminative mixed-membership naive Bayes)生成模型进行显著性检测建模, 其模型参数由变分最大期望算法进行估计.在RGB-D图像显著性检测公开数据集NLPR和NJU-DS2000上测试, 实验结果表明提出的方法具有更高的准确率和召回率.     

多尺度构图先验的显著目标检测

目的 针对基于对比度的显著检测方法,因忽略了特征的空间分布而导致准确性不高的问题,启发于边界先验关于图像空间布局的思想,提出构图先验的显著检测方法。方法 假定目标分布于三分构图线周围,根据相关性比较计算显著值。首先,对图像进行多尺度超像素分割并构造闭环图;其次,提取构图线区域超像素特征并使用Manifold Ranking算法计算显著目标与背景的分布;然后,从目标和背景两个角度对显著值进行细化并利用像素区别性对像素点的显著值进行矫正;最后,融合多尺度显著值得到最终显著图。结果 在公开的MSRA-1000、CSSD、ECSSD数据集上验证本文方法并与其他算法进行对比。本文方法在各数据集上准确率最高,分别为92.6%,89.2%,76.6%。且处理单幅图像平均时间为0.692 s,和其他算法相比也有一定优势。结论 人眼视觉倾向于在构图线周围寻找显著目标,构图先验是根据人眼注意机制研究显著性,具有合理性,且构图先验的方法提高了显著目标检测的准确性。     

采用跳层卷积神经网络的RGB-D图像显著性检测

RGB-D图像显著性检测旨在提取三维图像中的显著目标.为解决当前显著性检测算法难以检测出光线干扰场景内的目标和低对比度的目标等问题,提出了基于跳层卷积神经网络的RGB-D图像显著性检测方法.利用VGG网络分离出RGB图像和深度图像的浅层与深层特征,而后进行特征提取;以跳层结构为基础连接提取到的特征,实现融合深度、颜色、...     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

融合双特征图信息的图像显著性检测方法

目的 图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来,并应用到图像分割、图像压缩、图像检索、目标识别等重要领域。针对现有研究方法显著性目标检测结果不完整以及单一依靠颜色差异检测方法的局限性,提出一种综合图像底层颜色对比特征图和图像颜色空间分布特征图的显著性检测方法,能够有效而完整地检测出图像中的显著性区域。方法 本文方法结合了SLIC超像素分割和K-means聚类算法进行图像特征的提取。首先,对图像进行SLIC（simple linear iterative clustering）分割,根据像素块之间的颜色差异求取颜色对比特征图;其次,按照颜色特征对图像进行K-means聚类,依据空间分布紧凑性和颜色分布统一性计算每个类的初步颜色空间分布特征。由于聚类结果中不包含空间信息,本文将聚类后的结果映射到超像素分割的像素块上,进一步优化颜色空间分布图;最后,通过融合颜色对比显著图和图像颜色空间分布特征图得到最终的显著图。结果 针对公开的图像测试数据库MSRA-1000,本文方法与当前几种流行的显著性检测算法进行了对比实验,实验结果表明,本文方法得到的显著性区域更准确、更完整。结论 本文提出了一种简单有效的显著性检测方法,结合颜色对比特征图和图像颜色空间分布特征图可以准确的检测出显著性区域。该结果可用于目标检测等实际问题,但该方法存在一定的不足,对于背景色彩过于丰富且与特征区域有近似颜色的图像,该方法得到的结果有待改进。今后对此算法的优化更加侧重于通用性。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

图像级别和像素级别的显著图像的融合

RGB-D图像显著目标检测旨在从一对RGB图像和深度图像中识别视觉上最显著的目标。目前,学术界已经提出了各种有效的单幅RGB-D图像显著性检测方法,而这些检测方法之间存在着优势互补。因此,对各种方法生成的显著图进行融合以提高显著性检测精度的研究工作同样不可或缺。在对相关显著图像融合工作研究后,提出两个级别上的融合过程。首先,运用多种现成的RGB-D显著图检测方法生成初始显著图;其次,分别对图像级和像素级两个层面上的显著图融合工作进行了研究,再将这两个层面上得到的显著图按比例进行融合,得到最终的图像显著图。实验结果表明,该显著图融合方法的效果不仅优于单个图像显著性检测方法,而且和其他的融合方法相比,也具有一定优势。     

融合深度特征和多核增强学习的显著目标检测

目的 针对现有基于手工特征的显著目标检测算法对于显著性物体尺寸较大、背景杂乱以及多显著目标的复杂图像尚不能有效抑制无关背景区域且完整均匀高亮显著目标的问题,提出了一种利用深度语义信息和多核增强学习的显著目标检测算法。方法 首先对输入图像进行多尺度超像素分割计算,利用基于流形排序的算法构建弱显著性图。其次,利用已训练的经典卷积神经网络对多尺度序列图像提取蕴含语义信息的深度特征,结合弱显著性图从多尺度序列图像内获得可靠的训练样本集合,采用多核增强学习方法得到强显著性检测模型。然后,将该强显著性检测模型应用于多尺度序列图像的所有测试样本中,线性加权融合多尺度的检测结果得到区域级的强显著性图。最后,根据像素间的位置和颜色信息对强显著性图进行像素级的更新,以进一步提高显著图的准确性。结果 在常用的MSRA5K、ECSSD和SOD数据集上与9种主流且相关的算法就准确率、查全率、F-measure值、准确率—召回率（PR）曲线、加权F-measure值和覆盖率（OR）值等指标和直观的视觉检测效果进行了比较。相较于性能第2的非端到端深度神经网络模型,本文算法在3个数据集上的平均F-measure值、加权F-measure值、OR值和平均误差（MAE）值,分别提高了1.6%,22.1%,5.6%和22.9%。结论 相较于基于手工特征的显著性检测算法,本文算法利用图像蕴含的语义信息并结合多个单核支持向量机（SVM）分类器组成强分类器,在复杂图像上取得了较好的检测效果。     

超像素条件随机场下的RGB-D视频显著性检测

目的 视觉显著性在众多视觉驱动的应用中具有重要作用,这些应用领域出现了从2维视觉到3维视觉的转换,从而基于RGB-D数据的显著性模型引起了广泛关注。与2维图像的显著性不同,RGB-D显著性包含了许多不同模态的线索。多模态线索之间存在互补和竞争关系,如何有效地利用和融合这些线索仍是一个挑战。传统的融合模型很难充分利用多模态线索之间的优势,因此研究了RGB-D显著性形成过程中多模态线索融合的问题。方法 提出了一种基于超像素下条件随机场的RGB-D显著性检测模型。提取不同模态的显著性线索,包括平面线索、深度线索和运动线索等。以超像素为单位建立条件随机场模型,联合多模态线索的影响和图像邻域显著值平滑约束,设计了一个全局能量函数作为模型的优化目标,刻画了多模态线索之间的相互作用机制。其中,多模态线索在能量函数中的权重因子由卷积神经网络学习得到。结果 实验在两个公开的RGB-D视频显著性数据集上与6种显著性检测方法进行了比较,所提模型在所有相关数据集和评价指标上都优于当前最先进的模型。相比于第2高的指标,所提模型的AUC（area under curve）,sAUC（shuffled AUC）,SIM（similarity）,PCC（Pearson correlation coefficient）和NSS（normalized scanpath saliency）指标在IRCCyN数据集上分别提升了2.3%,2.3%,18.9%,21.6%和56.2%;在DML-iTrack-3D数据集上分别提升了2.0%,1.4%,29.1%,10.6%,23.3%。此外还进行了模型内部的比较,验证了所提融合方法优于其他传统融合方法。结论 本文提出的RGB-D显著性检测模型中的条件随机场和卷积神经网络充分利用了不同模态线索的优势,将它们有效融合,提升了显著性检测模型的性能,能在视觉驱动的应用领域发挥一定作用。     

多角度融合的RGB-D显著检测

显著检测是计算机视觉的重要组成部分,但大部分的显著检测工作着重于2D图像的分析,并不能很好地应用于RGB-D图片的显著检测。受互补的显著关系在2D图像检测中取得的优越效果的启发,并考虑RGB-D图像包含的深度特征,提出多角度融合的RGB-D显著检测方法。此方法主要包括三个部分,首先,构建颜色深度特征融合的图模型,为显著计算提供准确的相似度关系;其次,利用区域的紧密度进行全局和局部融合的显著计算,得到相对准确的初步显著图;最后,利用边界连接权重和流形排序进行背景和前景融合的显著优化,得到均匀平滑的最终显著图。在RGBD1000数据集上的实验对比显示,所提出的方法超越了当前流行的方法,表明多个角度互补关系的融合能够有效提高显著检测的准确率。     

复杂自然环境下感兴趣区域检测

目的 感兴趣区域检测是图像处理领域的关键技术.人类视觉系统处理一个较为复杂的场景时,会首先将其视觉注意力集中于该场景中的几个特定对象上,这些对象被称为感兴趣区域.在图像处理和分析过程中,感兴趣区域检测模拟人类视觉,能够快速、准确抓住图像重点,降低图像处理计算量,有效提高计算机信息处理的效率.因此感兴趣区域检测对于图像分析和理解有着重要意义.为此,提出一种基于低层次图像信息与中层次图像信息相结合的自底向上的感兴趣区域检测方法.方法 首先通过彩色增强Harris算子检测角点进而得到凸包边界,通过凸包区域与超像素聚类结果计算中层次信息粗略显著图;然后将图像从RGB空间转换到CIELab空间,使用差分滤波器对图像进行滤波,得到低层次信息粗略显著图;最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图.结果 在微软亚洲研究院提供的公开数据库MSRA上验证了本文方法的有效性,根据该数据库人工标记的真值评价本文方法的检测效果,并与其他方法进行对比.其他方法的显著图是由其作者提供的源代码得到.在主观分析和客观判断两个方面的本文方法可有效抑制背景噪声,检测出的显著物具有均匀显著度,且边缘清晰.结论 本文方法是一种有效的图像预处理方法.     

联合聚焦度和传播机制的光场图像显著性检测

目的 图像显著性检测方法对前景与背景颜色、纹理相似或背景杂乱的场景,存在背景难抑制、检测对象不完整、边缘模糊以及方块效应等问题。光场图像具有重聚焦能力,能提供聚焦度线索,有效区分图像前景和背景区域,从而提高显著性检测的精度。因此,提出一种基于聚焦度和传播机制的光场图像显著性检测方法。方法 使用高斯滤波器对焦堆栈图像的聚焦度信息进行衡量,确定前景图像和背景图像。利用背景图像的聚焦度信息和空间位置构建前/背景概率函数,并引导光场图像特征进行显著性检测,以提高显著图的准确率。另外,充分利用邻近超像素的空间一致性,采用基于K近邻法（K-nearest neighbor,K-NN）的图模型显著性传播机制进一步优化显著图,均匀地突出整个显著区域,从而得到更加精确的显著图。结果 在光场图像基准数据集上进行显著性检测实验,对比3种主流的传统光场图像显著性检测方法及两种深度学习方法,本文方法生成的显著图可以有效抑制背景区域,均匀地突出整个显著对象,边缘也更加清晰,更符合人眼视觉感知。查准率达到85.16%,高于对比方法,F度量（F-measure）和平均绝对误差（mean absolute error,MAE）分别为72.79%和13.49%,优于传统的光场图像显著性检测方法。结论 本文基于聚焦度和传播机制提出的光场图像显著性模型,在前/背景相似或杂乱背景的场景中可以均匀地突出显著区域,更好地抑制背景区域。     

基于RGB-D的反向融合实例分割算法

RGB-D 图像在提供场景 RGB 信息的基础上添加了 Depth 信息,可以有效地描述场景的色彩及 三维几何信息。结合 RGB 图像及 Depth 图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘 细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取 RGB 与 Depth 图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时 在掩码分支引入掩码优化结构,从而实现 RGB-D 的反向融合实例分割。实验结果表明,反向融合特征模型能 够在 RGB-D 实例分割的研究中获得更加优异的成绩,有效地融合了 Depth 图像与彩色图像 2 种不同特征图像 特征,在使用 ResNet-101 作为骨干网络的基础上,与不加入深度信息的 Mask R-CNN 相比平均精度提高 10.6%, 比直接正向融合 2 种特征平均精度提高 4.5%。     

中心矩形构图先验的显著目标检测

目的 许多显著目标检测算法侧重从背景角度进行显著性检测,而从前景角度和空间角度进行显著性检测的算法较少,为了解决这个问题,提出了一种基于中心矩形构图先验的显著目标检测算法。方法 假定目标分布在中心矩形构图线附近。首先,对图像进行超像素分割并构造闭环图;其次,提取中心矩形构图线上的超像素特征,并进行流形排序,获取初始显著值;然后,通过基于中心矩形构图线获取的初始显著值确定中心矩形构图交点显著值和紧凑性关系显著值;最后,融合三者获得最终的中心矩形构图先验显著图。结果 通过MSRA-1000,CSSD,ECSSD,THUS-10000数据集对比验证了中心矩形构图先验算法有较高的准确度和最高的F-measure值,整体效果上优于目前先进的几种算法。且处理单幅图像的平均时间为0.673 s,相比与其他算法也有较大优势。结论 从前景角度和空间角度考虑的中心矩形构图先验的显著目标检测算法相比于传统的算法更加具有鲁棒性,无论图像是复杂的还是简单的,都取得很好的检测效果,充分说明算法的有效性。