融合背景先验与中心先验的显著性目标检测

目的 现有的显著性目标检测算法通常基于单一的先验信息,导致提取的原图像信息不全面,为了解决该问题,提出一种新的基于背景先验与中心先验相融合的显著目标检测算法。方法 该方法首先以边缘超像素为吸收节点,利用马尔可夫吸收链计算其他超像素的平均吸收时间作为背景先验值,得到背景先验图;然后使用改进Harris角点检测估计目标区域位置,建立峰值位于目标中心的2维高斯函数,计算各超像素的中心先验值,获取中心先验图;最后将背景先验图与中心先验图相融合得到显著图。同时该方法融合多尺度检测结果,进一步提高显著值的准确性。结果 通过ASD、SED1、SED2和SOD 4个公开数据库对比验证了基于背景先验与中心先验相融合算法具有较高的查准率、查全率和F-measure,相较于基于马尔可夫吸收链算法均提高了3%以上,总体效果明显优于目前的10种主流算法。结论 相较于基于单一先验信息的算法,基于背景先验与中心先验相融合的算法充分利用了图像信息,在突出全局对比的同时也保留了较多的局部信息,能高亮地凸显图像中的显著性目标。该方法在检测单一目标的图片时效果显著,但对于多目标的显著性检测尚有不足。     

结合背景和前景先验的显著性检测

目的 显著性检测已成为图像处理过程中的一个重要步骤,已被应用到许多计算机视觉任务中。虽然显著性检测已被研究多年并取得了较大的进展,但仍存在一些不足,例如在复杂场景中的检测不准确或检测结果夹带着背景噪声等。因此,针对已有图像显著性检测方法存在的不能有效抑制背景区域,或不能清晰突显出完整的目标区域的缺点,提出一种结合背景先验和前景先验信息的图像显著性检测算法。方法 首先选取图像的边界超像素作为背景区域,从而根据每个区域与背景区域的差异度来建立背景先验显著图;然后通过计算特征点来构建一个能够粗略包围目标区域的凸包,并结合背景先验显著图来选取前景目标区域,从而根据每个区域与前景目标区域的相似度来生成前景先验显著图;最后融合这两个显著图并对其结果进一步优化得到更加平滑和准确的显著图。结果 利用本文算法对MSRA10K数据库内图像进行显著性检测,并与主流的算法进行对比。本文算法的检测效果更接近人工标注,而且精确率和效率都优于所对比的算法,其中平均精确率为87.9%,平均召回率为79.17%,F值为0.852 6,平均绝对误差（MAE）值为0.113,以及平均运行时间为0.723 s。结论 本文提出了一种结合两类先验信息的显著性检测算法,检测结果既能够有效地抑制背景区域,又能清晰地突显目标区域,从而提高了检测的准确性。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

多尺度构图先验的显著目标检测

目的 针对基于对比度的显著检测方法,因忽略了特征的空间分布而导致准确性不高的问题,启发于边界先验关于图像空间布局的思想,提出构图先验的显著检测方法。方法 假定目标分布于三分构图线周围,根据相关性比较计算显著值。首先,对图像进行多尺度超像素分割并构造闭环图;其次,提取构图线区域超像素特征并使用Manifold Ranking算法计算显著目标与背景的分布;然后,从目标和背景两个角度对显著值进行细化并利用像素区别性对像素点的显著值进行矫正;最后,融合多尺度显著值得到最终显著图。结果 在公开的MSRA-1000、CSSD、ECSSD数据集上验证本文方法并与其他算法进行对比。本文方法在各数据集上准确率最高,分别为92.6%,89.2%,76.6%。且处理单幅图像平均时间为0.692 s,和其他算法相比也有一定优势。结论 人眼视觉倾向于在构图线周围寻找显著目标,构图先验是根据人眼注意机制研究显著性,具有合理性,且构图先验的方法提高了显著目标检测的准确性。     

融合深度特征和多核增强学习的显著目标检测

目的 针对现有基于手工特征的显著目标检测算法对于显著性物体尺寸较大、背景杂乱以及多显著目标的复杂图像尚不能有效抑制无关背景区域且完整均匀高亮显著目标的问题,提出了一种利用深度语义信息和多核增强学习的显著目标检测算法。方法 首先对输入图像进行多尺度超像素分割计算,利用基于流形排序的算法构建弱显著性图。其次,利用已训练的经典卷积神经网络对多尺度序列图像提取蕴含语义信息的深度特征,结合弱显著性图从多尺度序列图像内获得可靠的训练样本集合,采用多核增强学习方法得到强显著性检测模型。然后,将该强显著性检测模型应用于多尺度序列图像的所有测试样本中,线性加权融合多尺度的检测结果得到区域级的强显著性图。最后,根据像素间的位置和颜色信息对强显著性图进行像素级的更新,以进一步提高显著图的准确性。结果 在常用的MSRA5K、ECSSD和SOD数据集上与9种主流且相关的算法就准确率、查全率、F-measure值、准确率—召回率（PR）曲线、加权F-measure值和覆盖率（OR）值等指标和直观的视觉检测效果进行了比较。相较于性能第2的非端到端深度神经网络模型,本文算法在3个数据集上的平均F-measure值、加权F-measure值、OR值和平均误差（MAE）值,分别提高了1.6%,22.1%,5.6%和22.9%。结论 相较于基于手工特征的显著性检测算法,本文算法利用图像蕴含的语义信息并结合多个单核支持向量机（SVM）分类器组成强分类器,在复杂图像上取得了较好的检测效果。     

分层信息融合的物体级显著性检测

目的 显著性检测是基于对人类视觉的研究,用来帮助计算机传感器感知世界的重要研究手段。现有显著性检测方法大多仅能检测出人类感兴趣的显著点或区域,无法突出对象整体的显著性以及无法区分对象不同层次的显著性。针对上述问题,提出一种基于分层信息融合的物体级显著性检测方法。方法 与当前大多数方法不同,本文同时运用了中级别超像素和物体级别区域两种不同层次的结构信息来获取对象的显著图。首先,将图像分割为中级别的超像素,利用自下而上的方法构造初始显著图;然后通过谱聚类方法将中级别的超像素聚类成物体级的区域,并运用自上而下的先验来调整初始先验图;最后,通过热核扩散过程,将超像素级别上的显著性扩散到物体级的区域上,最终获得一致的均匀的物体级显著性图。结果 在MSRA1000标准数据库上与其他16种相关算法在准确率-召回率曲线及F度量等方面进行了定量比较,检测的平均精度和F-检验分数比其他算法高出5%以上。结论 通过多层次信息融合最终生成的显著图,实现了突出对象整体显著性以及区分不同对象显著性的目标。本文方法同样适用于多目标的显著性检测。     

改进背景先验和前景先验的显著性检测

针对传统的流行排序显著性检测算法存在的问题,本文提出了改进背景先验和前景先验的显著性检测.首先计算图像的凸包,并将图像分割成不同尺度的超像素;然后以凸包区域之外的超像素为背景种子,结合多尺度下图像的多种底层特征得到最终的背景显著图;第三,以凸包区域之内的超像素为前景种子,结合多尺度下图像的多种底层特征得到最终的前景显著图;第四,融合最终的背景显著图和最终的前景显著图得到弱显著图,通过多核增强(MKB)算法对由弱显著图生成的训练样本进行强分类,生成强显著图;最后综合强弱显著图,得到最终的显著图.通过在MSRA1000,PASCAL和ECSSD数据集上与其他13种算法进行对比,验证了本文算法在显著目标检测的准确性方面更具优势.     

基于自适应背景模板与空间先验的显著性物体检测方法

目前,显著性检测已成为国内外计算机视觉领域研究的一个热点,但现有的显著性检测算法大多无法有效检测出位于图像边缘的显著性物体.针对这一问题,本文提出了基于自适应背景模板与空间先验的显著性物体检测方法,共包含三个步骤:第一,根据显著性物体在颜色空间上具有稀有性,获取基于自适应背景模板的显著图.将图像分割为超像素块,提取原图的四周边界作为原始背景区域.利用设计的自适应背景选择策略移除原始背景区域中显著的超像素块,获取自适应背景模板.通过计算每个超像素块与自适应背景模板的相异度获取基于自适应背景模板的显著图.并采用基于K-means的传播机制对获取的显著图进行一致性优化;第二,根据显著性物体在空间分布上具有聚集性,利用基于目标中心优先与背景模板抑制的空间先验方法获得空间先验显著图.第三,将获得的两种显著图进行融合得到最终的显著图.在公开数据集MSRA-1000、SOD、ECSSD和新建复杂数据集CBD上进行实验验证,结果证明本文方法能够准确有效地检测出图像中的显著性物体.     

结合区域协方差分析的图像显著性检测

目的 图像显著性检测的目的是为了获得高质量的能够反映图像不同区域显著性程度的显著图,利用图像显著图可以快速有效地处理图像中的视觉显著区域。图像的区域协方差分析将图像块的多维特征信息表述为一个协方差矩阵,并用协方差距离来度量两个图像块特征信息的差异大小。结合区域协方差分析,提出一种新的图像显著性检测方法。方法 该方法首先将输入的图像进行超像素分割预处理;然后基于像素块的区域协方差距离计算像素块的显著度;最后对像素块进行上采样用以计算图像像素点的显著度。结果 利用本文显著性检测方法对THUS10000数据集上随机选取的200幅图像进行了显著性检测并与4种不同方法进行了对比,本文方法估计得到的显著性检测结果更接近人工标定效果,尤其是对具有复杂背景的图像以及前背景颜色接近的图像均能达到较好的检测效果。结论 本文方法将图像像素点信息和像素块信息相结合,避免了单个噪声像素点引起图像显著性检测的不准确性,提高了检测精确度;同时,利用协方差矩阵来表示图像特征信息,避免了特征点的数量、顺序、光照等对显著性检测的影响。该方法可以很好地应用到显著目标提取和图像分割应用中。     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

基于图的流行排序的显著目标检测改进算法

针对现有基于图的流行排序的显著目标检测研究算法对于背景先验假设过于理想导致其在复杂背景图像检测中效果较不佳的问题,提出一种基于仿射传播聚类和流行排序的改进算法。首先根据位于边界的超像素集的颜色对比度进行背景提取;然后在背景估计和前景估计的显著性计算中利用仿射传播算法将提取的背景按颜色自适应聚类,根据各聚类簇分别采用经典的流行排序算法计算显著性,最后合并排序结果并融合多尺度显著值得到最终的显著图。在常用的公开的ASD、ECSSD、DUTOMRON和SED2数据集上与九种流行算法就准确率、召回率、F-measure、PR曲线和AUC值等指标和直观的视觉检测效果进行了比较,证明了所提算法的有效性。     

视觉感知正反馈的显著性检测

目的 人类视觉系统性能远超当前机器视觉,模拟人类视觉机制改进当前算法是有效研究途径,为此提出一种视觉感知正反馈模型,通过循环迭代、重复叠加视觉刺激生成更符合人类感知的视觉显著性图。方法 首先用多种常规方法检测图像显著度,模拟人类视觉多通道特性,再组合这些显著图为综合显著图;利用显著度大的像素构建初始注视区。其次借助集成RVFL（随机向量功能网络）模拟人脑神经网络产生视觉刺激,对注视与非注视区内像素在线“随机采样—学习建模”,图像像素经模型分类获得新注视区。对新注视区与非注视区,可重复迭代进行“随机采样—学习建模—像素分类”;迭代中若注视区连续相同,则表明感知饱和,迭代终止。若将每次像素分类结果看做是一种视觉刺激,则多次视觉刺激输出叠加,可生成新的图像显著性图。最终的像素分类结果就是图像分割目标。结果 将本文算法与现有方法在标准图像数据库上进行对比评测,包括通过对6种算法在ECSSD、SED2和MSRA10K 3个图像数据库上的P-R曲线,F-measure值和平均绝对误差（MAE）值上进行定量分析,对6种模型生成的显著性图作定性比较。数据表明,本文算法在SED2和MSRA10K图象数据库中性能最好,在ECSSD图象数据库中稍低于BL（bootstrap learning）和RBD（robust background detection）算法。本文算法的显著图与人类视觉感知更接近。且算法的正反馈迭代过程一般可迅速饱和,并未显著增加算法负担。实验结果表明,本文方法可作为一种有效的后处理手段,显著提升常规显著性检测算法的性能。结论 提出了一种模拟人类视觉机制的数据驱动显著性检测算法,无需图像先验知识和事先的标记样本。面对多目标,背景复杂等情况,本文方法具有相对好的鲁棒性和适用性,并且能够较好解决现实环境中图像处理算法的通用性、可靠性和准确性问题。     

多尺度卷积神经网络显著物体检测

目的 传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法 在VGG（visual geometry group）模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场（conditional random field,CRF）模型对得到的显著性特征图进行调整。结果 本文在6个广泛使用的公开数据集DUT-OMRON（Dalian University of Technology and OMRON Corporation）、ECSSD（extended complex scene saliency dataset）、SED2（segmentation evalution database 2）、HKU、PASCAL-S和SOD（salient objects dataset）上进行了测试,并就准确率—召回率（precision-recall,PR）曲线、F测度值（F-measure）、最大F测度值、加权F测度值和均方误差（mean absolute error,MAE）等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论 本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。     

多尺度分割先验迭代重加权低秩恢复显著性检测

目的 现有显著性检测方法大多只关注显著目标的中心信息,使得算法只能得到中心清晰、边缘模糊的显著目标,丢失了一些重要的边界信息,而使用核范数约束进行低秩矩阵恢复,运算过程冗余。为解决以上问题,本文提出一种无监督迭代重加权最小二乘低秩恢复算法,用于图像视觉显著性检测。方法 将图像分为细中粗3种尺度的分割,从细粒度和粗粒度先验的融合中得到分割先验信息;将融合后的分割先验信息通过迭代重加权最小二乘法求解平滑低秩矩阵恢复,生成粗略显著图;使用中粒度分割先验对粗略显著图进行平滑,生成最终的视觉显著图。结果 实验在MSRA10K（Microsoft Research Asia 10K）、SOD（salient object detection dataset）和ECSSD（extended complex scene saliency dataset）数据集上进行测试,并与现有的11种算法进行对比。结果表明,本文算法可生成边界清晰的显著图。在MSRA10K数据集上,本文算法实现了最高的AUC（area under ROC（receiver operating characteristic）curve）和F-measure值,MAE（mean absolute error）值仅次于SMD（structured matrix decomposition）算法和RBD（robust back ground detection）算法,AUC和F-measure值比次优算法RPCA（robust principal component analysis）分别提高了3.9%和12.3%;在SOD数据集上,综合AUC、F-measure和MAE值来看,本文算法优于除SMD算法以外的其他算法,AUC值仅次于SMD算法、SC（smoothness constraint）算法和GBVS（graph-based visual salieney）算法,F-measure值低于最优算法SMD 2.6%;在ECSSD数据集上,本文算法实现了最高的F-measure值75.5%,AUC值略低于最优算法SC 1%,MAE值略低于最优算法HCNs（hierarchical co-salient object detection via color names）2%。结论 实验结果表明,本文算法能从前景复杂或背景复杂的显著图像中更准确地检测出边界清晰的显著目标。     

融合连续区域特性和背景学习模型的显著计算

为了提高显著性模型的计算效率,提出基于连续区域特性和背景学习的模型,分别提取图像的显著区域,并进行融合.首先计算区域显著目标像素与周围像素位置的距离,提出基于贝叶斯的区域显著性对比的度量方法.然后采用连续性区域合并,合并空洞区域与其最相似的邻居区域.之后采用3种典型的显著性算法处理同一幅图像,得到不同的显著特征图,采用反差法得到各特征图的背景,建立混合高斯背景模型,加权学习合成背景图,再与原图作差得到前景显著区域.最后结合细胞调节规律融合得到的显著区域.在SED1、ASD图像库中测试文中算法,所得的F-measure、平均误差都较优.     

基于全卷积神经网络与低秩稀疏分解的显著性检测

为了准确检测复杂背景下的显著区域,提出一种全卷积神经网络与低秩稀疏分解相结合的显著性检测方法,将图像分解为代表背景的低秩矩阵和对应显著区域的稀疏噪声,结合利用全卷积神经网络学习得到的高层语义先验知识,检测图像中的显著区域.首先,对原图像进行超像素聚类,并提取每个超像素的颜色、纹理和边缘特征,据此构成特征矩阵;然后,在MSRA数据库中,基于梯度下降法学习得到特征变换矩阵,利用全卷积神经网络学习得到高层语义先验知识;接着,利用特征变换矩阵和高层语义先验知识矩阵对特征矩阵进行变换;最后,利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解,并根据分解得到的稀疏噪声计算显著图.在公开数据集上进行实验验证,并与当前流行的方法进行对比,实验结果表明,本文方法能够准确地检测感兴趣区域,是一种有效的自然图像目标检测与分割的预处理方法.