利用背景先验的显著性检测算法

目的 针对图像的显著区域检测问题,提出一种利用背景先验知识和多尺度分析的显著性检测算法。方法 首先,将原始图像在不同尺度下分解为超像素。然后,在每种尺度下根据各超像素之间的特征差异估计背景,提取背景区域,获取背景先验知识。根据背景先验计算各超像素的显著性,得到显著图。最后,将不同超像素尺度下的显著图进行融合得到最终显著图。结果 在公开的MASR-1000、ECSSD、SED和SOD数据集上进行实验验证,并和目前流行的算法进行实验对比。本文算法的准确率、召回率、F-Measure以及平均绝对误差均在4个数据集上的平均值分别为0.718 9、0.699 9、0.708 6和0.042 3,均优于当前流行的算法。结论 提出了一种新的显著性检测算法,对原始图像进行多尺度分析,利用背景先验计算视觉显著性。实验结果表明,本文算法能够完整、准确地检测显著性区域,适用于自然图像的显著性目标检测或目标分割应用。     

分层信息融合的物体级显著性检测

目的 显著性检测是基于对人类视觉的研究,用来帮助计算机传感器感知世界的重要研究手段。现有显著性检测方法大多仅能检测出人类感兴趣的显著点或区域,无法突出对象整体的显著性以及无法区分对象不同层次的显著性。针对上述问题,提出一种基于分层信息融合的物体级显著性检测方法。方法 与当前大多数方法不同,本文同时运用了中级别超像素和物体级别区域两种不同层次的结构信息来获取对象的显著图。首先,将图像分割为中级别的超像素,利用自下而上的方法构造初始显著图;然后通过谱聚类方法将中级别的超像素聚类成物体级的区域,并运用自上而下的先验来调整初始先验图;最后,通过热核扩散过程,将超像素级别上的显著性扩散到物体级的区域上,最终获得一致的均匀的物体级显著性图。结果 在MSRA1000标准数据库上与其他16种相关算法在准确率-召回率曲线及F度量等方面进行了定量比较,检测的平均精度和F-检验分数比其他算法高出5%以上。结论 通过多层次信息融合最终生成的显著图,实现了突出对象整体显著性以及区分不同对象显著性的目标。本文方法同样适用于多目标的显著性检测。     

融合深度特征和多核增强学习的显著目标检测

目的 针对现有基于手工特征的显著目标检测算法对于显著性物体尺寸较大、背景杂乱以及多显著目标的复杂图像尚不能有效抑制无关背景区域且完整均匀高亮显著目标的问题,提出了一种利用深度语义信息和多核增强学习的显著目标检测算法。方法 首先对输入图像进行多尺度超像素分割计算,利用基于流形排序的算法构建弱显著性图。其次,利用已训练的经典卷积神经网络对多尺度序列图像提取蕴含语义信息的深度特征,结合弱显著性图从多尺度序列图像内获得可靠的训练样本集合,采用多核增强学习方法得到强显著性检测模型。然后,将该强显著性检测模型应用于多尺度序列图像的所有测试样本中,线性加权融合多尺度的检测结果得到区域级的强显著性图。最后,根据像素间的位置和颜色信息对强显著性图进行像素级的更新,以进一步提高显著图的准确性。结果 在常用的MSRA5K、ECSSD和SOD数据集上与9种主流且相关的算法就准确率、查全率、F-measure值、准确率—召回率（PR）曲线、加权F-measure值和覆盖率（OR）值等指标和直观的视觉检测效果进行了比较。相较于性能第2的非端到端深度神经网络模型,本文算法在3个数据集上的平均F-measure值、加权F-measure值、OR值和平均误差（MAE）值,分别提高了1.6%,22.1%,5.6%和22.9%。结论 相较于基于手工特征的显著性检测算法,本文算法利用图像蕴含的语义信息并结合多个单核支持向量机（SVM）分类器组成强分类器,在复杂图像上取得了较好的检测效果。     

利用LapSVM的快速显著性检测方法

目的 随着互联网技术的发展,信息的数量呈几何级数增长。信息改变着人类的传统生活方式,它可以给人们的娱乐,教育,商业活动提供便利。但是另一方面,需要处理的信息数量大大超过了计算机的处理能力,因此,如何使计算机能像人眼一样可以自动在大量信息中选择重要信息进行加工就显得十分重要。图像的视觉显著性信息能够反映图像中不同区域对人视觉系统刺激的程度。可靠的显著性方法可以从大量的信息中自动预测预测和挖掘重要的视觉信息,这些信息可以为图像分割、图像检索等应用提供有价值的线索。目前,显著性检测算法的鲁棒性和实时性是研究的热点。本文提出一种基于拉普拉斯支持向量机（LapSVM）的快速显著性检测方法。方法 采用简单线性迭代聚类算法SLIC（simple linear iterative clustering）将原始图像首先分成若干个超像素块,并用它代替图像像素参与计算,可以减少算法所需的计算量。利用超像素之间相似性构建图Laplacian。分析每个图像块的边缘特性定义粗糙标识样本,并利用一种快速LapSVM进行分类。LapSVM是一种基于流形正则化的半监督分类方法。通过引入提前停止机制来加速LapSVM的训练。这样可以快速地计算出一个近似结果。计算的复杂性由原来的O（n³）降到了O（kn²）,其中n是未标识样本和标识样本的数量。k是经验评价值,它远远小于n。通过分析得到的分类结果,提取出更准确的背景和目标样本作为新的标识样本再次进行LapSVM分类。最后,利用能量函数对分类结果进行优化得到最终的显著性检测结果。结果 ASD数据库是MSRA数据库的子集,包含1 000幅图片,被广泛用于各种显著性检测算法的实验中。本文算法在ASD图像数据库上与7种流行的图像显著性检测算法进行对比实验。本文算法不仅在准确率和召回率上保持了与其他算法相当的鲁棒性,平均绝对误差达到4%左右,同时算法的平均运行时间缩短为0.03 s左右。结论 提出一种基于LapSVM的快速图像显著性检测算法,通过区域边缘特征和分类结果分析,实现图像中背景和目标样本的准确检测。实验结果表明,本文算法具有良好的鲁棒性,显著地提高了算法的实时性。因此,与其他算法相比本文算法更适用于检测跟踪等实时性要求较高的场合。该方法可以在较短的时间内,以更好地准确率水平提取显著性区域。     

视线跟踪技术的图像质量主观数据库构建及其可视化

目的 视线跟踪技术是当前最新的无干扰地获得人类视觉注意力的生物测量方法。将视线跟踪方法的原理其应用于图像质量感知研究,建立了首个基于眼动的图像质量感知数据库XJTU_ETSS。方法 应用单刺激图像质量评价法,在Tobii TX300的眼动平台上对900幅原始和失真图像进行了49人的60 Hz眼动主观测试。对含眼动的失真图像进行了可视化分析,即利用注视图、热图和自动聚类感兴趣区域图分析注意力在失真图像上的分布特点。结果 针对XJTU_ETSS眼动数据特点,利用反映群体视觉注意力共性的热图可视化方法具体对数据库中一组原始图像和其对应的6种失真图像上的热图进行了比较和定性分析,直观地显了原始图像和不同种类失真图像上视觉注意力的分布特征。结论 通过实验结果可知,视线跟踪方法能十分直观地揭示人在主观图像感知过程中的特性,这对于今后建立基于人眼注意力模型的图像客观评价算法,以及更加深入地揭示人类视觉系统的感知机制都有着现实而重要的意义。     

融合背景先验与中心先验的显著性目标检测

目的 现有的显著性目标检测算法通常基于单一的先验信息,导致提取的原图像信息不全面,为了解决该问题,提出一种新的基于背景先验与中心先验相融合的显著目标检测算法。方法 该方法首先以边缘超像素为吸收节点,利用马尔可夫吸收链计算其他超像素的平均吸收时间作为背景先验值,得到背景先验图;然后使用改进Harris角点检测估计目标区域位置,建立峰值位于目标中心的2维高斯函数,计算各超像素的中心先验值,获取中心先验图;最后将背景先验图与中心先验图相融合得到显著图。同时该方法融合多尺度检测结果,进一步提高显著值的准确性。结果 通过ASD、SED1、SED2和SOD 4个公开数据库对比验证了基于背景先验与中心先验相融合算法具有较高的查准率、查全率和F-measure,相较于基于马尔可夫吸收链算法均提高了3%以上,总体效果明显优于目前的10种主流算法。结论 相较于基于单一先验信息的算法,基于背景先验与中心先验相融合的算法充分利用了图像信息,在突出全局对比的同时也保留了较多的局部信息,能高亮地凸显图像中的显著性目标。该方法在检测单一目标的图片时效果显著,但对于多目标的显著性检测尚有不足。     

多尺度分割先验迭代重加权低秩恢复显著性检测

目的 现有显著性检测方法大多只关注显著目标的中心信息,使得算法只能得到中心清晰、边缘模糊的显著目标,丢失了一些重要的边界信息,而使用核范数约束进行低秩矩阵恢复,运算过程冗余。为解决以上问题,本文提出一种无监督迭代重加权最小二乘低秩恢复算法,用于图像视觉显著性检测。方法 将图像分为细中粗3种尺度的分割,从细粒度和粗粒度先验的融合中得到分割先验信息;将融合后的分割先验信息通过迭代重加权最小二乘法求解平滑低秩矩阵恢复,生成粗略显著图;使用中粒度分割先验对粗略显著图进行平滑,生成最终的视觉显著图。结果 实验在MSRA10K（Microsoft Research Asia 10K）、SOD（salient object detection dataset）和ECSSD（extended complex scene saliency dataset）数据集上进行测试,并与现有的11种算法进行对比。结果表明,本文算法可生成边界清晰的显著图。在MSRA10K数据集上,本文算法实现了最高的AUC（area under ROC（receiver operating characteristic）curve）和F-measure值,MAE（mean absolute error）值仅次于SMD（structured matrix decomposition）算法和RBD（robust back ground detection）算法,AUC和F-measure值比次优算法RPCA（robust principal component analysis）分别提高了3.9%和12.3%;在SOD数据集上,综合AUC、F-measure和MAE值来看,本文算法优于除SMD算法以外的其他算法,AUC值仅次于SMD算法、SC（smoothness constraint）算法和GBVS（graph-based visual salieney）算法,F-measure值低于最优算法SMD 2.6%;在ECSSD数据集上,本文算法实现了最高的F-measure值75.5%,AUC值略低于最优算法SC 1%,MAE值略低于最优算法HCNs（hierarchical co-salient object detection via color names）2%。结论 实验结果表明,本文算法能从前景复杂或背景复杂的显著图像中更准确地检测出边界清晰的显著目标。     

惰性随机游走视觉显著性检测算法

目的 鉴于随机游走过程对人类视觉注意力的良好描述能力,提出一种基于惰性随机游走的视觉显著性检测算法。方法 首先通过对背景超像素赋予较大的惰性因子,即以背景超像素作为惰性种子节点,在由图像超像素组成的无向图上演化惰性随机游走过程,获得初始显著性图;然后利用空间位置先验及颜色对比度先验信息对初始显著图进行修正;最终通过基于前景的惰性随机游走产生鲁棒的视觉显著性检测结果。结果 为验证算法有效性,在MSRA-1000数据库上进行了仿真实验,并与主流相关算法进行了定性与定量比较。本文算法的Receiver ROC（operating characteristic）曲线及F值均高于其他相关算法。结论 与传统基于随机过程的显著性检测算法相比,普通随机游走过程无法保证收敛到稳定状态,本文算法从理论上有效克服了该问题,提高了算法的适用性;其次,本文算法通过利用视觉转移的往返时间来刻画显著性差异,在生物视觉的模拟上更加合理贴切,与普通随机游走过程采用的单向转移时间相比,效果更加鲁棒。     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

多先验特征与综合对比度的图像显著性检测

目的 图像的显著性检测在计算机视觉中应用非常广泛,现有的方法通常在复杂背景区域下表现不佳,由于显著性检测的低层特征并不可靠,同时单一的特征也很难得到高质量的显著图。提出了一种通过增加特征的多样性来实现显著性检测的方法。方法 在高层先验知识的基础上,对背景先验特征和中心先验特征重新进行了定义,并考虑人眼视觉一般会对暖色调更为关注,从而加入颜色先验。另外在图像低层特征上使用目前较为流行的全局对比度和局部对比度特征,在特征融合时针对不同情况分别采取线性和非线性的一种新的融合策略,得到高质量的显著图。结果 在MSRA-1000和DUT-OMRON两个公开数据库进行对比验证,实验结果表明,基于多先验特征与综合对比度的图像显著性检测算法具有较高的查准率、召回率和F-measure值,相较于RBD算法均提高了1.5%以上,综合性能均优于目前的10种主流算法。结论 相较于基于低层特征和单一先验特征的算法,本文算法充分利用了图像信息,能在突出全局对比度的同时也保留较多的局部信息,达到均匀突出显著性区域的效果,有效地抑制复杂的背景区域,得到更加符合视觉感知的显著图。     

利用视觉显著性的图像分割方法

提出一种利用视觉显著性对图像进行分割的方法。首先提取图像的底层视觉特征,从局部显著性、全局显著性和稀少性3个方面计算各特征图像中各像素的视觉显著性,得到各特征显著图;对各特征显著图进行综合,生成最终的综合显著图。然后对综合显著图进行阈值分割,得到二值图像,将二值图像与原始图像叠加,将前景和背景分离,得到图像分割结果。在多幅自然图像上进行实验验证,并给出相应的实验结果和分析。实验结果表明,该方法正确有效,具有和人类视觉特性相符合的分割效果。     

复杂自然环境下感兴趣区域检测

目的 感兴趣区域检测是图像处理领域的关键技术.人类视觉系统处理一个较为复杂的场景时,会首先将其视觉注意力集中于该场景中的几个特定对象上,这些对象被称为感兴趣区域.在图像处理和分析过程中,感兴趣区域检测模拟人类视觉,能够快速、准确抓住图像重点,降低图像处理计算量,有效提高计算机信息处理的效率.因此感兴趣区域检测对于图像分析和理解有着重要意义.为此,提出一种基于低层次图像信息与中层次图像信息相结合的自底向上的感兴趣区域检测方法.方法 首先通过彩色增强Harris算子检测角点进而得到凸包边界,通过凸包区域与超像素聚类结果计算中层次信息粗略显著图;然后将图像从RGB空间转换到CIELab空间,使用差分滤波器对图像进行滤波,得到低层次信息粗略显著图;最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图.结果 在微软亚洲研究院提供的公开数据库MSRA上验证了本文方法的有效性,根据该数据库人工标记的真值评价本文方法的检测效果,并与其他方法进行对比.其他方法的显著图是由其作者提供的源代码得到.在主观分析和客观判断两个方面的本文方法可有效抑制背景噪声,检测出的显著物具有均匀显著度,且边缘清晰.结论 本文方法是一种有效的图像预处理方法.     

融入频域信息聚焦特征的显著性目标检测算法

由于视觉注意预测能够快速、准确地定位图像中的显著区域,因此将视觉注意中的频域信息融入显著性目标检测中,从而有效地在复杂场景中检测显著性目标。首先,采用改进的频域检测方法对图像进行视觉注意预测,将该频域信息融入Focusness特征中计算得到频域信息聚焦特征,并将此特征与颜色特征进行融合得到前景显著图。然后,对RBD背景进行优化,得到背景显著图。最后,对前景显著图、背景显著图进行融合。在ESSCD,DUT-OMON两个具有挑战性的数据集上进行了大量实验,并采用PR_Curve,F-Measure,MAE对结果进行了评估,结果表明,所提出的方法要优于6种对比方法(HFT,PQFT,HDCT,UFO,DSR和RBD),并且能够处理复杂场景的图像。     

What were we all looking at? Identifying objects of collective visual attention

We aim to identify the salient objects in an image by applying a model of visual attention. We automate the process by predicting those objects in an image that are most likely to be the focus of someone's visual attention. Concretely, we first generate fixation maps from the eye tracking data, which express the ground truth of people's visual attention for each training image. Then, we extract the high-level features based on the bag-of-visual-words image representation as input attributes along with the fixation maps to train a support vector regression model. With this model, we can predict a new query image's saliency. Our experiments show that the model is capable of providing a good estimate for human visual attention in test images sets with one salient object and multiple salient objects. In this way, we seek to reduce the redundant information within the scene, and thus provide a more accurate depiction of the scene.     

结合布尔图和灰度稀缺性的小目标显著性检测

目的 基于超像素分割的显著物体检测模型在很多公开数据集上表现优异,但在实际场景应用时,超像素分割的数量和大小难以自适应图像和目标大小的变化,从而使性能下降,且分割过多会耗时过大。为解决这一问题,本文提出基于布尔图和灰度稀缺性的小目标显著性检测方法。方法 利用布尔图的思想,提取图像中较为突出的闭合区域,根据闭合区域的大小赋予其显著值,形成一幅显著图;利用灰度稀缺性,为图像中的稀缺灰度值赋予高显著值,抑制烟雾、云、光照渐晕等渐变背景,生成另一幅显著图;将两幅显著图融合,得到具有全分辨率、目标突出且轮廓清晰的显著图。结果 在3个数据集上与14种显著性模型进行对比,本文算法生成的显著图能有效抑制背景,并检测出多个小目标。其中,在复杂背景数据集上,本文算法具有最高的F值（F-measure）和最小的MAE（mean absolute error）值,AUC（area under ROC curve）值仅次于DRFI（discriminative regional feature integration）和ASNet（attentive saliency network）模型,AUC和F-measure值比BMS（Boolean map based saliency）模型分别提高了1.9%和6.9%,MAE值降低了1.8%;在SO200数据集上,本文算法的F-measure值最高,MAE值仅次于ASNet,F-measure值比BMS模型提高了3.8%,MAE值降低了2%;在SED2数据集上,本文算法也优于6种传统模型。在运行时间方面,本文算法具有明显优势,处理400×300像素的图像时,帧频可达12帧/s。结论 本文算法具有良好的适应性和鲁棒性,对于复杂背景下的小目标具有良好的显著性检测效果。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

Salient object detection via saliency bias and diffusion

Salient object detection aims to identify both spatial locations and scales of the salient object in an image. However, previous saliency detection methods generally fail in detecting the whole objects, especially when the salient objects are actually composed of heterogeneous parts. In this work, we propose a saliency bias and diffusion method to effectively detect the complete spatial support of salient objects. We first introduce a novel saliency-aware feature to bias the objectness detection for saliency detection on a given image and incorporate the saliency clues explicitly in refining the saliency map. Then, we propose a saliency diffusion method to fuse the saliency confidences of different parts from the same object for discovering the whole salient object, which uses the learned visual similarities among object regions to propagate the saliency values across them. Benefiting from such bias and diffusion strategy, the performance of salient object detection is significantly improved, as shown in the comprehensive experimental evaluations on four benchmark data sets, including MSRA-1000, SOD, SED, and THUS-10000.