联合聚焦度和传播机制的光场图像显著性检测

目的 图像显著性检测方法对前景与背景颜色、纹理相似或背景杂乱的场景,存在背景难抑制、检测对象不完整、边缘模糊以及方块效应等问题。光场图像具有重聚焦能力,能提供聚焦度线索,有效区分图像前景和背景区域,从而提高显著性检测的精度。因此,提出一种基于聚焦度和传播机制的光场图像显著性检测方法。方法 使用高斯滤波器对焦堆栈图像的聚焦度信息进行衡量,确定前景图像和背景图像。利用背景图像的聚焦度信息和空间位置构建前/背景概率函数,并引导光场图像特征进行显著性检测,以提高显著图的准确率。另外,充分利用邻近超像素的空间一致性,采用基于K近邻法（K-nearest neighbor,K-NN）的图模型显著性传播机制进一步优化显著图,均匀地突出整个显著区域,从而得到更加精确的显著图。结果 在光场图像基准数据集上进行显著性检测实验,对比3种主流的传统光场图像显著性检测方法及两种深度学习方法,本文方法生成的显著图可以有效抑制背景区域,均匀地突出整个显著对象,边缘也更加清晰,更符合人眼视觉感知。查准率达到85.16%,高于对比方法,F度量（F-measure）和平均绝对误差（mean absolute error,MAE）分别为72.79%和13.49%,优于传统的光场图像显著性检测方法。结论 本文基于聚焦度和传播机制提出的光场图像显著性模型,在前/背景相似或杂乱背景的场景中可以均匀地突出显著区域,更好地抑制背景区域。     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

超像素条件随机场下的RGB-D视频显著性检测

目的 视觉显著性在众多视觉驱动的应用中具有重要作用,这些应用领域出现了从2维视觉到3维视觉的转换,从而基于RGB-D数据的显著性模型引起了广泛关注。与2维图像的显著性不同,RGB-D显著性包含了许多不同模态的线索。多模态线索之间存在互补和竞争关系,如何有效地利用和融合这些线索仍是一个挑战。传统的融合模型很难充分利用多模态线索之间的优势,因此研究了RGB-D显著性形成过程中多模态线索融合的问题。方法 提出了一种基于超像素下条件随机场的RGB-D显著性检测模型。提取不同模态的显著性线索,包括平面线索、深度线索和运动线索等。以超像素为单位建立条件随机场模型,联合多模态线索的影响和图像邻域显著值平滑约束,设计了一个全局能量函数作为模型的优化目标,刻画了多模态线索之间的相互作用机制。其中,多模态线索在能量函数中的权重因子由卷积神经网络学习得到。结果 实验在两个公开的RGB-D视频显著性数据集上与6种显著性检测方法进行了比较,所提模型在所有相关数据集和评价指标上都优于当前最先进的模型。相比于第2高的指标,所提模型的AUC（area under curve）,sAUC（shuffled AUC）,SIM（similarity）,PCC（Pearson correlation coefficient）和NSS（normalized scanpath saliency）指标在IRCCyN数据集上分别提升了2.3%,2.3%,18.9%,21.6%和56.2%;在DML-iTrack-3D数据集上分别提升了2.0%,1.4%,29.1%,10.6%,23.3%。此外还进行了模型内部的比较,验证了所提融合方法优于其他传统融合方法。结论 本文提出的RGB-D显著性检测模型中的条件随机场和卷积神经网络充分利用了不同模态线索的优势,将它们有效融合,提升了显著性检测模型的性能,能在视觉驱动的应用领域发挥一定作用。     

一种基于颜色和纹理的显著性目标检测算法

视觉显著性检测是很多计算机视觉任务的重要步骤,在图像分割、自适应压缩和识别物体方面都有很重要的应用。提出了一种基于HSV颜色、纹理特征和空间位置关系相结合的显著性检测算法。该方法先将图像分割成小的图像片以获取图像的局部信息,结合图像片颜色的独特性和空间分布的紧凑性计算得到颜色显著图;同时利用Gabor滤波器对图像进行不同尺度和方向地滤波得到纹理特征向量,然后对特征向量计算纹理差异得到纹理显著图;最后将二者结合得到最终显著图。实验结果表明,该方法在检测效果和抗噪能力等方面均可获得较为满意的结果。     

复杂自然环境下感兴趣区域检测

目的 感兴趣区域检测是图像处理领域的关键技术.人类视觉系统处理一个较为复杂的场景时,会首先将其视觉注意力集中于该场景中的几个特定对象上,这些对象被称为感兴趣区域.在图像处理和分析过程中,感兴趣区域检测模拟人类视觉,能够快速、准确抓住图像重点,降低图像处理计算量,有效提高计算机信息处理的效率.因此感兴趣区域检测对于图像分析和理解有着重要意义.为此,提出一种基于低层次图像信息与中层次图像信息相结合的自底向上的感兴趣区域检测方法.方法 首先通过彩色增强Harris算子检测角点进而得到凸包边界,通过凸包区域与超像素聚类结果计算中层次信息粗略显著图;然后将图像从RGB空间转换到CIELab空间,使用差分滤波器对图像进行滤波,得到低层次信息粗略显著图;最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图.结果 在微软亚洲研究院提供的公开数据库MSRA上验证了本文方法的有效性,根据该数据库人工标记的真值评价本文方法的检测效果,并与其他方法进行对比.其他方法的显著图是由其作者提供的源代码得到.在主观分析和客观判断两个方面的本文方法可有效抑制背景噪声,检测出的显著物具有均匀显著度,且边缘清晰.结论 本文方法是一种有效的图像预处理方法.     

Saliency detection based on self-adaptive multiple feature fusion for remote sensing images

ABSTRACT

Saliency detection has been revealed an effective and reliable approach to extract the region of interest (ROI) in remote sensing images. However, most existing saliency detection methods employing multiple saliency cues ignore the intrinsic relationship between different cues and do not distinguish the diverse contributions of different cues to the final saliency map. In this paper, we propose a novel self-adaptively multiple feature fusion model for saliency detection in remote sensing images to take advantage of this relationship to improve the accuracy of ROI extraction. First, we take multiple feature channels, namely colour, intensity, texture and global contrast into consideration to produce primary feature maps. Particularly, we design a novel method based on dual-tree complex wavelet transform for remote sensing images to generate texture feature pyramids. Then, we introduce a novel self-adaptive multiple feature fusion method based on low-rank matrix recovery, in which the significances of feature maps are ranked by the low rank constraint recovery, and subsequently multiple features’ contributions are allocated adaptively to produce the final saliency map. Experimental results demonstrate that our proposal outperforms the state-of-the-art methods.     

融合颜色属性和空间信息的显著性物体检测

摘 要：目的：提出了一种基于颜色属性和空间信息的显著性物体检测算法,并将其用于交通标志的检测。方法：首先,训练颜色属性得到颜色-像素值分布,据此将图像划分为不同的颜色聚簇,每个聚簇的显著性取决于其空间紧致性。其次,将每个聚簇分割为多个区域,用颜色属性描述子表示每个区域,计算区域的全局对比度。最后,同时考虑区域对比度和相应聚簇的空间紧致性,得到最终的显著图。在此基础上,将交通标志的先验知识转换为自上而下的显著性图,形成任务驱动的显著性模型,对交通标志进行检测。结果：在公开数据集上的测试结果表明,该算法取得最高92%的查准率,优于其它流行的显著性算法。在交通标志数据集上的检测取得了90.7%的正确率。结论：本文提出了一种新的显著性检测算法,同时考虑了区域的颜色和空间信息,在公开数据集上取得了较高的查准率和查全率。在对交通标志的检测中也取得了较好的结果。     

Saliency detection via image sparse representation and color features combination

Saliency detection is a technique to analyze image surroundings to extract relevant regions from the background. In this paper, we propose a simple and effective saliency detection method based on image sparse representation and color features combination. First, the input image is segmented into non-overlapping super-pixels, so as to perform the saliency detection at the region level to reduce computational complexity. Then, a background optimization selection scheme is used to construct an appropriate background template. Based on this, a primary saliency map is obtained by using image sparse representation. Next, through the linear combination of color coefficients we generate an improved saliency map with more prominent salient regions. Finally, the two saliency maps are integrated within Bayesian framework to obtain the final saliency map. Experimental results show that the proposed method has desirable detection performance in terms of detection accuracy and running time.

     

A generalized nonlocal mean framework with object-level cues for saliency detection

Nonlocal mean (NM) is an efficient method for many low-level image processing tasks. However, it is challenging to directly utilize NM for saliency detection. This is because that conventional NM method can only extract the structure of the image itself and is based on regular pixel-level graph. However, saliency detection usually requires human perceptions and more complex connectivity of image elements. In this paper, we propose a novel generalized nonlocal mean (GNM) framework with the object-level cue which fuses the low-level and high-level cues to generate saliency maps. For a given image, we first use uniqueness to describe the low-level cue. Second, we adopt the objectness algorithm to find potential object candidates, then we pool the object measures onto patches to generate two high-level cues. Finally, by fusing these three cues as an object-level cue for GNM, we obtain the saliency map of the image. Extensive experiments show that our GNM saliency detector produces more precise and reliable results compared to state-of-the-art algorithms.     

基于视觉显著度的皮革表面瑕疵检测

针对汽车内饰皮革的瑕疵检测易受皮革自身纹理干扰、检测难度较大的问题,发现瑕疵存在于均匀变化图像中局部变化明显的区域,符合人眼注意机制,故提出了基于视觉显著模型的皮革瑕疵检测方法。首先提取皮革图像的颜色和亮度特征,然后利用中心周围差算子分别计算特征显著图,再融合成最终显著图,最后在此基础上利用区域生长方法对瑕疵区域进行分割,以实现瑕疵的准确定位。实验结果表明,与FCM聚类分割法、阈值分割法及SVM分类法相比,本文提出的方法具有较高的检测精度及较快的检测速度,解决了皮革瑕疵检测过程中受纹理干扰严重等问题,能有效应用于皮革瑕疵的机器自动检测中。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

基于对数Gabor的超复数视觉显著性检测算法

为在没有先验知识的情况下准确获取图像显著性目标,提出一种基于对数Gabor滤波器和超复数傅里叶变换的视觉显著性检测算法。利用对数Gabor滤波器模仿人类视觉感受野,对输入图像进行预处理,提取颜色、纹理方向等特征。根据所得特征构造各尺度下的超复数图像,并求其傅里叶变换相位谱,将多尺度超复数相位谱反变换后进行归一化,从而获得视觉显著图。实验结果表明,该算法与传统的算法相比具有更高的准确率,应用于复杂场景下的交通标志检测能取得较好的检测效果。     

基于高层颜色语义名称的显著性检测*

为了克服图像底层特征与高层语义之间的语义鸿沟,降低自顶向下的显著性检测方法对特定物体先验的依赖,提出一种基于高层颜色语义特征的显著性检测方法。首先从彩色图像中提取结构化颜色特征并在多核学习框架下,实现对图像进行颜色命名获取像素的颜色语义名称;接着利用图像颜色语义名称分布计算高层颜色语义特征,再将其与底层的Gist特征融合,通过线性支持向量机训练生成显著性分类器,实现像素级的显著性检测。实验结果表明,本文算法能够更加准确地检测出人眼视觉关注点。且与传统的底层颜色特征相比,本文颜色语义特征能够获得更好的显著性检测结果。     

不规则像素簇显著性检测算法

目的 显著性检测领域的研究重点和难点是检测具有复杂结构信息的显著物体。传统的基于图像块的检测算法,主要根据相对规则的图像块进行检测,计算过程中不能充分利用图像不规则的结构和纹理的信息,对算法精度产生影响。针对上述问题,本文提出一种基于不规则像素簇的显著性检测算法。方法 根据像素点的颜色信息量化颜色空间,同时寻找图像的颜色中心,将每个像素的颜色替代为最近的颜色中心的颜色。然后根据相同颜色标签的连通域形成不规则像素簇,并以连通域的中心为该簇的位置中心,以该连通域对应颜色中心的颜色为该簇整体的颜色。通过像素簇的全局对比度得到对比度先验图,利用目标粗定位法估计显著目标的中心,计算图像的中心先验图。然后将对比度先验图与中心先验图结合得到初始显著图。为了使显著图更加均匀地突出显著目标,利用图模型及形态学变化改善初始显著图效果。结果 将本文算法与5种公认表现最好的算法进行对比,并通过5组图像进行验证,采用客观评价指标精确率—召回率（precision-recall,PR）曲线以及精确率和召回率的调和平均数F-measure进行评价,结果表明本文算法在PR曲线上较其他算法表现良好,在F-measure方面相比其他5种算法均有00.3的提升,且有更佳的视觉效果。结论 本文通过更合理地对像素簇进行划分,并对目标物体进行粗定位,更好地考虑了图像的结构和纹理特征,在显著性检测中有较好的检测效果,普适性强。     

自动特征选择和加权的图像显著区域检测

视觉显著性度量是图像显著区域提取中的一个关键问题,现有的方法主要根据图像的底层视觉特征,构造相应的显著图。不同的特征对视觉显著性的贡献是不同的,为此提出一种能够自动进行特征选择和加权的图像显著区域检测方法。提取图像的亮度、颜色和方向等特征,构造相应的特征显著图。提出一种新的特征融合策略,动态计算各特征显著图的权值,整合得到最终的显著图,检测出图像中的显著区域。在多幅自然图像上进行实验,实验结果表明,该方法在运算速度和检测效果方面都取得了不错的效果。     

模拟注视眼动的多聚焦彩色图像融合

多聚焦图像存在聚焦和离焦区。通常聚焦区吸引人的注意力,具有突出的视觉显著性。提出一种模拟人类视觉机制的彩色图像融合方法。利用超复数傅里叶变换改进传统显著性检测算法,直接检测彩色图像显著度;模拟人类视觉的注视眼动机制对图像尺度稍微扰动,并对不同尺度下获得的图像显著度进行累加;选择累计显著度最大的源图像像素构建融合图像,并采用颜色相似性准则处理边界带像素。相关仿真实验表明,超复数傅里叶变换充分利用了源图像的颜色信息,累加显著度能提高峰值信噪比并减少均方根误差。实验结果表明该方法可得到超过36 dB的峰值信噪比和小于个位数的均方误差,在图像融合中可得到相对好的主观视觉效果。     

特征融合与S-D概率矫正的RGB-D显著检测

目的 许多先前的显著目标检测工作都是集中在2D的图像上,并不能适用于RGB-D图像的显著性检测。本文同时提取颜色特征以及深度特征,提出了一种基于特征融合和S-D概率矫正的RGB-D显著性检测方法,使得颜色特征和深度特征相互补充。方法 首先,以RGB图像的4个边界为背景询问节点,使用特征融合的Manifold Ranking输出RGB图像的显著图;其次,依据RGB图像的显著图和深度特征计算S-D矫正概率;再次,计算深度图的显著图并依据S-D矫正概率对该显著图进行S-D概率矫正;最后,对矫正后的显著图提取前景询问节点再次使用特征融合的Manifold Ranking方法进行显著优化,得到最终的显著图。结果 利用本文RGB-D显著性检测方法对RGBD数据集上的1 000幅图像进行了显著性检测,并与6种不同的方法进行对比,本文方法的显著性检测结果更接近人工标定结果。Precision-Recall曲线（PR曲线）显示在相同召回率下本文方法的准确率较其中5种方法高,且处理单幅图像的时间为2.150 s,与其他算法相比也有一定优势。结论 本文方法能较准确地对RGB-D图像进行显著性检测。     

基于全局和局部特征融合的显著性提取方法

显著性提取方法在图像处理、计算机视觉领域有着广泛的应用.然而,基于全局特征和基于局部特征的显著性区域提取算法存在各自的缺点,为此本文提出了一种融合全局和局部特征的显著性提取算法.首先,对图像进行不重叠地分块,当每个图像块经过主成分分析(Principle component analysis,PCA)映射到高维空间后,根据孤立的特征点对应显著性区域的规律得到基于全局特征的显著图;其次,根据邻域内中心块与其他块的颜色不相似性得到基于局部特征的显著图;最后,按照贝叶斯理论将这两个显著图融合为最终的显著图.在公认的三个图像数据库上的仿真实验验证了所提算法在显著性提取和目标分割上比其他先进算法更有效.     

A learning-based visual saliency prediction model for stereoscopic 3D video (LBVS-3D)

Saliency prediction models provide a probabilistic map of relative likelihood of an image or video region to attract the attention of the human visual system. Over the past decade, many computational saliency prediction models have been proposed for 2D images and videos. Considering that the human visual system has evolved in a natural 3D environment, it is only natural to want to design visual attention models for 3D content. Existing monocular saliency models are not able to accurately predict the attentive regions when applied to 3D image/video content, as they do not incorporate depth information. This paper explores stereoscopic video saliency prediction by exploiting both low-level attributes such as brightness, color, texture, orientation, motion, and depth, as well as high-level cues such as face, person, vehicle, animal, text, and horizon. Our model starts with a rough segmentation and quantifies several intuitive observations such as the effects of visual discomfort level, depth abruptness, motion acceleration, elements of surprise, size and compactness of the salient regions, and emphasizing only a few salient objects in a scene. A new fovea-based model of spatial distance between the image regions is adopted for considering local and global feature calculations. To efficiently fuse the conspicuity maps generated by our method to one single saliency map that is highly correlated with the eye-fixation data, a random forest based algorithm is utilized. The performance of the proposed saliency model is evaluated against the results of an eye-tracking experiment, which involved 24 subjects and an in-house database of 61 captured stereoscopic videos. Our stereo video database as well as the eye-tracking data are publicly available along with this paper. Experiment results show that the proposed saliency prediction method achieves competitive performance compared to the state-of-the-art approaches.