基于Gestalt视觉心理学和最小F-范数的图像显著区域检测和分割

摘 要：根据Gestalt视觉心理学说,提出了一种新的图像显著区域检测方法。首先,通过不同程度降低双对立颜色或亮度的特征图像对比度来抑制图像中次要特征对应的区域,增强主要特征对应的显著性区域;其次,通过矩阵的最小F-范数确定符合Gestalt视觉心理学的特征图像的合成方案,并利用Gestalt视觉心理学的核心理论来检验和自适应修改组合方案,得到最佳的显著图;最后利用Otsu法对显著图像进行二值化操作来完成图像的分割。实验结果表明,本文算法可以从复杂的自然彩色图像中较为完整地提取并分割显著目标,实验结果与MSRA数据库手工分割结果相一致,在满足实时性需求的基础上能比传统方法更加准确、完整地提取图像的显著性区域。     

一种基于颜色和纹理的显著性目标检测算法

视觉显著性检测是很多计算机视觉任务的重要步骤,在图像分割、自适应压缩和识别物体方面都有很重要的应用。提出了一种基于HSV颜色、纹理特征和空间位置关系相结合的显著性检测算法。该方法先将图像分割成小的图像片以获取图像的局部信息,结合图像片颜色的独特性和空间分布的紧凑性计算得到颜色显著图;同时利用Gabor滤波器对图像进行不同尺度和方向地滤波得到纹理特征向量,然后对特征向量计算纹理差异得到纹理显著图;最后将二者结合得到最终显著图。实验结果表明,该方法在检测效果和抗噪能力等方面均可获得较为满意的结果。     

基于视觉显著性的水面垃圾目标检测

针对实际水面复杂环境提出了一种基于视觉显著性的水面垃圾目标检测算法。首先对输入图像进行超像素分割,在CIELab、RGB和HSV颜色空间中提取超像素级的显著性特征,然后使用随机森林回归器将显著性特征进行融合得到疑似显著性图,并使用自适应阈值分割得到疑似二值显著性图,最后使用MLP分类器对原始图像中的疑似垃圾目标区域进行判别,去除水波、倒影和反光的干扰,最终检测出水面的垃圾目标。实验结果表明所提基于视觉显著性的水面垃圾目标检测算法的性能优于其他水面目标检测算法。     

基于视觉注意机制的彩色图像分割

提出一种基于视觉注意机制的彩色图像分割方法。受生物学启发,该方法模仿人类自下而上的视觉选择性注意过程,提取图像的底层特征,构造相应的显著图。根据显著图,检测出图像中的显著区域;将显著区域和背景分离,即得到图像分割结果。在多幅自然图像上进行实验,结果表明,该方法能够取得与人类视觉系统一致的分割结果。     

改进图割的显著性区域检测算法

为快速准确地提取图像中的显著性区域,提出一种改进图割的显著性区域检测算法。采用改进的图割算法对图像进行预分割,将图像分成若干子区域,在此基础上利用区域间对比度计算各区域的显著性值,得到图像的显著图,利用迭代阈值分割算法对图像显著图进行分割处理,通过图像去噪完整有效地提取出显著性区域。实验结果表明,该算法能够准确地提取出图像中的显著性区域,与传统方法相比,使用该算法提取出的显著性区域更完整、准确,提高了效率。     

基于RPCA和视觉显著性的风机叶片表面缺陷检测

摘 要：针对风机叶片表面缺陷检测问题,提出了一种基于鲁棒主成分分析(RPCA)和视觉 显著性的表面缺陷检测方法。在 RPCA 的基础上,通过增加噪声项和考虑像素的空间关系,以 利于缺陷的分割,即通过 F 范数正则项抑制高斯噪声和光照不均,利用 Laplacian 正则项约束像 素的空间关系,以保持显著图中具有相似显著值且空间相邻超像素的局部一致性和不变性。首 先,对输入的风机叶片表面图像进行超像素分割和特征提取,得到图像的特征矩阵;然后,利 用改进的 RPCA 法得到稀疏矩阵,根据稀疏矩阵和视觉显著性方法计算出缺陷区域的显著图; 最后,优化显著图并采用自适应阈值分割实现缺陷的检测。通过实验仿真和对实验结果定性定 量分析,表明该方法具有较高的准确率。     

结合立体视觉舒适度的立体图像显著性检测

针对先前的立体图像显著性检测模型未充分考虑立体视觉舒适度和视差图分布特征对显著区域检测的影响,提出了一种结合立体视觉舒适度因子的显著性计算模型.该模型在彩色图像显著性提取中,首先利用SLIC算法对输入图像进行超像素分割,随后进行颜色相似区域合并后再进行二维图像显著性计算;在深度显著性计算中,首先对视差图进行预处理;然后基于区域对比度进行显著性计算;最后,结合立体视觉舒适度因子对二维显著图和深度显著图进行融合,得到立体图像显著图.在不同类型立体图像上的实验结果表明,该模型获得了85%的准确率和78%的召回率,优于现有常用的显著性检测模型,并与人眼立体视觉注意力机制保持良好的一致性.     

应用改进视觉显著性度量方法进行图像分割

视觉注意机制是人类与生俱来的特有属性.在视觉注意机制的协助下,人类视觉系统可以有选择性地针对视觉信息进行处理并有效解决有限信息处理资源与海量视觉信息之间的矛盾.与现有基于计算机视觉机制的图像分割方法比较,本文提出改进视觉显著性度量方法生成的系统显著图能够更加准确表现原始图像中各个像素点的显著性值,根据系统显著图进行阈值分割便可以对前景目标和背景区域进行区分,不需要加入其他方法,这样既可以降低运算时间复杂度,又可以使得图像分割结果更符合人类视觉特点.本文算法对于包含前景目标可得到优良的图像分割结果,但本方法对于背景较复杂同时前景目标模糊的原始图像的图像分割效果不够理想.     

自动特征选择和加权的图像显著区域检测

视觉显著性度量是图像显著区域提取中的一个关键问题,现有的方法主要根据图像的底层视觉特征,构造相应的显著图。不同的特征对视觉显著性的贡献是不同的,为此提出一种能够自动进行特征选择和加权的图像显著区域检测方法。提取图像的亮度、颜色和方向等特征,构造相应的特征显著图。提出一种新的特征融合策略,动态计算各特征显著图的权值,整合得到最终的显著图,检测出图像中的显著区域。在多幅自然图像上进行实验,实验结果表明,该方法在运算速度和检测效果方面都取得了不错的效果。     

基于颜色差异计算的图像显著性检测算法研究

针对目前显著性算法普遍面临的背景噪声较多,准确性较低等问题,提出一种基于图像颜色对比的显著性检测算法.首先在Lab伪彩色空间域将图像进行SLIC超像素分割,依照图像的全局对比计算,确定前景预选区域.然后以该区域内超像素特征通道信息值作为参考值,计算各超像素显著值,得到初步显著图.最后构建视觉中心,考虑颜色权重信息对显著...     

对象级特征引导的显著性视觉注意方法

针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网（CNN）对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

A learning-based visual saliency prediction model for stereoscopic 3D video (LBVS-3D)

Saliency prediction models provide a probabilistic map of relative likelihood of an image or video region to attract the attention of the human visual system. Over the past decade, many computational saliency prediction models have been proposed for 2D images and videos. Considering that the human visual system has evolved in a natural 3D environment, it is only natural to want to design visual attention models for 3D content. Existing monocular saliency models are not able to accurately predict the attentive regions when applied to 3D image/video content, as they do not incorporate depth information. This paper explores stereoscopic video saliency prediction by exploiting both low-level attributes such as brightness, color, texture, orientation, motion, and depth, as well as high-level cues such as face, person, vehicle, animal, text, and horizon. Our model starts with a rough segmentation and quantifies several intuitive observations such as the effects of visual discomfort level, depth abruptness, motion acceleration, elements of surprise, size and compactness of the salient regions, and emphasizing only a few salient objects in a scene. A new fovea-based model of spatial distance between the image regions is adopted for considering local and global feature calculations. To efficiently fuse the conspicuity maps generated by our method to one single saliency map that is highly correlated with the eye-fixation data, a random forest based algorithm is utilized. The performance of the proposed saliency model is evaluated against the results of an eye-tracking experiment, which involved 24 subjects and an in-house database of 61 captured stereoscopic videos. Our stereo video database as well as the eye-tracking data are publicly available along with this paper. Experiment results show that the proposed saliency prediction method achieves competitive performance compared to the state-of-the-art approaches.

     

基于近似高斯金字塔的视觉注意模型快速算法

利用输入图像的近似高斯金字塔,将经典的基于显著性的视觉注意模型改造为时空开销更小的版本,从而使其更加适合在嵌入式实时系统中实现.首先采用矩形窗口近似圆形窗口,矩形平均算子近似高斯卷积核;然后采用“先做行累加,再做列累加”的方法来实现矩形平均算子,并直接采样计算出各个特征通道的显著性分布图,该算法关于输入图像像素点个数具有线性时间复杂度;最后,还给出了在显著性分布图中抑制已提取区域显著性的快速算法.在Berkeley分割图像库上的实验结果表明,该方法极大地减小了系统实现的时空开销,且输出结果的误差在可接受范围内.提出的用矩形窗口近似圆形窗口,用矩形平均算子近似高斯卷积核的方法,还适用于其他需要在嵌入式实时系统中实现的图像处理问题.     

Computational versus psychophysical bottom-up image saliency: a comparative evaluation study

The predictions of 13 computational bottom-up saliency models and a newly introduced Multiscale Contrast Conspicuity(MCC) metric are compared with human visual conspicuity measurements. The agreement between human visual conspicuity estimates and model saliency predictions is quantified through their rank order correlation. The maximum of the computational saliency value over the target support area correlates most strongly with visual conspicuity for 12 of the 13 models. A simple multiscale contrast model and the MCC metric both yield the largest correlation with human visual target conspicuity (>0:84). Local image saliency largely determines human visual inspection and interpretation of static and dynamic scenes. Computational saliency models therefore have a wide range of important applications, like adaptive content delivery, region-of-interest-based image compression, video summarization, progressive image transmission, image segmentation, image quality assessment, object recognition, and content-aware image scaling. However, current bottom-up saliency models do not incorporate important visual effects like crowding and lateral interaction. Additional knowledge about the exact nature of the interactions between the mechanisms mediating human visual saliency is required to develop these models further. The MCC metric and its associated psychophysical saliency measurement procedure are useful tools to systematically investigate the relative contribution of different feature dimensions to overall visual target saliency.     

快速在线主动学习的图像自动分割算法*

提出经前馈神经网络快速在线学习、构建像素分类模型进行图像分割的算法。首先利用谱残差法计算像素显著度,通过对少数高显著度点的分布进行多尺度分析,获得符合人眼视觉特性的显著图和注视区域。然后从注视区域和非注视区域随机抽样构成由正负样本像素组成的训练集,在线训练一个两分类的随机权前馈神经网络模型。最后使用该模型分类全图像素,实现图像分割。实验表明,文中算法在谱残差法基础上提升对图像中显著目标的分割性能,分割结果与人类视觉感知匹配度较好。