融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

融合双特征图信息的图像显著性检测方法

目的 图像的显著性检测是将图像中最重要的、包含丰富信息的区域标记出来,并应用到图像分割、图像压缩、图像检索、目标识别等重要领域。针对现有研究方法显著性目标检测结果不完整以及单一依靠颜色差异检测方法的局限性,提出一种综合图像底层颜色对比特征图和图像颜色空间分布特征图的显著性检测方法,能够有效而完整地检测出图像中的显著性区域。方法 本文方法结合了SLIC超像素分割和K-means聚类算法进行图像特征的提取。首先,对图像进行SLIC（simple linear iterative clustering）分割,根据像素块之间的颜色差异求取颜色对比特征图;其次,按照颜色特征对图像进行K-means聚类,依据空间分布紧凑性和颜色分布统一性计算每个类的初步颜色空间分布特征。由于聚类结果中不包含空间信息,本文将聚类后的结果映射到超像素分割的像素块上,进一步优化颜色空间分布图;最后,通过融合颜色对比显著图和图像颜色空间分布特征图得到最终的显著图。结果 针对公开的图像测试数据库MSRA-1000,本文方法与当前几种流行的显著性检测算法进行了对比实验,实验结果表明,本文方法得到的显著性区域更准确、更完整。结论 本文提出了一种简单有效的显著性检测方法,结合颜色对比特征图和图像颜色空间分布特征图可以准确的检测出显著性区域。该结果可用于目标检测等实际问题,但该方法存在一定的不足,对于背景色彩过于丰富且与特征区域有近似颜色的图像,该方法得到的结果有待改进。今后对此算法的优化更加侧重于通用性。     

中心矩形构图先验的显著目标检测

目的 许多显著目标检测算法侧重从背景角度进行显著性检测,而从前景角度和空间角度进行显著性检测的算法较少,为了解决这个问题,提出了一种基于中心矩形构图先验的显著目标检测算法。方法 假定目标分布在中心矩形构图线附近。首先,对图像进行超像素分割并构造闭环图;其次,提取中心矩形构图线上的超像素特征,并进行流形排序,获取初始显著值;然后,通过基于中心矩形构图线获取的初始显著值确定中心矩形构图交点显著值和紧凑性关系显著值;最后,融合三者获得最终的中心矩形构图先验显著图。结果 通过MSRA-1000,CSSD,ECSSD,THUS-10000数据集对比验证了中心矩形构图先验算法有较高的准确度和最高的F-measure值,整体效果上优于目前先进的几种算法。且处理单幅图像的平均时间为0.673 s,相比与其他算法也有较大优势。结论 从前景角度和空间角度考虑的中心矩形构图先验的显著目标检测算法相比于传统的算法更加具有鲁棒性,无论图像是复杂的还是简单的,都取得很好的检测效果,充分说明算法的有效性。     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

运动显著性概率图提取及目标检测

目的 动态场景图像中所存在的静态目标、背景纹理等静态噪声,以及背景运动、相机抖动等动态噪声,极易导致运动目标检测误检或漏检。针对这一问题,本文提出了一种基于运动显著性概率图的目标检测方法。方法 该方法首先在时间尺度上构建包含短期运动信息和长期运动信息的构建时间序列组;然后利用TFT（temporal Fourier transform）方法计算显著性值。基于此,得到条件运动显著性概率图。接着在全概率公式指导下得到运动显著性概率图,确定前景候选像素,突出运动目标的显著性,而对背景的显著性进行抑制;最后以此为基础,对像素的空间信息进行建模,进而检测运动目标。结果 对提出的方法在3种典型的动态场景中与9种运动目标检测方法进行了性能评价。3种典型的动态场景包括静态噪声场景、动态噪声场景及动静态噪声场景。实验结果表明,在静态噪声场景中,F_score提高到92.91%,准确率提高到96.47%,假正率低至0.02%。在动态噪声场景中,F_score提高至95.52%,准确率提高到95.15%,假正率低至0.002%。而在这两种场景中,召回率指标没有取得最好的性能的原因是,本文所提方法在较好的包络目标区域的同时,在部分情况下易将部分目标区域误判为背景区域的,尤其当目标区域较小时,这种误判的比率更为明显。但是,误判的比率一直维持在较低的水平,且召回率的指标也保持在较高的值,完全能够满足于实际应用的需要,不能抵消整体性能的显著提高。另外,在动静态噪声场景中,4种指标均取得了最优的性能。因此,本文方法能有效地消除静态目标干扰,抑制背景运动和相机抖动等动态噪声,准确地检测出视频序列中的运动目标。结论 本文方法可以更好地抑制静态背景噪声和由背景变化（水波荡漾、相机抖动等）引起的动态噪声,在复杂的噪声背景下准确地检测出运动目标,提高了运动目标检测的鲁棒性和普适性。     

Saliency detection via image sparse representation and color features combination

Saliency detection is a technique to analyze image surroundings to extract relevant regions from the background. In this paper, we propose a simple and effective saliency detection method based on image sparse representation and color features combination. First, the input image is segmented into non-overlapping super-pixels, so as to perform the saliency detection at the region level to reduce computational complexity. Then, a background optimization selection scheme is used to construct an appropriate background template. Based on this, a primary saliency map is obtained by using image sparse representation. Next, through the linear combination of color coefficients we generate an improved saliency map with more prominent salient regions. Finally, the two saliency maps are integrated within Bayesian framework to obtain the final saliency map. Experimental results show that the proposed method has desirable detection performance in terms of detection accuracy and running time.

     

A learning-based visual saliency prediction model for stereoscopic 3D video (LBVS-3D)

Saliency prediction models provide a probabilistic map of relative likelihood of an image or video region to attract the attention of the human visual system. Over the past decade, many computational saliency prediction models have been proposed for 2D images and videos. Considering that the human visual system has evolved in a natural 3D environment, it is only natural to want to design visual attention models for 3D content. Existing monocular saliency models are not able to accurately predict the attentive regions when applied to 3D image/video content, as they do not incorporate depth information. This paper explores stereoscopic video saliency prediction by exploiting both low-level attributes such as brightness, color, texture, orientation, motion, and depth, as well as high-level cues such as face, person, vehicle, animal, text, and horizon. Our model starts with a rough segmentation and quantifies several intuitive observations such as the effects of visual discomfort level, depth abruptness, motion acceleration, elements of surprise, size and compactness of the salient regions, and emphasizing only a few salient objects in a scene. A new fovea-based model of spatial distance between the image regions is adopted for considering local and global feature calculations. To efficiently fuse the conspicuity maps generated by our method to one single saliency map that is highly correlated with the eye-fixation data, a random forest based algorithm is utilized. The performance of the proposed saliency model is evaluated against the results of an eye-tracking experiment, which involved 24 subjects and an in-house database of 61 captured stereoscopic videos. Our stereo video database as well as the eye-tracking data are publicly available along with this paper. Experiment results show that the proposed saliency prediction method achieves competitive performance compared to the state-of-the-art approaches.

     

融合双层信息的显著性检测

目的 针对已有工作在颜色及结构显著性描述方面的缺陷,提出一种新的图像显著性检测方法。方法 本文方法在不同的图像区域表达上从颜色与空间结构角度计算图像的显著性,充分考虑图像的特征与像素聚类方式之间的适应性。首先,根据颜色复杂度、边缘与连通性等信息,将图像从像素空间映射到双层区域表示空间。然后,根据两个层次空间的特性,与每个图像区域的边界特性,计算图像的结构和颜色显著度。最后,由于不同图像表示中的显著性信息存在互补性,将所有这些信息进行融合得到最终的显著性图。结果 在公认的MSRA-1000数据集上验证本文方法并与目前国际上流行的方法进行对比。实验结果表明,本文方法在精确率、召回率以及绝对误差(分别为75.03%、89.39%、85.61%)等方面要优于当前前沿的方法。结论 提出了一种融合双层信息的显著性检测算法。根据图像本身信息控制区域数目构建图像双层表示,提高了方法的普适性;利用图像不同层次的特性从不同角度计算显著性,增强了方法鲁棒性。     

基于显著目标移动的自动抠图方法

抠图技术是一种常用的提取图像中精确目标区域的方法,在图像编辑中有着重要的 应用,现有的大多数抠图技术依赖于人工交互,本文提出一种基于显著目标移动的自动抠图方法。 首先对输入图像进行区域分割;然后计算各个区域的显著性值,并建立区域之间的显著性引力模 型;在此基础上进行基于显著目标移动的迭代,从而获取图像的显著区域;之后对显著图进行分 割并且进行目标区域形态学运算,生成三分图;最后利用基于学习的抠图算法,提取图像目标。 实验结果表明,本文方法不需要人工交互和其他的辅助信息,目标抠取效果良好。     

基于散度-形状引导和优化函数的显著性目标检测

为了准确地进行显著性目标检测,本文提出了一种基于散度-形状引导和优化函数的显著性检测有效框架。首先,通过考虑颜色、空间位置和边缘信息,提出了一种有辨别力的相似性度量。接着,利用散度先验剔除图像边界中的前景噪音获得背景集,并结合相似性度量计算得到基于背景显著图。为了提高检测质量,形状完整性被提出并通过统计在分层空间中区域被激活的次数期望生成相应的形状完整显著图。最后,利用一个优化函数对两个显著图融合后的结果进行优化从而获得最终的结果。在公开数据集 ASD、DUT-OMRON和ECSSD上进行实验验证, 结果证明本文方法能够准确有效地检测出位于图像任意位置的显著性物体。     

一种基于颜色和纹理的显著性目标检测算法

视觉显著性检测是很多计算机视觉任务的重要步骤,在图像分割、自适应压缩和识别物体方面都有很重要的应用。提出了一种基于HSV颜色、纹理特征和空间位置关系相结合的显著性检测算法。该方法先将图像分割成小的图像片以获取图像的局部信息,结合图像片颜色的独特性和空间分布的紧凑性计算得到颜色显著图;同时利用Gabor滤波器对图像进行不同尺度和方向地滤波得到纹理特征向量,然后对特征向量计算纹理差异得到纹理显著图;最后将二者结合得到最终显著图。实验结果表明,该方法在检测效果和抗噪能力等方面均可获得较为满意的结果。     

融合多特征与先验信息的显著性目标检测

目的 图像的显著性目标检测是计算机视觉领域的重要研究课题。针对现有显著性目标检测结果存在的纹理细节刻画不明显和边缘轮廓显示不完整的问题,提出一种融合多特征与先验信息的显著性目标检测方法,该方法能够高效而全面地获取图像中的显著性区域。方法 首先,提取图像感兴趣的点集,计算全局对比度图,利用贝叶斯方法融合凸包和全局对比度图获得对比度特征图。通过多尺度下的颜色直方图得到颜色空间图,根据信息熵定理计算最小信息熵,并将该尺度下的颜色空间图作为颜色特征图。通过反锐化掩模方法提高图像清晰度,利用局部二值算子（LBP）获得纹理特征图。然后,通过图形正则化（GR）和流行排序（MR）算法得到中心先验图和边缘先验图。最后,利用元胞自动机融合对比度特征图、颜色特征图、纹理特征图、中心先验图和边缘先验图获得初级显著图,再通过快速引导滤波器优化处理得到最终显著图。结果 在2个公开的数据集MSRA10K和ECSSD上验证本文算法并与12种具有开源代码的流行算法进行比较,实验结果表明,本文算法在准确率-召回率（PR）曲线、受试者工作特征（ROC）曲线、综合评价指标（F-measure）、平均绝对误差（MAE）和结构化度量指标（S-measure）等方面有显著提升,整体性能优于对比算法。结论 本文算法充分利用了图像的对比度特征、颜色特征、纹理特征,采用中心先验和边缘先验算法,在全面提取显著性区域的同时,能够较好地保留图像的纹理信息和细节信息,使得边缘轮廓更加完整,满足人眼的层次要求和细节要求,并具有一定的适用性。     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

显著性引导及不确定性监督的深度编解码网络

基于U-Net的编码-解码网络及其变体网络在医学图像语义分割任务中取得了卓越的分割性能.然而,网络在特征提取过程中丢失了部分空间细节信息,影响了分割精度.另一方面,在多模态的医学图像语义分割任务中,这些模型的泛化能力和鲁棒性不理想.针对以上问题,本文提出一种显著性引导及不确定性监督的深度卷积编解码网络,以解决多模态医学图像语义分割问题.该算法将初始生成的显著图和不确定概率图作为监督信息来优化语义分割网络的参数.首先,通过显著性检测网络生成显著图,初步定位图像中的目标区域;然后,根据显著图计算不确定分类的像素点集合,生成不确定概率图;最后,将显著图和不确定概率图与原图像一同送入多尺度特征融合网络,引导网络关注目标区域特征的学习,同时增强网络对不确定分类区域和复杂边界的表征能力,以提升网络的分割性能.实验结果表明,本文算法能够捕获更多的语义信息,在多模态医学图像语义分割任务中优于其他的语义分割算法,并具有较好的泛化能力和鲁棒性.     

多先验特征与综合对比度的图像显著性检测

目的 图像的显著性检测在计算机视觉中应用非常广泛,现有的方法通常在复杂背景区域下表现不佳,由于显著性检测的低层特征并不可靠,同时单一的特征也很难得到高质量的显著图。提出了一种通过增加特征的多样性来实现显著性检测的方法。方法 在高层先验知识的基础上,对背景先验特征和中心先验特征重新进行了定义,并考虑人眼视觉一般会对暖色调更为关注,从而加入颜色先验。另外在图像低层特征上使用目前较为流行的全局对比度和局部对比度特征,在特征融合时针对不同情况分别采取线性和非线性的一种新的融合策略,得到高质量的显著图。结果 在MSRA-1000和DUT-OMRON两个公开数据库进行对比验证,实验结果表明,基于多先验特征与综合对比度的图像显著性检测算法具有较高的查准率、召回率和F-measure值,相较于RBD算法均提高了1.5%以上,综合性能均优于目前的10种主流算法。结论 相较于基于低层特征和单一先验特征的算法,本文算法充分利用了图像信息,能在突出全局对比度的同时也保留较多的局部信息,达到均匀突出显著性区域的效果,有效地抑制复杂的背景区域,得到更加符合视觉感知的显著图。     

融合颜色属性和空间信息的显著性物体检测

摘 要：目的：提出了一种基于颜色属性和空间信息的显著性物体检测算法,并将其用于交通标志的检测。方法：首先,训练颜色属性得到颜色-像素值分布,据此将图像划分为不同的颜色聚簇,每个聚簇的显著性取决于其空间紧致性。其次,将每个聚簇分割为多个区域,用颜色属性描述子表示每个区域,计算区域的全局对比度。最后,同时考虑区域对比度和相应聚簇的空间紧致性,得到最终的显著图。在此基础上,将交通标志的先验知识转换为自上而下的显著性图,形成任务驱动的显著性模型,对交通标志进行检测。结果：在公开数据集上的测试结果表明,该算法取得最高92%的查准率,优于其它流行的显著性算法。在交通标志数据集上的检测取得了90.7%的正确率。结论：本文提出了一种新的显著性检测算法,同时考虑了区域的颜色和空间信息,在公开数据集上取得了较高的查准率和查全率。在对交通标志的检测中也取得了较好的结果。     

视觉选择性注意计算模型

提出一种用于智能机器人的视觉注意计算模型．受生物学启发,该模型模仿人类自下而上和自上而下 两种视觉选择性注意过程．通过提取输入图像的多尺度下的多个底层特征,在频域分析各特征图的幅度谱,在空域 构造相应的特征显著图．根据显著图,计算出注意焦点的位置和注意区域的大小,结合给定的任务在各注意焦点之 间进行视觉转移．在多幅自然图像上进行实验,并给出相应的实验结果、定性和定量分析．实验结果与人类视觉注 意结果一致,表明该计算模型在注意效果、运算速度等方面有效．     

通道-空间联合注意力机制的显著性检测模型

针对显著性区域突出不均匀和边缘不清晰导致显著性检测鲁棒性差等问题,提出了一种通道-空间联合注意力机制的显著性检测模型。改进了一种通道注意力机制,将特征图中的像素概率值逐像素相加以更好的获取通道中层间信息的关联性;在通道注意力机制的基础上并行融入了空间注意力机制,对特征图的空间信息进行加权获得目标突出的显著性区域;将通道注意力机制与空间注意力机制输出的两个特征图加权融合反馈至通道-空间联合注意力机制,从而得到细粒度更高的显著图。实验结果表明,该模型在公开的数据集DUTS-TE和SOD上,使用F-measure和平均绝对误差作为评估标准均优于其他同类模型。     

融合连续区域特性和背景学习模型的显著计算

为了提高显著性模型的计算效率,提出基于连续区域特性和背景学习的模型,分别提取图像的显著区域,并进行融合.首先计算区域显著目标像素与周围像素位置的距离,提出基于贝叶斯的区域显著性对比的度量方法.然后采用连续性区域合并,合并空洞区域与其最相似的邻居区域.之后采用3种典型的显著性算法处理同一幅图像,得到不同的显著特征图,采用反差法得到各特征图的背景,建立混合高斯背景模型,加权学习合成背景图,再与原图作差得到前景显著区域.最后结合细胞调节规律融合得到的显著区域.在SED1、ASD图像库中测试文中算法,所得的F-measure、平均误差都较优.     

稀疏深度特征对传统显著性检测的优化

目的 显著性目标检测算法主要分为基于低级特征的传统方法和基于深度学习的新方法,传统方法难以捕获对象的高级语义信息,基于深度学习的新方法能捕获高级语义信息却忽略了边缘特征。为了充分发挥两种方法的优势,基于将二者结合的思路,本文利用稀疏能使得显著性对象指向性凝聚的优势,提出了一种基于稀疏自编码和显著性结果优化的方法。方法 对VGG（visual geometry group）网络第4个池化层的特征图进行稀疏自编码处理,得到5张稀疏显著性特征图,再与传统方法得到的显著图一起输入卷积神经网络进行显著性结果优化。结果 使用DRFI（discriminative regional feature integration）、HDCT（high dimensional color transform）、RRWR（regularized random walks ranking）和CGVS（contour-guided visual search）等传统方法在DUT-OMRON、ECSSD、HKU-IS和MSRA等公开数据集上进行实验,表明本文算法有效改善了显著性对象的F值和MAE（mean absolute error）值。在F值提高方面,优化后的DRFI方法提升最高,在HKU-IS数据集上提高了24.53%。在MAE值降低方面,CGVS方法降低最少,在ECSSD数据集上降低了12.78%,降低最多的接近50%。而且本模型结构简单,参数少,计算效率高,训练时间约5 h,图像的平均测试时间约为3 s,有很强的实际应用性。结论 本文提出了一种显著性结果优化算法,实验结果表明算法有效改善了显著性对象F值和MAE值,在对显著性对象检测要求越来越准确的对象识别等任务中有较好的适应性和应用性前景。