显著性目标检测中的视觉特征及融合

显著性目标检测,在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一步,有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到,多数检测方法是采用视觉特征来检测的,视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征,对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合,然后将颜色特征与其他特征进行比较,并从中选择较优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-OMON上进行了实验,从PR曲线、F-Measure方法、MAE绝对误差三个方面进行了定量比较,检测出的综合效果优于其他算法。通过对不同视觉特征的比较和融合,表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。     

自适应融合局部和全局稀疏表示的图像显著性检测

针对基于局部或全局稀疏表示的图像显著性检测方法频繁出现提取对象不完整、边界不光滑及噪声消除不干净等问题,提出自适应融合局部和全局稀疏表示的图像显著性检测方法。首先,对原始图像进行分块处理,利用图像块代替像素操作,降低算法复杂度;其次,对分块后的图像进行局部稀疏表示,即：针对每一个图像块,选取其周围的若干图像块生成过完备字典,基于该字典对图像块进行稀疏重构,得到原始图像的初始局部显著图,该显著图能够有效提取显著性目标的边缘信息;接着,对分块后的图像进行全局稀疏表示,与局部稀疏表示过程类似,不同的是针对每一个图像块所生成的字典来源于图像四周边界处的图像块,这样可以得到能有效检测出显著性目标内部区域的初始全局显著图;最后,将初始局部和全局显著图进行自适应融合,生成最终显著图。实验结果表明,提出算法在查准率（precision）、查全率（recall）及F-measure等指标上优于几种经典的图像显著性检测方法。     

基于视觉注意力模型的显著性提取

对现有基于注意力机制的静态显著计算和动态显著计算技术进行综述.它主要包括两部分:静态图像的显著性提取和动态图像的显著性提取.静态显著计算首先介绍了Itti和Stentiford静态显著性提取模型,然后分析了基础分割的注意力模型技术.动态显著性提取中的两个动静结合的注意力模型、强注意力偏向融合和基于运动优先的注意力模型.介绍了一些视觉注意力模型,并对其进行了讨论.探讨了各种模型的优缺点及应用.为视觉注意力模型在图像检索、人机交互、视频监控等领域提供了一定的基础.     

基于局部和全局特征的人脸识别方法

提出了一种将局部特征识别与全局特征识别相结合的人脸识别方法.该算法首先提取人脸的局部特征进行识别,然后提取未识别图像的全局特征进行识别.基于ORL人脸数据库的实验证明了该算法的识别性能要优于单一特征识别方法.     

基于多特征融合的图像主体显著性判断

从视觉角度来说,视觉显著性图像是指主体突出的图像,比起内容散乱的图像,此类图像往往更能吸引用户的关注,也更符合用户对图片检索的使用需求。提出了一种图像主体视觉显著性判断方法,采用“中心围绕”计算原则在多特征融合的基础上应用支持向量机训练,建立了一个分类模型,并且可以给出表征图像显著程度的得分。实验表明,该模型有较高的分类正确率,并且将该模型应用于图像检索重排序、图像上传自动审核等应用时,可以得到更接近人工操作的结果,降低人力资源成本。     

基于倒数函数谱残差的显著对象探测和提取方法

针对"中心-周围"的显著对象探测方法频繁出现探测或提取对象不完整、边界不平滑以及其9级金字塔下采样的冗余问题,提出一种基于倒数函数-谱残差（RFSR）的显著对象探测方法。首先,利用灰度图像与其对应的高斯低通滤波的差代替"中心-周围"方法中灰度图像标准化,并减少高斯金字塔至6级以降低冗余;其次,利用倒数函数滤波器代替Gabor滤波器提取局部方向信息;接着,利用谱残差方法提取图像的谱特征;最后,将这三个特征经过适当融合生成最终显著图。在两个常用基准数据集上的实验结果表明,所提方法在准确率（precision）、召回率（recall）及F-measure等指标上均比"中心-周围"及谱残差模型有明显提高,其为进一步图像分析、对象识别及基于显著视觉关注的图像检索等理论及应用研究奠定了基础。     

融合全局和局部特征的Fisherfaces方法

提出了一种融合全局和局部特征的Fisherfaces方法。在Fisher线性准则下,抽取出图像全局特征和局部特征的最佳分类特征。计算待识别样本和训练样本集的加权欧氏距离。在最近邻准则下,判别待识别样本的类别,在ORL人脸库上进行的对比实验结果表明该方法的优越性。     

基于视觉运动特性的视频时空显著性区域提取方法

为了更准确有效地提取人眼观察视频的显著性区域,提出一种基于视觉运动特性的视频时空显著性区域提取方法。该方法首先通过分析视频每帧的频域对数谱得到空域显著图,利用全局运动估计和块匹配得到时域显著图,再结合人眼观察视频时的视觉特性,根据对不同运动特性视频的主观感知,动态融合时空显著图。实验分析从主客观两个方面衡量。视觉观测和量化指标均表明, 与其他经典方法相比,所提方法提取的显著性区域能够更准确地反映人眼的视觉注视区域。     

融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题,结合Swin Transformer和卷积神经网络各自的优势,提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取;其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习;最后将提取出的多支路全局特征与局部特征进行融合,实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明,所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势,验证了所提方法在图像去雨任务上的有效性。     

基于SLIC融合纹理和直方图的图像显著性检测

针对基于颜色直方图的显著图无法突出边缘轮廓和纹理细节的问题,结合图像的颜色特征、空间位置特征、纹理特征以及直方图,提出了一种基于SLIC融合纹理和直方图的图像显著性检测方法。该方法首先通过SLIC算法对图像进行超像素分割,提取基于颜色和空间位置的显著图;然后分别提取基于颜色直方图的显著图和基于纹理特征的显著图;最后将前两个阶段得到的显著图进行融合得到最终的显著图。此外,通过简单的阈值分割方法得到图像中的显著性目标。实验结果表明,与经典显著性检测算法相比,提出的算法性能明显优于其他算法性能。     

基于交叉融合特征的人耳识别

结合人耳图像特点和两种整体统计特征提取方法的优缺点，该文用主成分分析(PCA)方法提取图像的表示信息特征，用压缩后的类平均向量中的判别信息获得先验类别特征并根据特征分量的类间类内方差比准则将两种特征交叉融合成新的特征向量。分别在2个不同的人耳图像库中进行识别实验，结果表明，该文提出的交叉融合特征识别方法比传统的PCA和PCA+LDA方法的正确识别率高，而且在有一定程度的光照变化和一定角度变化的情况下仍可获得很好的识别效果。     

基于Local特征和Regional特征的图像显著性检测

提出了一种基于颜色空间的Local特征和Regional特征的自然图像显著性检测方法. 该方法将图像分成8×8的子块, 计算多个尺度下每一个子块的Local特征和Regional特征, 并将其加权组合来确定子块的显著程度, 从而得到整个图像的显著特征. 此外, 通过计算4个颜色通道上的色度对比度, 获得显著物体的边缘. 将图像的显著特征与显著物体的边缘综合后得到图像中的显著目标. 实验结果显示, 本文提出的方法能够快速、清晰而准确地提取出图像中的显著性目标.     

基于主成分分析进行特征融合的JPEG 隐写分析

为了解决现有JPEG隐写分析方法特征冗余度高和未能充分利用特征间互补关系的问题,提出了一种基于主成分分析(principal component analysis,简称PCA)进行特征融合的JPEG隐写分析方法,并分析所选特征之间的互补性.通过融合将互补特征结合在一起,更全面地反映载体和隐写信号间的统计差异,并用PCA分离出冗余成分,最终达到进一步提升准确率的目的.实验结果表明,在不同数据集和嵌入率情况下,该方法分析高隐蔽性隐写(如F5,MME和PQ)的准确率高于主要JPEG分析方法,在耗时上较现有特征层融合降维方法大为缩短.     

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法.利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行...     

融合局部与全局特征的肺炎医学影像分类

针对现有肺炎医学影像识别研究在浅层网络忽略全局特征导致特征提取不全且模型规模较大的问题, 提出了一种基于CNN和注意力机制的轻量化模型提高肺炎类型的识别效率. 采用轻量化模型结构减少模型参数量, 通过增大卷积核, 引入高效通道注意力和自注意力机制解决网络重要信息丢失和无法提取底层全局信息的问题, 通过双分支并行提取局部和全局信息并使用多尺度通道注意力提高二者融合质量, 使用CLAHE算法优化原始数据. 实验结果表明, 该模型在保证轻量性的同时准确率、灵敏度、特异性较原模型分别提高2.59%, 3.1%, 1.38%, 并优于当前优秀的其他分类模型, 具有更强的实用性.     

基于类矩阵和特征融合的加权自适应人脸识别

为了准确快速地进行人脸识别,提出了一种基于类矩阵和特征融合的加权自适应人脸识别算法,该算法首先,提取人脸的全局特征和6个关键部分的局部特征,同时给出了局部特征权值的动态选择方法,由于该法可以根据不同的训练集得出不同的权值,因而增强了算法的自适应能力;然后通过将全局和局部特征加权融合来得出样本的特征矩阵;接着设计出了一种加权PCA方法用于对样本矩阵进行降维;再进一步提出类矩阵的概念,同时给出并证明了类矩阵的推导公式,并据此得出一种新的投影准则;最后,将类矩阵和试验样本分别进行投影,并根据其欧氏距离的大小得出试验人脸的最终类别。试验表明,该算法不仅计算速度快、识别率高,而且能有效解决LDA小样本空间问题,应用前景良好。     

基于对数Gabor的超复数视觉显著性检测算法

为在没有先验知识的情况下准确获取图像显著性目标,提出一种基于对数Gabor滤波器和超复数傅里叶变换的视觉显著性检测算法。利用对数Gabor滤波器模仿人类视觉感受野,对输入图像进行预处理,提取颜色、纹理方向等特征。根据所得特征构造各尺度下的超复数图像,并求其傅里叶变换相位谱,将多尺度超复数相位谱反变换后进行归一化,从而获得视觉显著图。实验结果表明,该算法与传统的算法相比具有更高的准确率,应用于复杂场景下的交通标志检测能取得较好的检测效果。     

基于视觉显著度的多聚焦图像融合方法

多聚焦图像存在聚焦区和离焦区,聚焦区通常吸引人的注意力,具有突出的视觉显著性。传统融合算法缺乏对聚焦区域的定位能力,对多聚焦图像融合的适应性普遍较差。为此,提出一种模拟人类视觉注意机制的多聚焦图像融合方法。利用谱残差算法计算源图像的显著度图,通过判断不同源图像相同位置上的像素显著性,选择显著度大的图像像素组成该源图像的聚焦区,显著度相等的像素构成边界带,使用腐蚀膨胀操作消除聚焦区内的孤立像素点,以每幅源图像的聚焦区域和梯度值较大的边界带像素作为融合图像的像素。实验结果表明,该方法能自主选择清晰像素,获得37d B以上的高峰值信噪比,且基本无参数设置,在不同类型图像融合中均表现出较强的鲁棒性。     

基于全局与局部特征融合的人脸识别方法

针对现有预处理算法存在的缺陷及单一人脸特征在识别中的局限性,本文在基于双眼独立动态阈值的人脸预处理方法的基础上,研究全局特征PCA、2DPCA与局部特征LBP、Gabor,分析对比这几种特征的识别效果及适用情况;根据对这几种特征的研究分析,采用特征融合的方式对PCA和LBP特征进行融合;实验结果验证了在ORL库和ESSEX库上采用决策级融合的识别率优于特征级融合及单一特征的识别率。 