基于简单帧选择的显著性检测方法

提出了一种新颖的视频显著性检测方法。为了提取视频序列中具有高置信度的特征,根据输入帧和输入帧的初始显著图提出一种简单帧选择标准,并使用该简单选择标准挑选出视频序列中比较容易且准确提取前景对象的帧,从简单帧中获得鲁棒的前景背景标签;将图像进行超像素分割,提取时空特征与前景标签输入集成学习模型,经过多核SVM集成学习,最终生成像素级别的显著图,并且由运动特征扩散到整个视频集。各种视频序列的实验结果表明,该算法在定性和定量上优于传统的显着性检测算法。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

基于视觉注意机制的遥感图像显著性目标检测

显著性目标检测是遥感图像处理的重要研究领域,传统的方法通过逐个像素点的计算来实现目标检测,难以满足遥感图像大面积实时处理的要求。将视觉注意机制应用到遥感图像的显著性目标检测中,在训练阶段,将所有的目标融合成目标类,所有的背景融合成背景类,目标类的显著性均值与背景类的显著性均值的比值得到一个权重向量;在检测阶段,所有的特征图乘以权重向量得到自顶向下的显著性图;自顶向下和自底向上的显著性图融合生成全局显著性图。实验结果表明当目标和背景不是总成对出现时,该方法的检测结果优于Navalpakkam模型和Frintrop模型的检测结果。     

基于深度学习的红外视频显著性目标检测

面对背景越来越复杂的海量红外视频图像,传统方法的显著性目标检测性能不断下降。为了提升红外图像的显著性目标检测性能,提出了一种基于深度学习的红外视频显著性目标检测模型。该模型主要由空间特征提取模块、时间特征提取模块、残差连接块以及像素级分类器4个模块组成。首先利用空间特征提取模块获得空间特征,然后利用时间特征提取模块获得时间特征并实现时空一致性,最后将时空特征信息和由残差连接块连接空间模块获得的空间低层特征信息一同送入像素级分类器,生成最终的显著性目标检测结果。训练网络时,使用BCEloss和DICEloss两个损失函数结合的方式,以提高模型训练的稳定性。在红外视频数据集OTCBVS以及背景复杂的红外视频序列上进行测试,结果表明所提模型都能够获得准确的显著性目标检测结果,并且具有鲁棒性及较好的泛化能力。     

融合边缘信息的显著性目标检测

为了解决显著性检测中图像的低对比度区域和边缘区域存在误检测的问题.提出包含边缘检测子网络和显著性检测子网络的双分支网络模型.在自顶向下的信息流传递过程中，边缘检测子网络和显著性检测子网络分别独立学习边缘信息和显著性信息.设计信息交互模块和特征聚合模块，使得两个子网络将各自学到的特征信息逐层融合.边缘检测子网络，由真值图通过距离变换生成的边缘真值图进行监督，边缘检测子网络仅用于训练阶段.在5个经典数据集上进行的实验结果表明：相比于其他12种主流的检测方法，在F度量，平均绝对误差，结构化度量，精确率-召回率等指标中，本文方法均有明显的提升.基于边缘检测子网络提供的边缘信息能有效引导模型区分出低对比度图片中的边缘部分，得到边缘轮廓完整的显著图.该方法生成的显著图边缘轮廓连续性更好，空间结构细节信息更清晰，对低对比度区域更敏感.     

基于深度交叉CNN和免交互GrabCut的显著性检测

针对传统显著性检测算法特征学习不足,显著性区域边界不明确和检测效果鲁棒性较差等问题,提出一种基于深度交叉卷积神经网络和免交互GrabCut的显著性检测算法。该方法首先针对传统CNN模型中神经元和参数规模较大导致训练困难的不足,根据人眼视觉原理,构建深度交叉卷积神经网络模型（DCCNN）;然后,采用超像素聚类方法获取图像区域特征,并通过Beltrami滤波突出图像内的边界特征,利用DCCNN对特征进行学习,在联合条件随机场框架下完成特征融合,实现显著性区域粗糙检测;最后,对粗糙检测结果自适应二值化和形态学膨胀,将显著区域的多边形逼近结果作为GrabCut算法的输入,完成显著性区域的精确检测。实验结果表明所提算法能够有效提高显著性检测精度,具有更好的鲁棒性和普适性。     

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息, 取得了比RGB显著性检测模型更好的性能, 受到学术界的高度关注. 然而, 现有的RGB-D检测模型仍面临着持续提升检测性能的需求. 最近兴起的Transformer擅长建模全局信息, 而卷积神经网络(CNN)擅长提取局部细节. 因此, 如何有效结合CNN和Transformer两者的优势, 挖掘全局和局部信息, 将有助于提升显著性目标检测的精度. 为此, 提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法, 通过将Transformer网络嵌入U-Net中, 从而将全局注意力机制与局部卷积结合在一起, 能够更好地对特征进行提取. 首先借助U-Net编码-解码结构, 高效地提取多层次互补特征并逐级解码生成显著特征图. 然后, 使用Transformer模块学习高级特征间的全局依赖关系增强特征表示, 并针对输入采用渐进上采样融合策略以减少噪声信息的引入. 其次, 为了减轻低质量深度图带来的负面影响, 设计一个跨模态交互融合模块以实现跨模态特征融合. 最后, 5个基准数据集上的实验结果表明, 所提算法与其他最新的算法相比具有显著优势.     

融合深度特征和多核增强学习的显著目标检测

目的 针对现有基于手工特征的显著目标检测算法对于显著性物体尺寸较大、背景杂乱以及多显著目标的复杂图像尚不能有效抑制无关背景区域且完整均匀高亮显著目标的问题,提出了一种利用深度语义信息和多核增强学习的显著目标检测算法。方法 首先对输入图像进行多尺度超像素分割计算,利用基于流形排序的算法构建弱显著性图。其次,利用已训练的经典卷积神经网络对多尺度序列图像提取蕴含语义信息的深度特征,结合弱显著性图从多尺度序列图像内获得可靠的训练样本集合,采用多核增强学习方法得到强显著性检测模型。然后,将该强显著性检测模型应用于多尺度序列图像的所有测试样本中,线性加权融合多尺度的检测结果得到区域级的强显著性图。最后,根据像素间的位置和颜色信息对强显著性图进行像素级的更新,以进一步提高显著图的准确性。结果 在常用的MSRA5K、ECSSD和SOD数据集上与9种主流且相关的算法就准确率、查全率、F-measure值、准确率—召回率（PR）曲线、加权F-measure值和覆盖率（OR）值等指标和直观的视觉检测效果进行了比较。相较于性能第2的非端到端深度神经网络模型,本文算法在3个数据集上的平均F-measure值、加权F-measure值、OR值和平均误差（MAE）值,分别提高了1.6%,22.1%,5.6%和22.9%。结论 相较于基于手工特征的显著性检测算法,本文算法利用图像蕴含的语义信息并结合多个单核支持向量机（SVM）分类器组成强分类器,在复杂图像上取得了较好的检测效果。     

基于多流网络一致性的视频显著性检测

现有的视频显著性检测算法通常采用双流结构提取视频的时空线索,其中运动信息作为双流结构的一个分支,在显著物体发生剧烈或慢速移动时存在运动估计准确率低的问题,并且不合理的训练数据或方案使得权重偏向单个分支结构。提出一种基于多流网络一致性的视频显著性检测算法MSNC。设计并使用一种新的三重网络结构提取预选目标区域的颜色信息、时序信息和先验特征,通过先验特征补偿运动流的缺陷,并提高运动线索的利用率。采用多流一致性融合模型优化三流分支,得到不同特征的最佳融合方案。同时通过循环训练策略平衡三重网络的权重,以避免网络过度拟合单流分支,从而有效地提高运动估计和定位的准确率。在Davis数据集上的实验结果表明,相比PCSA、SSAV、MGA等算法,该算法的鲁棒性更优,其maxF和S-Measure值分别达到0.893和0.912,MAE仅为0.021。     

伪异常选择驱动学习的视频异常检测

无监督视频异常检测方法通常使用正常的监控视频数据通过帧重构/帧预测方法来训练视频异常检测模型。然而,正常视频中往往包含大量的相似画面和背景帧,数据集冗余的问题尤为明显,因此不能高效地进行异常检测模型训练。针对该问题,提出了伪异常选择驱动学习的视频异常检测方法,从原始视频训练数据中迭代选取部分异常分数高的正常视频帧(伪异常帧)来构建新的训练池,用于学习和优化视频异常检测模型。在检测模型方面,设计了基于后继帧预测的双路U-Net骨干网络,以不同采样率的视频段分别作为两个支路的输入,从而从多个粒度上更好地提取和利用视频的时空特征。为了加强典型训练数据对帧预测任务和异常检测的影响,双路U-Net中设计了多层的记忆学习模块。在常用视频异常检测数据集上进行实验,验证了所提方法在检测精度和训练效率上的有效性。