融合深度特征和多核增强学习的显著目标检测

目的 针对现有基于手工特征的显著目标检测算法对于显著性物体尺寸较大、背景杂乱以及多显著目标的复杂图像尚不能有效抑制无关背景区域且完整均匀高亮显著目标的问题,提出了一种利用深度语义信息和多核增强学习的显著目标检测算法。方法 首先对输入图像进行多尺度超像素分割计算,利用基于流形排序的算法构建弱显著性图。其次,利用已训练的经典卷积神经网络对多尺度序列图像提取蕴含语义信息的深度特征,结合弱显著性图从多尺度序列图像内获得可靠的训练样本集合,采用多核增强学习方法得到强显著性检测模型。然后,将该强显著性检测模型应用于多尺度序列图像的所有测试样本中,线性加权融合多尺度的检测结果得到区域级的强显著性图。最后,根据像素间的位置和颜色信息对强显著性图进行像素级的更新,以进一步提高显著图的准确性。结果 在常用的MSRA5K、ECSSD和SOD数据集上与9种主流且相关的算法就准确率、查全率、F-measure值、准确率—召回率（PR）曲线、加权F-measure值和覆盖率（OR）值等指标和直观的视觉检测效果进行了比较。相较于性能第2的非端到端深度神经网络模型,本文算法在3个数据集上的平均F-measure值、加权F-measure值、OR值和平均误差（MAE）值,分别提高了1.6%,22.1%,5.6%和22.9%。结论 相较于基于手工特征的显著性检测算法,本文算法利用图像蕴含的语义信息并结合多个单核支持向量机（SVM）分类器组成强分类器,在复杂图像上取得了较好的检测效果。     

动态背景下自适应LOBSTER算法的前景检测

目的 前景检测是视频监控领域的研究重点之一。LOBSTER(local binary similarity segmenter)算法把ViBe(visual background extractor)算法和LBSP(local binary similarity patterns)特征结合起来,在一般场景下取的了优良的检测性能,但是LOBSTER算法在动态背景下适应性差、检测噪声多。针对上述问题,提出一种改进的LOBSTER算法。方法 在模型初始化阶段,计算各像素的LBSP特征值,并分别把像素的灰度值和LBSP特征值添加到各像素的颜色背景模型与LBSP背景模型中,增强了背景模型的描述能力;在像素分类阶段,根据背景复杂度自适应调整每个像素在颜色背景模型和LBSP背景模型中的分类阈值,降低了前景中的噪声;在模型更新阶段,根据背景复杂度自适应调整每个像素背景模型的更新策略,提高背景模型对动态背景的适应能力。结果 本文算法与ViBe算法和LOBSTER算法进行了对比实验,本文算法的前景图像比ViBe算法和LOBSTER算法的噪声点大幅较低,本文算法的PCC指标在不同视频库中比ViBe算法提高0.736%7.56%,比LOBSTER算法提高0.77% 12.47%,FPR指标不到ViBe算法和LOBSTER算法的1%。结论 实验仿真结果表明,在动态背景的场景下,本文算法比ViBe算法和LOBSTER算法检测到的噪声少,具有较高的准确率和鲁棒性。     

区域颜色属性空间直方图背景建模

目的 为了能在光照变化、动态背景干扰这一类复杂场景中实时、准确地分割出运动前景,针对传统的基于颜色特征和基于像素的方法的不足,提出一种在颜色属性空间进行区域直方图建模的运动目标检测方法。方法 首先将RGB颜色空间映射到更为稳健的低维颜色属性空间,以颜色属性为特征在像素的局部范围内建立直方图,同时记录直方图每一个分区中像素的空间信息,使用K个空间直方图构成每个像素的背景模型,每个直方图根据其匹配度赋予不同的权重。降维的颜色属性提高了模型的鲁棒性和检测的时效性,空间直方图引入的位置信息提高了背景模型的准确性。然后通过学习率α_b和α_ω来控制各模型直方图及其权重的更新,以提高模型的适应性。在标准测试数据集的所有视频序列中进行了实验,通过分析综合性能指标（F1）及平均假阳性（FN）曲线,确定了算法中涉及参数的合理取值范围。结果 对实验结果定性和定量的分析表明,本文方法能够得到良好的前景检测效果,尤其在多模态场景和光线变化的复杂场景中能显著提高检测性能。各类场景的平均综合性能指标（average F1）相比性能突出的方法ViBe、LOBSTER（local binary similarity segmenter）和DECOLOR（detecting contiguous outliers in the low-rank representation）分别提高了0.65%、3.86%和3.9%,并通过GPU并行加速实现运动目标的实时检测。结论 在复杂视频环境下的运动目标检测中,相比已有方法,本文方法能够更为准确地分割出运动前景,是一种实时、有效的检测方法,具有一定的实用价值。     

邻域窗口权重变分的图像修复

目的 传统的基于样本块的图像修复算法对于破损区域周围既含有几何结构信息又含有丰富纹理信息的情形,修复过程中易出现纹理延伸现象和错误样本块问题,该研究旨在改进传统的修复算法,提出基于邻域窗口权重变分的图像修复算法。方法 该算法利用领域窗口总变分和内在变分构造出权重变分,通过对Criminisi算法中的优先级测度进行加权,提高了对几何结构信息和纹理信息的辨识能力,使几何结构信息得到优先修复;同时,在像素块的匹配过程中,通过引入整体结构差异算子,并与传统的颜色匹配相结合,提高了匹配精度。结果 改进的算法很好地克服了原算法中的纹理延伸和误匹配问题,保持了修复结果的视觉连通性,其峰值信噪比相比原算法提高23 dB。结论 相比于Criminisi算法及其相应的改进算法,本文算法能够对既含有几何结构又含有丰富纹理信息的破损区域取得更好的修复效果,同时,也能高效修复一般的破损区域,从而具有更好的普适性。     

基于贝叶斯决策的运动目标检测方法

传统混合高斯背景建模存在难以解决背景复杂以及阴影等因素影响视频运动目标检测效果的问题,为此提出了一种基于贝叶斯决策的运动目标检测方法。该方法利用帧间差分进行像素变化检测,将像素粗分为变化像素和非变化像素;对于变化像素中的运动点和静止点,通过统计确立有效的数据结构,其中显著颜色分布统计量用来描述静止点,而显著颜色同现统计量描述运动点;从数据结构中提取颜色特征矢量,将特征矢量中的静止点和运动点按照贝叶斯决策规则进一步分类为背景点、前景点和颜色相似点。对颜色相似点进行局部加权处理以达到正确检测的目的;通过融合静止点集、运动点集和加权后的颜色相似点集结果提取出前景运动目标。仿真实验表明,该方法能够在不同复杂背景下较准确地检测出视频中的运动目标,相比传统算法具有较强的鲁棒性。     

加权间隔结构化支持向量机目标跟踪算法

目的 目标在跟踪过程中,各种因素的干扰使得跟踪结果存在不确定性。因此,将跟踪过程中所提取样本的可靠性融入跟踪模型中,有助于克服低可靠性样本对跟踪算法的影响。为此,基于最近的结构化支持向量机（SSVM）跟踪算法,提出一种包含样本置信度的加权间隔结构化支持向量机跟踪模型（WMSSVM）,以增强SSVM跟踪算法性能。方法 首先,基于打分和位置重合率估计样本可靠性;其次,建立WMSSVM模型处理具有不同置信度的跟踪样本训练问题,并采用对偶坐标下降优化算法求解跟踪模型。结果 在包含100个视频的OTB100跟踪数据集上进行测试,提出的WMSSVM跟踪器与基准跟踪器Scale-DLSSVM相比,在精准度和成功率两个指标上分别提高了1%和2%。与最近的跟踪算法相比,提出的方法也表现出更好的性能。结论 本文首次将样本的可靠性融入结构化支持向量机跟踪模型,并提出一种基于加权间隔的结构化支持向量机跟踪模型及其优化求解方法,在包含100个视频序列的跟踪数据集上验证了提出方法的有效性,本文提出的算法能够适应复杂场景下的跟踪任务,并在背景混杂、目标形变、遮挡、运动模糊、目标出界、快速位移等类别的视频中表现出优异的性能。     

融合目标增强与稀疏重构的显著性检测

目的 为了解决图像显著性检测中存在的边界模糊,检测准确度不够的问题,提出一种基于目标增强引导和稀疏重构的显著检测算法（OESR）。方法 基于超像素,首先从前景角度计算超像素的中心加权颜色空间分布图,作为前景显著图;由图像边界的超像素构建背景模板并对模板进行预处理,以优化后的背景模板作为稀疏表示的字典,计算稀疏重构误差,并利用误差传播方式进行重构误差的校正,得到背景差异图;最后,利用快速目标检测方法获取一定数量的建议窗口,由窗口的对象性得分计算目标增强系数,以此来引导两种显著图的融合,得到最终显著检测结果。结果 实验在公开数据集上与其他12种流行算法进行比较,所提算法对具有不同背景复杂度的图像能够较准确的检测出显著区域,对显著对象的提取也较为完整,并且在评价指标检测上与其他算法相比,在MSRA10k数据集上平均召回率提高4.1%,在VOC2007数据集上,平均召回率和F检验分别提高18.5%和3.1%。结论 本文提出一种新的显著检测方法,分别利用颜色分布与对比度方法构建显著图,并且在显著图融合时采用一种目标增强系数,提高了显著图的准确性。实验结果表明,本文算法能够检测出更符合视觉特性的显著区域,显著区域更加准确,适用于自然图像的显著性目标检测、目标分割或基于显著性分析的图像标注。     

不规则像素簇显著性检测算法

目的 显著性检测领域的研究重点和难点是检测具有复杂结构信息的显著物体。传统的基于图像块的检测算法,主要根据相对规则的图像块进行检测,计算过程中不能充分利用图像不规则的结构和纹理的信息,对算法精度产生影响。针对上述问题,本文提出一种基于不规则像素簇的显著性检测算法。方法 根据像素点的颜色信息量化颜色空间,同时寻找图像的颜色中心,将每个像素的颜色替代为最近的颜色中心的颜色。然后根据相同颜色标签的连通域形成不规则像素簇,并以连通域的中心为该簇的位置中心,以该连通域对应颜色中心的颜色为该簇整体的颜色。通过像素簇的全局对比度得到对比度先验图,利用目标粗定位法估计显著目标的中心,计算图像的中心先验图。然后将对比度先验图与中心先验图结合得到初始显著图。为了使显著图更加均匀地突出显著目标,利用图模型及形态学变化改善初始显著图效果。结果 将本文算法与5种公认表现最好的算法进行对比,并通过5组图像进行验证,采用客观评价指标精确率—召回率（precision-recall,PR）曲线以及精确率和召回率的调和平均数F-measure进行评价,结果表明本文算法在PR曲线上较其他算法表现良好,在F-measure方面相比其他5种算法均有00.3的提升,且有更佳的视觉效果。结论 本文通过更合理地对像素簇进行划分,并对目标物体进行粗定位,更好地考虑了图像的结构和纹理特征,在显著性检测中有较好的检测效果,普适性强。     

面向工业零件分拣系统的低纹理目标检测

目的 随着工业领域智能分拣业务的兴起,目标检测引起越来越多的关注。然而为了适应工业现场快速部署和应用的需求,算法只能在获得少量目标样本的情况下调整参数;另外工控机运算资源有限,工业零件表面光滑、缺乏显著的纹理信息,都不利于基于深度学习的目标检测方法。目前普遍认为Line2D可以很好地用于小样本情况的低纹理目标快速匹配,但Line2D不能正确匹配形状相同而颜色不同的两个零件。对此,提出一种更为鲁棒的低纹理目标快速匹配框架CL2D (color Line2D)。方法 首先使用梯度方向特征作为物体形状的描述在输入图像快速匹配,获取粗匹配结果;然后通过非极大值抑制和颜色直方图比对完成精细匹配。最后根据工业分拣的特点,由坐标变换完成对目标的抓取点定位。结果 为了对算法性能进行测试,本文根据工业分拣的实际环境,提出了YNU-BBD 2020(YNU-building blocks datasets 2020)数据集。在YNU-BBD 2020数据集上的测试结果表明,CL2D可以在CPU平台上以平均2.15 s/幅的速度处理高分辨率图像,在精度上相比于经典算法和深度学习算法,mAP (mean average precision)分别提升了10%和7%。结论 本文针对工业零件分拣系统的特点,提出了一种快速低纹理目标检测方法,能够在CPU平台上高效完成目标检测任务,并且相较于现有方法具有显著优势。     

高置信度互补学习的实时目标跟踪

目的 判别式目标跟踪算法在解决模型漂移问题时通常都是在预测结果的基础上构建更可靠的样本或采用更健壮的分类器,从而忽略了高效简洁的置信度判别环节。为此,提出高置信度互补学习的实时目标跟踪算法（HCCL-Staple）。方法 将置信度评估问题转化为子模型下独立进行的置信度计算与互补判别,对相关滤波模型计算输出的平均峰值相关能量（APCE）,结合最大响应值进行可靠性判定,当二者均以一定比例大于历史均值时,判定为可靠并进行更新,将颜色概率模型的输出通过阈值处理转化为二值图像,并基于二值图像形态学提取像素级连通分量属性（PCCP）,综合考虑连通分量数量、最大连通分量面积及矩形度进行可靠性判别,当置信度参数多数呈高置信度形态时,判定为可靠,进行更新;否则,判定为不可靠,降低该模型的融合权重并停止更新。结果 在数据集OTB-2015上的实验结果表明,HCCL-Staple算法与原算法相比,距离精度提高了3.2%,成功率提高了2.7%,跟踪速度为32.849帧/s,在颜色特征适应性较弱的场景和目标被遮挡的复杂场景中均能有效防止模型漂移,与当前各类主流的跟踪算法相比具有较好的跟踪效果。结论 两种子模型的置信度判别方法均能针对可能产生低置信度结果的敏感场景进行有效估计,且对输出形式相同的其他模型在置信度判别上具有一定的适用性。互补使用上述判别策略的HCCL-Staple算法能够有效防止模型漂移,保持高速的同时显著提升跟踪精度。     

一种适应户外光照变化的背景建模及目标检测方法

针对户外视频监控存在光照变化这一问题, 提出一个用于准确完成目标检测的实时背景建模框架. 考虑到目标检测的准确性要求, 建立基于帧间像素亮度差统计直方图的像素亮度扰动阈值. 在此基础上, 针对背景建模的实时性要求, 提出一种基于自回归背景模型的参数快速更新方法. 鉴于不同光照变化的适应性要求, 定义对光照变化不敏感的背景纹理模型. 上述模型统称为自回归--纹理 (Auto regression and texture, ART) 模型, 该模型适应于户外光照变化. 基于该模型构建像素亮度和纹理置信区间用于目标检测. 实验结果表明, 该框架能适应和实时跟踪户外背景的光照变化, 并对目标进行准确检测.     

一种基于改进视觉背景提取算法的前景检测

针对视觉背景提取ViBe算法在前景检测中存在的鬼影现象且长时间难以消除的缺点,提出一种改进的视觉背景提取算法。首先,在视频前n帧序列的帧差法中,引入大津（OTSU）算法求自适应阈值,以分割出更为准确的前景区域;其次,利用去除前景区域的前n帧图像合成一张尽量少的包含前景区域的样本图像;最后利用扩展的邻域范围在合成的样本图像中对模型初始化,并把扩大的范围用在ViBe背景模型更新阶段。该算法与各种经典算法在大量视频库中进行了对比实验,仿真结果表明,改进的ViBe算法能快速消除鬼影对前景检测的影响,前景检测更为准确。     

复杂背景下改进视觉背景提取的前景检测算法

针对视觉背景提取模型存在的鬼影抑制效果差、动态背景适应能力不足等问题,本文提出了一种改进的视觉背景提取模型算法。在模型构建阶段,该算法充分融合时空域信息初始化背景模型,避免了样本的重复选取,提高了鬼影抑制能力;在像素分类阶段,根据背景动态程度,引入自适应距离阈值代替全局固定阈值,增强了模型对动态背景的适应性;在背景更新阶段,对连续多帧判定为前景的像素点进行阈值判断,并及时更新到背景模型,消除了运动背景与静止前景造成的虚影现象。多个公开视频数据的测试结果表明,本文算法相比典型算法在复杂背景下检测的准确性和鲁棒性都有了很大提高。     

基于多特征融合的运动阴影去除算法

对视频监控中的运动阴影问题进行了研究,提出一种颜色特征、归一化向量距离、亮度比值相融合的阴影去除方法。首先,通过混合高斯模型建立背景图像,利用背景差分法分离运动区域。然后,采用串行处理方法检测运动区域中的阴影像素。在RGB颜色空间下根据颜色一致性特征消除阴影之后,根据运动区域的归一化向量距离分布直方图进一步检测阴影像素。最后,针对阴影检测过程中存在的误检问题,建立像素的光照模型,计算阴影像素与背景像素的亮度比值,并根据置信区间排除误检的前景像素。实验结果表明,该方法能够克服单特征方法的局限性,在多个真实场景下能有效检测与去除阴影,适应性强,鲁棒性好,处理时间适中。     

前景划分下的双向寻优跟踪方法

目的 基于目标模型匹配方法被广泛用于运动物体的检测与跟踪。针对传统模型匹配跟踪方法易受局部遮挡、复杂背景等因素影响的问题,提出一种前景划分下的双向寻优BOTFP （Bidirectional optimization tracking method under foreground partition）跟踪方法。方法 首先,在首帧中人工圈定目标区域,提取目标区域的颜色、纹理特征,建立判别外观模型。然后,利用双向最优相似匹配方法进行目标检测,计算测试图像中的局部特征块与建立的外观模型之间的相似性,从而完成模型匹配过程。为了避免复杂背景和相似物干扰,提出一种前景划分方法约束匹配过程,得到更准确的匹配结果。最后,提出一种在线模型更新算法,引入了距离决策,判断是否发生误匹配,避免前景区域中相似物体的干扰,保证模型对目标的描述更加准确。结果 本文算法与多种优秀的跟踪方法相比,可以达到相同甚至更高的跟踪精度,在Girl、Deer、Football、Lemming、Woman、Bolt、David1、David2、Singer1以及Basketball视频序列下的平均中心误差分别为7.43、14.72、8.17、13.61、24.35、7.89、11.27、13.44、12.18、7.79,跟踪重叠率分别为0.69、0.58、0.71、0.85、0.58、0.78、0.75、0.60、0.74、0.69。与同类方法L1APG （L1 tracker using accelerated proximal gradient approach）,TLD （tracking-learning-detection）,LOT （local orderless tracker）比较,平均跟踪重叠率提升了20%左右。结论 实验结果表明,在前景区域中,利用目标的颜色特征和纹理特征进行双向最有相似匹配,使得本文算法在部分遮挡、目标形变、复杂背景、目标旋转等条件下具有跟踪准确、适应性强的特点。     

基于ViBe的室外动态背景闪烁像素噪声消除方法

针对使用视觉背景提取(ViBe)模型在室外动态背景下进行移动目标检测时存在不规则闪烁像素点对前景检测结果造成干扰的问题,提出一种基于视觉背景提取算法的闪烁像素噪声消除方法。在背景模型建立阶段设定背景模型样本标准差阈值,约束背景模型的采样值范围以提高背景模型准确性。在前景检测阶段引入自适应检测阈值提高前景物体检测精度,在背景模型更新过程中对图像边缘背景像素点进行边缘抑制以阻止错误背景样本值更新到背景模型。在此基础上,结合形态学操作修复连通域,提高前景图像的完整性。最后选取多个视频序列将该方法与原始ViBe算法、形态学改进方法的检测结果进行对比。实验结果表明,该方法能有效消除闪烁像素噪声对前景检测造成的影响,获取更精确的前景图像。     

复杂场景下的交通视频显著性前景目标提取

目的 在城市交通检测中,智能视频的广泛应用使得人工智能技术及计算机视觉先进技术对视频中的前景目标检索、识别、特征提取、行为分析等成为视觉研究的热点,但由于复杂场景中动态背景具有不连续的特点,使得少部分的前景目标图像信息丢失,从而造成漏检、误判。方法 本文提出一种RPCA（鲁棒主成分分析）优化方法,为了快速筛选与追踪前景目标,以基于帧差欧氏距离方法设计显著性目标帧号快速提取算法,确定关键帧邻域内为检测范围,对经过稀疏低秩模型初筛选的前景目标图像进行前景目标种子并行识别和优化连接,去除前景目标图像中的动态背景,同时将MASK（掩膜）图像中的前景目标分为规则类和非规则类两种,对非规则类前景目标如行人、动物等出现的断层分离现象设计前景目标区域纵向种子生长算法,对规则类前景目标如汽车轮船等设计区域内前景目标种子横纵双向连接以消除空洞、缺失的影响。结果 本文前景目标提取在富有挑战性干扰因素的复杂场景下体现出较高的鲁棒性,在数据库4组经典视频和山西太长高速公路2组视频中,动态背景有水流流动、树叶摇曳、摄像头轻微抖动、光照阴影,并从应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度对实验结果进行了分析,本文显著性前景目标提取算法取得了90.1%的平均准确率,88.7%的平均召回率以及89.4%的平均F值,均优于其他同类算法。结论 本文以快速定位显著性前景目标为前提,提出对稀疏低秩模型初筛选的图像进行并行种子识别和优化连接算法,实验数据的定性与定量分析结果表明,本文算法能够更快速地将前景目标与动态背景分离,并减小前景目标与背景之间的粘连情况,更有效地保留了原始图像中前景目标的结构信息。     

结合HSV与纹理特征的视频阴影消除算法

目的 在视频监控目标检测应用中,场景中的阴影会直接影响目标检测的准确度,因此阴影抑制算法研究显得尤为重要。目前广泛使用的是HSV（hue,saturation,value）阴影抑制方法,但是该方法存在由于亮度比值的阈值不稳定而造成将运动目标也检测为阴影的问题。针对该问题,本文提出了一种结合HSV与纹理特征的视频阴影消除方法。方法 首先将输入的图像使用传统的混合高斯模型建立背景并在灰度空间中提取前景,其次在HSV空间使用亮度比的阈值方法检测阴影,二者综合得到运动目标;针对由于亮度比值的阈值不稳定而导致的前景误检为阴影的问题,采用了LBP（local binary pattern）算子结合大津阈值（OTSU）提取部分运动目标。最后将LBP算子结合大津阈值提取的部分运动目标与HSV空间检测的目标两者相或,最终去除运动目标的阴影。结果 本文选用在CVPR-ATON和CAVIAR标准视频库中多个场景的阴影视频,将本文算法与SNP算法、SP算法、DNM1算法和DNM2算法进行对比仿真,实验结果表明本文算法在阴影检测率和阴影识别率的平均值上提升约10%。结论 本文提出的视频阴影消除算法结合了HSV与纹理特征,可以在不同的环境中有效地去除阴影,运动目标保留完整,可适用于智能视频监控、遥感图像和人机交互中。     

Moving object detection algorithm based on pixel spatial sample difference consensus

Moving object detection is an essential component for security video surveillance system and other computer vision applications. Although the latest object detection methods get promising detection expectations, however, accurate detection is still a tricky problem due to various challenges such as aperture effects, illumination variations, camouflage issues and retention problems in unconstrained video environments. In this paper, we propose a brand-new theoretical framework for foreground object detection based on the stable spatial relationship between current pixel and the randomly selected pixels in current frame. Different from the existing methods which determine the moving object area by comparing each pixel value with its surrounding pixels or by comparing two pixel values occupying the same positions in adjacent frames, the proposed algorithm sets up a spatial sample set for each individual pixel and defines Spatial Sample Difference Consensus (SSDC), which denotes changes of stable spatial relationship rather than direct changes in pixel values. Thus, the proposed algorithm computes the SSDC between two adjacent frames to subtract the moving objects. The experiments on recent data-set in both indoor and outdoor surveillance video sequences show that the proposed method achieved promising performance after compared with several state-of-the art methods.