A consensus-based method for tracking: Modelling background scenario and foreground appearance

Modelling of the background (“uninteresting parts of the scene”), and of the foreground, play important roles in the tasks of visual detection and tracking of objects. This paper presents an effective and adaptive background modelling method for detecting foreground objects in both static and dynamic scenes. The proposed method computes SAmple CONsensus (SACON) of the background samples and estimates a statistical model of the background, per pixel. SACON exploits both color and motion information to detect foreground objects. SACON can deal with complex background scenarios including nonstationary scenes (such as moving trees, rain, and fountains), moved/inserted background objects, slowly moving foreground objects, illumination changes etc.However, it is one thing to detect objects that are not likely to be part of the background; it is another task to track those objects. Sample consensus is again utilized to model the appearance of foreground objects to facilitate tracking. This appearance model is employed to segment and track people through occlusions. Experimental results from several video sequences validate the effectiveness of the proposed method.     

Background subtraction by combining Temporal and Spatio-Temporal histograms in the presence of camera movement

Background subtraction is the classical approach to differentiate moving objects in a scene from the static background when the camera is fixed. If the fixed camera assumption does not hold, a frame registration step is followed by the background subtraction. However, this registration step cannot perfectly compensate camera motion, thus errors like translations of pixels from their true registered position occur. In this paper, we overcome these errors with a simple, but effective background subtraction algorithm that combines Temporal and Spatio-Temporal approaches. The former models the temporal intensity distribution of each individual pixel. The latter classifies foreground and background pixels, taking into account the intensity distribution of each pixels’ neighborhood. The experimental results show that our algorithm outperforms the state-of-the-art systems in the presence of jitter, in spite of its simplicity.     

运动目标检测的ViBe算法改进

目的 目标检测在智能交通、自动驾驶以及安防监控中均有重要的地位,ViBe算法是常用的运动目标检测算法,它主要由背景模型初始化、前景检测、背景模型更新3部分组成,其思想简单,易于实现,运算效率高,但当初始帧有运动目标时,检测结果会出现“鬼影”现象,且易受噪声和光照变化影响,不能适应动态场景。同时,其逐帧逐像素进行前景检测,在计算复杂度方面有较大提升空间。为解决这些问题,提出一种改进的ViBe算法,称为ViBeImp算法。方法 在背景模型初始化时,用多帧平均法给出初始背景,采用该初始背景构建初始背景样本模型。在前景检测过程中,采用背景差分法、帧差法与OTSU算法相结合给出半径阈值的自适应计算方法。同时,根据背景差分法找出运动区域,只对运动区域进行前景判断和模型更新,降低算法的计算复杂度。结果 对25个不同场景视频分别给出ViBeImp算法在初始化背景,自适应半径阈值和计算复杂度方面改进的结果及有效性指标,实验结果表明,与ViBe、ViBeDiff2、ViBeIniR,以及Surendra等算法和高斯混合模型相比,ViBeImp算法对噪声、光照和背景动态变化有较好的鲁棒性,检测结果更完整,且实时性较好。同时,ViBeImp算法将ViBe算法的查准率、查全率以及F1值分别提高了17.98%、11.40%和15.96%。结论 ViBeImp算法采用多帧平均法构建初始背景可有效地消除“鬼影”,并给出半径阈值的自适应计算方法,使ViBe算法更快适应视频环境变化,准确且完整地检测出运动目标,具有较低的误检率和漏检率。该方法克服了ViBe算法对初始背景以及视频环境的依赖,很大程度上提高了运算速度,具有很好的鲁棒性和适用性。     

自适应背景筛选的运动对象检测算法

针对传统帧差法和背景差分法对运动对象检测不准确等不足,提出了一种自适应背景筛选的运动对象检测算法。该算法在采用帧差法构建的背景中标注出原图存在运动对象的区域,筛选当前运动对象区域未被标注且距当前时刻最近的背景与当前帧进行差分,从而提取前景运动目标。与帧差背景结合方法相比,该方法能更好解决因运动对象静止后融入背景建模而导致的检测对象不准确问题,且算法简单,易于实现,满足实时监控要求。实验结果验证了该算法的有效性。     

LTP与光照突变补偿结合的运动目标检测算法

针对现有运动目标检测算法在光照突变条件下鲁棒性不强、易发生误检等问题,提出了将LTP算子与光照突变补偿模型结合的运动目标检测算法。首先利用LTP算子获取当前帧与其背景图像的纹理特征图,然后计算当前帧图像像素点作为前景点的概率并依据概率自适应地更新背景,再判断图像是否发生光照突变补偿并采用线性模型补偿突变图像序列,最后利用背景减除法获取运动目标。实验结果表明本文算法在光照突变条件下对运动目标检测效果理想,检测精度指标PR高于同类其他算法,且具有良好的鲁棒性。     

结合置信度加权融合与视觉注意机制的前景检测

目的 在视频前景检测中,像素级的背景减除法检测结果轮廓清晰,灵活性高。然而,基于样本一致性的像素级分类方法不能有效利用像素信息,遇到颜色伪装和出现静止前景等复杂情形时无法有效检测前景。为解决这一问题,提出一种基于置信度加权融合和视觉注意的前景检测方法。方法 通过加权融合样本的颜色置信度和纹理置信度之和判断前景,进行自适应更新样本的置信度和权值;通过划分子序列结合颜色显著性和纹理差异度构建视觉注意机制判定静止前景目标,使用更新置信度最小样本的策略保持背景模型的动态更新。结果 本文方法在CDW2014（change detection workshops 2014）和SBM-RGBD（scene background modeling red-green-blue-depth）数据集上进行检测,相较于5种主流算法,本文算法的查全率和精度相较于次好算法分别提高2.66%和1.48%,综合性能最优。结论 本文算法提高了在颜色伪装和存在静止前景等复杂情形下前景检测的精度和召回率,在公开数据集上得到更好的检测效果。可将其应用于存在颜色伪装和静止前景等复杂情形的视频监控中。     

Robust detection of moving objects in video sequences through rough set theory framework

Detection of moving objects in the presence of challenging background situations like swaying vegetation, rippling water, camera jitter etc., is known to be a difficult task. Background subtraction is considered to be better than the other approaches in terms of robustness. Its success primarily depends on the proper choice of background model(s) associated with every pixel for its foreground/background labeling. In this work, we have adopted rough-set theoretic measures to embed the spatial similarity around a neighborhood as a model for the pixel. Basic histon and its associated measure Basic Histon Roughness Index (BHRI) have been reported in the literature. It was applied to still image segmentation with impressive performance. Its adoption in video sequences for foreground/background labeling is proposed herein. We extended the histon concept to a 3D histon, which considers the intensities across the color planes in a combined manner, instead of considering independent color planes. Further, we also incorporated fuzziness into the 3D HRI measure. The labeling decision is based on Bhattacharyya distance between the model HRI and the corresponding measure in the current frame. Adoption of rough set theoretic concept into moving object segmentation is nontrivial, as the model updating requires careful consideration so that the pixels associated with gradually changing background or dynamic background are labeled as background and at the same time, slow moving objects are never adopted into the background model. A novel background model update strategy proposed herein takes these into consideration and also eliminates the need of having exclusive ideal background frame initially.     

基于色度偏差的运动目标检测

论述了一种静态摄像机下从彩色图像中检测运动目标的背景减除算法，该算法在彩色图像亮度偏差和色度偏差概念的基础上被提出的，计算量小但可以很好地克服亮度变化、反光和阴影的影响。对于一个序列，首先用像素点的中间值作为背景的像素值，生成背景帧；然后依据当前帧和背景帧的色度偏差值将图像二值化；最后，使用数学形态学算子和连通分量分析对检测结果进行后处理。实验结果表明，该算法有很好的处理效果。     

基于RGB颜色空间的减背景运动目标检测

在计算机视觉领域中,运动目标检测与分割是一个基础而又关键的问题.减背景法是其中一个比较经典和常用的方法,其难点在于如何获取背景以及实现背景的自适应更新.针对该问?提出一种基于RGB颜色空间的运动目标检测算法,充分利用了图像序列在RGB空间中的变化特点,首先通过抽取帧图像进行背景重构,即对图像序列中每个像素点的RGB值进行排序后取中间值作为该点背景像素的RGB值;在此基础上引入学习率对背景进行自适应更新,然后在RGB空间中进行前景目标提取,最后利用数学形态学和连通性分析对结果进行后处理.实验结果表明,该算法快速有效、能够满足实时要求.     

适用于旋转摄像下目标检测的图像补偿

目的 摄像机旋转扫描条件下的动目标检测研究中,传统的线性模型无法解决摄像机旋转扫描运动带来的图像间非线性变换问题,导致图像补偿不准确,在动目标检测时将引起较大误差,造成动目标虚假检测。为解决这一问题,提出了一种面阵摄像机旋转扫描条件下的图像补偿方法,其特点是能够同时实现背景运动补偿和图像非线性变换补偿,从而实现动目标的快速可靠检测。方法 首先进行图像匹配,然后建立摄像机旋转扫描非线性模型,通过参数空间变换将其转化为线性求解问题,采用Hough变换实现该方程参数的快速鲁棒估计。解决摄像机旋转扫描条件下获取的图像间非线性变换问题,从而实现图像准确补偿。在此基础上,可以利用帧间差分等方法检测出运动目标。结果 实验结果表明,在摄像机旋转扫描条件下,本文方法能够同时实现图像间的背景运动补偿和非线性变换补偿,可以去除大部分由于立体视差效应（parallax effects）产生的匹配错误。并且在实验中,本文方法处理速度可以达到50帧/s,满足实时性要求。结论 在面阵摄像机旋转扫描的条件下,相比于传统的基于线性模型的图像补偿方法,本文方法能够快速、准确地在背景补偿的基础上同时解决图像间非线性变换问题,从而更好地提取出运动目标,具有一定的实用价值。     

A robust framework for joint background/foreground segmentation of complex video scenes filmed with freely moving camera

This paper explores a robust region-based general framework for discriminating between background and foreground objects within a complex video sequence. The proposed framework works under difficult conditions such as dynamic background and nominally moving camera. The originality of this work lies essentially in our use of the semantic information provided by the regions while simultaneously identifying novel objects (foreground) and non-novel ones (background). The information of background regions is exploited to make moving objects detection more efficient, and vice-versa. In fact, an initial panoramic background is modeled using region-based mosaicing in order to be sufficiently robust to noise from lighting effects and shadowing by foreground objects. After the elimination of the camera movement using motion compensation, the resulting panoramic image should essentially contain the background and the ghost-like traces of the moving objects. Then, while comparing the panoramic image of the background with the individual frames, a simple median-based background subtraction permits a rough identification of foreground objects. Joint background-foreground validation, based on region segmentation, is then used for a further examination of individual foreground pixels intended to eliminate false positives and to localize shadow effects. Thus, we first obtain a foreground mask from a slow-adapting algorithm, and then validate foreground pixels (moving visual objects + shadows) by a simple moving object model built by using both background and foreground regions. The tests realized on various well-known challenging real videos (across a variety of domains) show clearly the robustness of the suggested solution. This solution, which is relatively computationally inexpensive, can be used under difficult conditions such as dynamic background, nominally moving camera and shadows. In addition to the visual evaluation, spatial-based evaluation statistics, given hand-labeled ground truth, has been used as a performance measure of moving visual objects detection.     

复杂场景下的交通视频显著性前景目标提取

目的 在城市交通检测中,智能视频的广泛应用使得人工智能技术及计算机视觉先进技术对视频中的前景目标检索、识别、特征提取、行为分析等成为视觉研究的热点,但由于复杂场景中动态背景具有不连续的特点,使得少部分的前景目标图像信息丢失,从而造成漏检、误判。方法 本文提出一种RPCA（鲁棒主成分分析）优化方法,为了快速筛选与追踪前景目标,以基于帧差欧氏距离方法设计显著性目标帧号快速提取算法,确定关键帧邻域内为检测范围,对经过稀疏低秩模型初筛选的前景目标图像进行前景目标种子并行识别和优化连接,去除前景目标图像中的动态背景,同时将MASK（掩膜）图像中的前景目标分为规则类和非规则类两种,对非规则类前景目标如行人、动物等出现的断层分离现象设计前景目标区域纵向种子生长算法,对规则类前景目标如汽车轮船等设计区域内前景目标种子横纵双向连接以消除空洞、缺失的影响。结果 本文前景目标提取在富有挑战性干扰因素的复杂场景下体现出较高的鲁棒性,在数据库4组经典视频和山西太长高速公路2组视频中,动态背景有水流流动、树叶摇曳、摄像头轻微抖动、光照阴影,并从应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度对实验结果进行了分析,本文显著性前景目标提取算法取得了90.1%的平均准确率,88.7%的平均召回率以及89.4%的平均F值,均优于其他同类算法。结论 本文以快速定位显著性前景目标为前提,提出对稀疏低秩模型初筛选的图像进行并行种子识别和优化连接算法,实验数据的定性与定量分析结果表明,本文算法能够更快速地将前景目标与动态背景分离,并减小前景目标与背景之间的粘连情况,更有效地保留了原始图像中前景目标的结构信息。     

低分辨率目标的检测与实现

提出以柯西分布作为背景剔除时图像像素比值的统计分布模型,并融合单个像素点和邻近像素点所蕴涵的时空信息,实现了对场景变化自适应的背景图像比值的建模,应用假设检验方法,通过背景剔除(background subtraction)实现了对低分辨率目标具有鲁棒性的检测。最后的实验表明,该文提供的算法可以抗背景中全局或局部光照的渐变和突变,可以有效地抑制背景中活动物体和阴影的杂波干扰,能够适应下雨的恶劣天气。     

基于帧间差分背景模型的运动物体检测与跟踪

针对背景差分算法中在复杂背景下参考帧的提取问题,提出了一种新的背景提取方法;该算法用帧间差分法将帧中的背景象素点检测出来,再确立出背景帧;由于排除了帧中运动物体的影响,因而提取出的背景干净,效果很好,然后运用背景差分检测出场景中的物体,最后采用一种新的运动物体跟踪算法,实现了运动物体和静止物体的识别,克服了以往检测算法中的误检和空洞问题,实验结果表明,该方法快速有效,能够满足实时性的要求.     

一种基于对称差分和背景消减的运动检测方法

该文提出一种综合利用对称差分和背景消减来进行运动检测的方法。首先通过建立一个可靠的背景更新模型,由背景消减法得到基本准确的前景图像,然后和对称差分法得到的差分图像综合,得到完整可靠的运动目标图像,最后用形态学滤波和连通区域面积检测进行后处理,以消除噪声和背景扰动带来的影响,并用区域填充算法来填补目标区域的小孔,从而将视频序列中的运动目标比较可靠地检测出来。实验结果表明,该方法快速、准确,有一定的实际应用价值。     

基于ViBe的复杂背景下的运动目标检测

ViBe算法简单、快速,具有较好的前景检测性能,是运动目标检测和背景建模的主要方法之一。但是在动态背景、相机抖动等户外视频中仍存在噪声和干扰等问题,导致对前景运动目标的检测不准确。针对此问题,提出用像素帧差值代替像素值来初始化背景样本模型的方法,并根据背景动态变化自适应更新阈值来分割前景与背景。实验结果表明,改进算法提高了前景检测的准确性,对噪声干扰表现出了良好的鲁棒性。     

基于对称差分的背景减法运动目标检测

提出了一种基于对称差分和背景差分相结合的运动目标检测方法。先通过多帧图像平均法取得初始背景图像,并结合采集到的当前帧图像和前一时刻的背景获得更新背景,采用背景减法获取前景目标;同时运用对称帧差法取得前景图像,用两种差分图像进行或运算,提取到运动目标,用形态学方法进行后期处理。实验结果表明,该方法能够有效地获取运动目标。     

结合l1/2范数与显著性约束的背景减除

传统背景减除模型在背景静止和前景对象移动较快时提取到的前景效果较好,但当背景变化或前景对象移动缓慢时容易将动态背景误判为前景或检测出的前景有较多空洞。针对传统背景减除模型在动态背景和前景对象移动缓慢条件下存在前景检测精度下降的问题,提出一种基于l_1/2范数与显著性约束的背景减除模型。将观测数据分为低秩背景、运动前景和动态干扰3类,利用l_1/2范数约束运动前景加强前景稀疏性,有效抑制动态背景对前景提取造成的干扰,提高运动前景在动态背景中的检测精度。引入视频每一帧的显著性约束,通过对每一帧图像进行低秩稀疏分解来检测移动缓慢的目标。实验结果表明,该模型对于复杂场景具有较强的适应能力,可有效去除动态背景对前景的干扰,快速检测出移动缓慢的前景对象,相比于l_1/1/2-RPCA背景减除模型的平均查全率、查准率和调和平均值分别提升了9、14和10个百分点。     

一种新的背景模型建立及更新方法*

提出一种新的建立背景模型和更新背景的方法。首先使用一种新颖的方法建立初始背景,然后对每一输入帧使用背景差分法获得前景,并利用分类器将前景分类为运动目标、静止目标、虚假目标、噪声,最后在背景更新阶段采用基于前景目标的背景更新方法。实验结果表明,该方法能建立可靠初始背景,并能有效地解决背景更新“死锁”问题,增强背景模型的鲁棒性。     

基于SIFT特征匹配和动态更新背景模型的运动目标检测算法

运动摄像机情况下的运动目标检测是视频监控中的难点和热点问题。为了能够有效地检测出运动目标,提出了一个基于SIFT（Scale Invariant Feature Transform）特征匹配和动态背景建模的背景差算法。首先利用SIFT算法提取特征点,采用RANSAC（Random Sample Consensus）方法求得仿射变换模型参数并实现图像的全局运动补偿,然后用背景差方法实现运动目标的检测,同时进行阴影和鬼影的去除。SIFT特征点匹配的准确性和RANSAC方法去除异常点的有效性使得仿射变换模型参数计算准确,动态更新背景模型的背景差则完整地检测出了前景目标。与Ninad Thakoor实验结果对比说明：该算法能够准确地检测出运动目标,并且保持了前景目标的完整性。