复杂场景下的交通视频显著性前景目标提取

目的 在城市交通检测中,智能视频的广泛应用使得人工智能技术及计算机视觉先进技术对视频中的前景目标检索、识别、特征提取、行为分析等成为视觉研究的热点,但由于复杂场景中动态背景具有不连续的特点,使得少部分的前景目标图像信息丢失,从而造成漏检、误判。方法 本文提出一种RPCA（鲁棒主成分分析）优化方法,为了快速筛选与追踪前景目标,以基于帧差欧氏距离方法设计显著性目标帧号快速提取算法,确定关键帧邻域内为检测范围,对经过稀疏低秩模型初筛选的前景目标图像进行前景目标种子并行识别和优化连接,去除前景目标图像中的动态背景,同时将MASK（掩膜）图像中的前景目标分为规则类和非规则类两种,对非规则类前景目标如行人、动物等出现的断层分离现象设计前景目标区域纵向种子生长算法,对规则类前景目标如汽车轮船等设计区域内前景目标种子横纵双向连接以消除空洞、缺失的影响。结果 本文前景目标提取在富有挑战性干扰因素的复杂场景下体现出较高的鲁棒性,在数据库4组经典视频和山西太长高速公路2组视频中,动态背景有水流流动、树叶摇曳、摄像头轻微抖动、光照阴影,并从应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度对实验结果进行了分析,本文显著性前景目标提取算法取得了90.1%的平均准确率,88.7%的平均召回率以及89.4%的平均F值,均优于其他同类算法。结论 本文以快速定位显著性前景目标为前提,提出对稀疏低秩模型初筛选的图像进行并行种子识别和优化连接算法,实验数据的定性与定量分析结果表明,本文算法能够更快速地将前景目标与动态背景分离,并减小前景目标与背景之间的粘连情况,更有效地保留了原始图像中前景目标的结构信息。     

人体运动分析的实例学习方法

目的 面向实时、准确、鲁棒的人体运动分析应用需求,从运动分析的特征提取和运动建模问题出发,本文人体运动分析的实例学习方法。方法 在构建人体姿态实例库基础上,首先,采用运动检测方法得到视频每帧的人体轮廓;其次,基于形状上下文轮廓匹配方法,从实例库中检索得到每帧视频的候选姿态集;最后,通过统计建模和转移概率建模实现人体运动分析。结果 对步行、跑步、跳跃等测试视频进行实验,基于轮廓的形状上下文特征表示和匹配方法具有良好的表达能力;本文方法运动分析结果,关节夹角平均误差在5°左右,与其他算法相比,有效提高了运动分析的精度。结论 本文人体运动分析的实例学习方法,能有效分析单目视频中的人体运动,并克服了映射的深度歧义,对运动的视角变化鲁棒,具有良好的计算效率和精度。     

基于交替方向低秩模型的运动目标检测算法

不同于传统运动目标检测算法,引入背景低秩和前景稀疏性,提出基于交替方向低秩模型的运动目标检测算法。首先在鲁棒主成分分析法建模的基础上添加背景噪声模型,在低秩背景模型中引入全变差范数并结合核范数进行约束。考虑视频矩阵前景图像的稀疏性,接着利用马尔可夫随机场和图建立前景模型。然后采用交替方向法实现函数的优化求解。最后对算法结构进行改进,实现视频运动目标的在线检测。通过对两种数据集进行实验结果分析,与其他算法对比,该算法在满足在线的基础上具有很好的检测效果,特别是在动态背景及复杂前景上具有很强的鲁棒性。     

惰性随机游走视觉显著性检测算法

目的 鉴于随机游走过程对人类视觉注意力的良好描述能力,提出一种基于惰性随机游走的视觉显著性检测算法。方法 首先通过对背景超像素赋予较大的惰性因子,即以背景超像素作为惰性种子节点,在由图像超像素组成的无向图上演化惰性随机游走过程,获得初始显著性图;然后利用空间位置先验及颜色对比度先验信息对初始显著图进行修正;最终通过基于前景的惰性随机游走产生鲁棒的视觉显著性检测结果。结果 为验证算法有效性,在MSRA-1000数据库上进行了仿真实验,并与主流相关算法进行了定性与定量比较。本文算法的Receiver ROC（operating characteristic）曲线及F值均高于其他相关算法。结论 与传统基于随机过程的显著性检测算法相比,普通随机游走过程无法保证收敛到稳定状态,本文算法从理论上有效克服了该问题,提高了算法的适用性;其次,本文算法通过利用视觉转移的往返时间来刻画显著性差异,在生物视觉的模拟上更加合理贴切,与普通随机游走过程采用的单向转移时间相比,效果更加鲁棒。     

基于张量核范数与3D全变分的背景减除

针对常用背景减除方法忽略前景时空连续性的问题,以及动态背景对前景提取的干扰问题,基于张量鲁棒主成分分析（TRPCA）提出了一种改进的背景减除模型。该模型利用改进的张量核范数对背景进行约束,加强了背景的低秩性,保留了视频的空间信息;然后用3D全变分（3D-TV）对前景进行正则化约束,考虑了目标在时空上的连续性,有效地抑制了动态背景和目标移动对前景提取造成的干扰。实验结果表明,所提算法能有效地分离视频中的前景和背景,且与高阶鲁棒主成分分析（HoRPCA）、带有新核范数的张量鲁棒主成分分析（TRPCA-TNN）和基于克罗内克基的鲁棒主成分分析（KBR-RPCA）等方法相比,综合评判指标F-measure值均处于最优或次优状态。由此可见,所提算法有效地提高了前景背景分离的准确度,抑制了复杂天气和目标移动对前景提取的干扰。     

非凸加权核范数及其在运动目标检测中的应用

目的 近年来,低秩矩阵分解被越来越多的应用到运动目标检测中。但该类方法一般将矩阵秩函数松弛为矩阵核函数优化,导致背景恢复精度不高;并且没有考虑到前景目标的先验知识,即区域连续性。为此提出一种结合非凸加权核范数和前景目标区域连续性的目标检测算法。方法 本文提出的运动目标检测模型以鲁棒主成分分析(RPCA)作为基础,在该基础上采用矩阵非凸核范数取代传统的核范数逼近矩阵低秩约束,并结合了前景目标区域连续性的先验知识。该方法恢复出的低秩矩阵即为背景图像矩阵,而稀疏大噪声矩阵则是前景目标位置矩阵。结果 无论是在仿真数据集还是在真实数据集上,本文方法都能够取得比其他低秩类方法更好的效果。在不同数据集上,该方法相对于RPCA方法,前景目标检测性能提升25%左右,背景恢复误差降低0.5左右;而相对于DECOLOR方法,前景目标检测性能提升约2%左右,背景恢复误差降低0.2左右。结论 矩阵秩函数的非凸松弛能够比凸松弛更准确的表征出低秩特征,从而在运动目标检测应用中更准确的恢复出背景。前景目标的区域连续性先验知识能够有效地过滤掉非目标大噪声产生的影响,使得较运动目标检测的精度得到大幅提高。因此,本文方法在动态纹理背景、光照渐变等较复杂场景中均能够较精确地检测出运动目标区域。但由于区域连续性的要求,本文方法对于小区域多目标的检测效果不甚理想。     

基于分层鲁棒主成分分析的运动目标检测

针对鲁棒主成分分析(RPCA)模型未能有效地利用运动目标时空连续性先验,容易将背景中的动态细节误判为运动目标的问题,提出了基于分层RPCA的运动目标检测方法.第一层RPCA模型对下采样的低分辨视频进行快速分解,动态地估计可能的运动区域,并利用时空域3D全变差模型来去除稀疏成分中的非结构化的背景扰动,确定显著的运动目标区域,生成运动区域map;第二层构建加权的RPCA模型,根据估计的运动区域map对候选前景进行阈值加权,鲁棒地检测运动目标,得到清晰完整的前景.实验结果证明,该方法能够有效地处理复杂动态背景的运动目标检测.     

基于张量核范数与3D全变分的背景减除

针对常用背景减除方法忽略前景时空连续性的问题，以及动态背景对前景提取的干扰问题，基于张量鲁棒主成分分析（TRPCA）提出了一种改进的背景减除模型。该模型利用改进的张量核范数对背景进行约束，加强了背景的低秩性，保留了视频的空间信息；然后用3D全变分（3D-TV）对前景进行正则化约束，考虑了目标在时空上的连续性，有效地抑制了动态背景和目标移动对前景提取造成的干扰。实验结果表明，所提算法能有效地分离视频中的前景和背景，且与高阶鲁棒主成分分析（HoRPCA）、带有新核范数的张量鲁棒主成分分析（TRPCA-TNN）和基于克罗内克基的鲁棒主成分分析（KBR-RPCA）等方法相比，综合评判指标F-measure值均处于最优或次优状态。由此可见，所提算法有效地提高了前景背景分离的准确度，抑制了复杂天气和目标移动对前景提取的干扰。     

利用选择性模型不定时更新的视觉跟踪算法

目的 在目标跟踪中,基本粒子滤波算法和传统模型更新策略在遮挡、光照变化以及自身旋转等情况下通常存在鲁棒性较差的问题。为解决该问题,提出一种基于选择性模型不定时更新的粒子滤波视觉跟踪算法。方法 本文算法在粒子滤波框架下,定时检测目标变化,采用最速梯度下降法判断更新时机。仅当目标本身逐渐姿态改变而不受背景干扰时更新目标模型;在发生遮挡或光照改变较大时则不更新,保持当前模型继续跟踪。结果 通过对示例视频的计算机视觉跟踪,在跟踪目标中心位置误差、覆盖率、精度及成功率比较上,本文算法均能表现出较优的实验结果,这表明:本文算法能够对目标模型进行选择性更新,与对比算法比较,总体能够更加有效解决视频中遮挡、光照变化以及自身旋转等情况下的鲁棒跟踪问题。结论 由于本文算法未考虑尺度,在尺度不变的多种复杂变化条件下,本文算法均具有较好的鲁棒性。     

视觉注意机制下结合语义特征的行人检测

目的 为研究多场景下的行人检测,提出一种视觉注意机制下基于语义特征的行人检测方法。方法 首先,在初级视觉特征基础上,结合行人肤色的语义特征,通过将自下而上的数据驱动型视觉注意与自上而下的任务驱动型视觉注意有机结合,建立空域静态视觉注意模型;然后,结合运动信息的语义特征,采用运动矢量熵值计算运动显著性,建立时域动态视觉注意模型;在此基础上,以特征权重融合的方式,构建时空域融合的视觉注意模型,由此得到视觉显著图,并通过视觉注意焦点的选择完成行人检测。结果 选用标准库和实拍视频,在Matlab R2012a平台上,进行实验验证。与其他视觉注意模型进行对比仿真,本文方法具有良好的行人检测效果,在实验视频上的行人检测正确率达93%。结论 本文方法在不同的场景下具有良好的鲁棒性能,能够用于提高现有视频监控系统的智能化性能。     

自适应邻域相关性的背景建模

目的 背景建模在计算机视觉领域中是检测、跟踪、行为学习和识别的基础,被广泛地应用于视频监控的运动目标检测。混合高斯（MOG）和Codebook是其中具有代表性的方法,但它们假设像素点间信息是独立的,只保留了时域信息而忽略了空域信息,使得模型对背景的描述局限于时间上的连续性。针对上述问题,提出了一种自适应邻域相关性的背景建模方法（ANC）。方法 ANC在保留原始方法时域信息建模特性的同时,增加对邻域模型的复用,同时利用计算结果反馈自适应调整邻域区域,提高对前景值判断的准确性。首先利用原始基于像素点的背景建模方法进行候选前景检测,然后将候选前景检测结果为前景点的像素与邻域像素点模型进行对比,若邻域范围存在匹配则为背景点,若不存在则为前景点;最后引入像素置信度概念,自适应调整邻域范围的大小。结果 与MOG和Codebook相比,在changedetection标准数据库上,ANC在ROC（受试者工作特征曲线）和度量值等方面的平均精度和F-measure都提高了7%以上。结论 自适应邻域相关性的背景建模方法适用于复杂多模态背景,克服了基于像素点背景建模方法假设的局限性。与普通基于像素点的背景建模方法相比,具有更好的鲁棒性和抗噪性,对复杂背景具有更强的适应性。     

结合背景和前景先验的显著性检测

目的 显著性检测已成为图像处理过程中的一个重要步骤,已被应用到许多计算机视觉任务中。虽然显著性检测已被研究多年并取得了较大的进展,但仍存在一些不足,例如在复杂场景中的检测不准确或检测结果夹带着背景噪声等。因此,针对已有图像显著性检测方法存在的不能有效抑制背景区域,或不能清晰突显出完整的目标区域的缺点,提出一种结合背景先验和前景先验信息的图像显著性检测算法。方法 首先选取图像的边界超像素作为背景区域,从而根据每个区域与背景区域的差异度来建立背景先验显著图;然后通过计算特征点来构建一个能够粗略包围目标区域的凸包,并结合背景先验显著图来选取前景目标区域,从而根据每个区域与前景目标区域的相似度来生成前景先验显著图;最后融合这两个显著图并对其结果进一步优化得到更加平滑和准确的显著图。结果 利用本文算法对MSRA10K数据库内图像进行显著性检测,并与主流的算法进行对比。本文算法的检测效果更接近人工标注,而且精确率和效率都优于所对比的算法,其中平均精确率为87.9%,平均召回率为79.17%,F值为0.852 6,平均绝对误差（MAE）值为0.113,以及平均运行时间为0.723 s。结论 本文提出了一种结合两类先验信息的显著性检测算法,检测结果既能够有效地抑制背景区域,又能清晰地突显目标区域,从而提高了检测的准确性。     

一种基于RPCA的图像聚焦区域检测方法

阁像聚焦区域检测是图像融合、计算机视觉等领域中的一个重要研究方向．聚焦区域属于图像中的显著性区域,仉人部分娩著性区域愉测算法在提取图像聚焦区域是存在一定的问题,不能进行准确分辨和提取．针对现有方法的不足,该文利用近来受到广泛关注的RPCA（Robust Principal Component Analysis）分解技术,提取出能有效表征图像聚焦区域的稀疏特征矩阵,并结合多区域图像分割技术获得聚焦区域．实验结果证明了该文所提方法存获取聚焦区域上的有效性,此外,该文指出基于RPCA的图像分解技术有着广泛的用途．     

Applications,databases and open computer vision research from drone videos and images: a survey

Analyzing videos and images captured by unmanned aerial vehicles or aerial drones is an emerging application attracting significant attention from researchers in various areas of computer vision. Currently, the major challenge is the development of autonomous operations to complete missions and replace human operators. In this paper, based on the type of analyzing videos and images captured by drones in computer vision, we have reviewed these applications by categorizing them into three groups. The first group is related to remote sensing with challenges such as camera calibration, image matching, and aerial triangulation. The second group is related to drone-autonomous navigation, in which computer vision methods are designed to explore challenges such as flight control, visual localization and mapping, and target tracking and obstacle detection. The third group is dedicated to using images and videos captured by drones in various applications, such as surveillance, agriculture and forestry, animal detection, disaster detection, and face recognition. Since most of the computer vision methods related to the three categories have been designed for real-world conditions, providing real conditions based on drones is impossible. We aim to explore papers that provide a database for these purposes. In the first two groups, some survey papers presented are current. However, the surveys have not been aimed at exploring any databases. This paper presents a complete review of databases in the first two groups and works that used the databases to apply their methods. Vision-based intelligent applications and their databases are explored in the third group, and we discuss open problems and avenues for future research.

     

联合聚焦度和传播机制的光场图像显著性检测

目的 图像显著性检测方法对前景与背景颜色、纹理相似或背景杂乱的场景,存在背景难抑制、检测对象不完整、边缘模糊以及方块效应等问题。光场图像具有重聚焦能力,能提供聚焦度线索,有效区分图像前景和背景区域,从而提高显著性检测的精度。因此,提出一种基于聚焦度和传播机制的光场图像显著性检测方法。方法 使用高斯滤波器对焦堆栈图像的聚焦度信息进行衡量,确定前景图像和背景图像。利用背景图像的聚焦度信息和空间位置构建前/背景概率函数,并引导光场图像特征进行显著性检测,以提高显著图的准确率。另外,充分利用邻近超像素的空间一致性,采用基于K近邻法（K-nearest neighbor,K-NN）的图模型显著性传播机制进一步优化显著图,均匀地突出整个显著区域,从而得到更加精确的显著图。结果 在光场图像基准数据集上进行显著性检测实验,对比3种主流的传统光场图像显著性检测方法及两种深度学习方法,本文方法生成的显著图可以有效抑制背景区域,均匀地突出整个显著对象,边缘也更加清晰,更符合人眼视觉感知。查准率达到85.16%,高于对比方法,F度量（F-measure）和平均绝对误差（mean absolute error,MAE）分别为72.79%和13.49%,优于传统的光场图像显著性检测方法。结论 本文基于聚焦度和传播机制提出的光场图像显著性模型,在前/背景相似或杂乱背景的场景中可以均匀地突出显著区域,更好地抑制背景区域。     

2维至3维图像/视频转换的深度图提取方法综述

目的 深度图提取是计算机视觉领域的研究热点。随着3D显示设备的普及,2D-3D图像/视频转换的深度图提取研究受到越来越多国内外学者的关注。为此回顾深度图提取研究历程,并对已有成果进行分类、概括和评述。方法 由于深度图提取方法的实现主要依赖于深度线索,不同方法存在人机交互程度上的差异。采用基于深度线索和基于人机交互程度的两种分类方法进行归纳评述。结果 根据深度线索的不同,将深度图提取方法分为基于单目线索的方法、基于双目线索的方法和基于混合线索的3类方法。然后从人机交互的角度,将深度图提取方法分为人工法、半自动法和全自动法。介绍了这些方法的基本思想,比较归纳不同方法的优点与不足。最后,阐述了近年来热门的机器学习方法在深度图提取的应用。结论 对深度图提取研究进行简要的总结和展望。指出深度图提取研究具有从研究热点中挖掘创新思路、引入新的深度线索等发展趋势。     

深度聚类注意力机制下的显著对象检测

目的 为了得到精确的显著对象分割结果,基于深度学习的方法大多引入注意力机制进行特征加权,以抑制噪声和冗余信息,但是对注意力机制的建模过程粗糙,并将所有特征均等处理,无法显式学习不同通道以及不同空间区域的全局重要性。为此,本文提出一种基于深度聚类注意力机制（deep cluster attention,DCA）的显著对象检测算法DCANet （DCA network）,以更好地建模特征级别的像素上下文关联。方法 DCA显式地将特征图分别在通道和空间上进行区域划分,即将特征聚类分为前景敏感区和背景敏感区。然后在类内执行一般性的逐像素注意力加权,并在类间进一步执行语义级注意力加权。DCA的思想清晰易懂,参数量少,可以便捷地部署到任意显著性检测网络中。结果 在6个数据集上与19种方法的对比实验验证了DCA对得到精细显著对象分割掩码的有效性。在各项评价指标上,部署DCA之后的模型效果都得到了提升。在ECSSD （extended cornplex scene saliency dataset）数据集上,DCANet的性能比第2名在F值上提升了0.9%;在DUT-OMRON （Dalian University of Technology and OMRON Corporation）数据集中,DCANet的性能比第2名在F值上提升了0.5%,平均绝对误差（mean absolute error,MAE）降低了3.2%;在HKU-IS数据集上,DCANet的性能比第2名在F值上提升了0.3%, MAE降低了2.8%;在PASCAL （pattern analysis,statistical modeling and computational learning）-S （subset）数据集上,DCANet的性能则比第2名在F值上提升了0.8%,MAE降低了4.2%。结论 本文提出的深度聚类注意力机制通过细粒度的通道划分和空间区域划分,有效地增强了前景敏感类的全局显著得分。与现有的注意力机制相比,DCA思想清晰、效果明显、部署简单,同时也为一般性的注意力机制研究提供了新的可行的研究方向。     

基于背景更替和动态扩展滤波的目标提取方法

减背景法是计算机视觉领域常用的前景目标获取方法,减背景法的关键是背景模型的建立和更新以及减除背景后的噪声滤除。基于统计的背景建模方法计算量都比较大,背景更替方法建模避免了大量的计算。动态扩展滤波法是一种对前景目标信息破坏程度低,对噪声具有很好滤出效果的滤波方法。在摄像头静止的情况下,利用背景更替的背景建模及更新方法结合动态扩展滤波能够提取出清晰的前景目标。