基于对极几何约束的动态背景下运动目标检测

针对动态背景下运动目标的检测问题,提出了一种基于对极几何约束的检测方法。该方法利用了视频序列中相继帧对应的背景角点满足对极几何约束条件这一原理,先提取前一帧的Harris角点,然后利用金字塔分层的Lucas-Kanade光流法获得在下一帧的对应点;利用随机采样一致性算法估计出基础矩阵,来识别背景角点和前景角点;对得到的前景角点进行聚类,每一类对应于一个运动目标区域。实验结果表明,该方法检测准确度高、检测速度快,满足实时处理的需求。     

基于改进Snake模型的人体运动跟踪算法

提出一种改进Snake模型与光流估计相结合的人体运动自动实时跟踪算法.利用角点检测得到接近人体真实轮廓的初始轮廓,减少了迭代次数,降低了Snake模型收敛到局部极值的概率;同时针对Snake模型跟踪不够稳定、容易出现跟踪丢失问题,结合KLT光流法,选取当前帧所得到的轮廓点中的强特征点进行光流估计,将估计结果作为下一帧Snake的初始轮廓,有效地解决了这一难题.实验结果表明改进Snake模型可使初始轮廓形变到人体真实轮廓,同时实现了视频序列中自动、实时的人体跟踪.     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于YOLOv3和光流的船舶火灾检测

为了提高船舶火灾检测的检测效率,在基于视频的方式下,提出将原始帧和光流融合的深度学习检测方法。首先,利用模拟试验和部分公开数据集建立火灾视频数据集;其次,对火灾视频进行处理,提取原始帧和对应的光流;然后,使用像素级融合的方法融合原始帧和光流,充分利用视频的静态信息和动态信息;最后,使用YOLOv3算法,并利用迁移学习方法,实现火灾检测模型的训练。实验结果表明,所用算法能够更有效地识别烟雾和火焰,显著地减少了火灾视频中的误检情况,进行抽帧检测时能够满足实时检测的要求。     

基于图像熵的密集人群异常事件实时检测方法

在智能视频监控领域,为了提高密集人群中异常事件的检测效率,改善已有算法在实时性和适用性方面的不足,提出了一种实时高效的检测方法。该方法首先提取图像的全局光流强度作为运动特征,并构造全局光流强度的图像化表达;然后利用图像熵进行分析,获取正常状态下图像熵的统计参数;最后确定正常状态的可信区间和自适应的异常判定公式,从而判断异常事件是否发生。实验结果表明,该算法对尺寸为320×240像素的视频,平均每帧的检测时间低至0.031 s,且准确率可达96%以上,具有较高的检测效率,且实时性较好。     

基于光流法的卫星视频交通流参数提取研究

抽样分辨率达1米的高清卫星视频已经能够实现对地面较小的运动目标的实时监控。针对卫星视频中运动车辆目标仅显示为一个或几个像素点的特点,提出了一种基于光流法的卫星视频交通流参数提取的思路与方法。该方法利用卫星视频中车辆目标为像素点的特点,结合Shi-Tomasi角点检测方法实现车辆检测及车辆计数;在车辆检测的基础上利用光流法得到的连续视频帧中角点的位置信息进行双向车辆平均车速的计算,并对实验结果进行了对比分析。该文是基于卫星视频中小微运动车辆目标进行交通流参数提取的一次有益尝试。     

基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题，提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法，能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧，运动补偿模块预测出符合该图像结构和像素局部位移的卷积核，通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入，通过融合包含不同像素信息的两视频帧，得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强（MFQE）算法在相同的训练集和测试集上训练并测试，实验结果表明，峰值信噪比提升（ΔPSNR）较MFQE最大增加0.44 dB，平均增加0.32 dB，验证了所提出网络具有良好的去除视频压缩伪影的效果。     

帧间差分与背景差分相融合的运动目标检测算法

针对视频序列中运动目标检测进行了研究,提出了一种将帧间差分和背景差分相互融合的运动目标检测算法,首先选取一帧作为背景帧,确立每一个象素点的高斯模型;然后对相邻两帧进行差分处理,区分出变化的区域和没有发生变化的区域,没有发生变化的区域更新到背景帧中,发生变化的区域与背景模型进行拟合,区分出显露区和运动目标,将显露区以很大的更新率收入到背景帧中。该方法允许在有运动物存在的情况下进行建模,实验表明该方法准确率高,运算速度快,能满足实时检测的需要。     

结合光流法和卡尔曼滤波的视频稳像算法

针对手机拍摄过程中产生的视频抖动问题,提出了一种基于光流法和卡尔曼滤波的视频稳像算法。首先通过光流法预稳定抖动视频,对其生成的预稳定视频帧进行Shi-Tomasi角点检测,并采用LK算法跟踪角点,再利用RANSAC算法估计相邻帧间的仿射变换矩阵,由此计算得出原始相机路径;然后通过卡尔曼滤波器优化平滑相机路径,得到平滑相机路径;最后由原始相机路径与平滑路径的关系,计算相邻帧间的补偿矩阵,再利用补偿矩阵对视频帧逐一进行几何变换,由此得到稳定的视频输出。实验表明,该算法在处理6大类抖动视频时均有较好的效果,其中稳像后视频的PSNR值相比原始视频的PSNR值约提升了6.631 dB,视频帧间的结构相似性SSIM约提升了40%,平均曲率值约提升了8.3%。     

基于轨迹词包模型的老人跌倒检测

针对异常行为检测受到光照变化、目标遮挡和计算复杂度高等因素的影响而导致检测效果不理想的问题,本文提出一种基于时空兴趣点和轨迹词包模型的异常行为检测算法。首先,利用时空兴趣提取目标的特征点信息;其次,利用稀疏光流法对特征点进行跟踪,获取目标的运动轨迹。然后,利用Meanshift聚类算法对轨迹进行聚类并构建轨迹词包模型。最后,利用SVM完成异常行为的判别。算法在不同视频数据库上进行了验证,并取得了93.3%的准确率。通过与以往的实验结果的比较,算法在异常行为检测方面具有较好的实时性、准确性和可靠性。     

基于改进差分和光流的新型运动目标检测方法

针对运动目标检测中的空洞和虚假目标的问题, 提出一种改进差分和改进光流的运动目标检测方法. 该方法首先对连续的七帧图像依次进行预处理、差分、灰度变换和二值化处理, 并将前、后三帧二值图像分别累加得到的二值图像进行逻辑与运算, 得到中间帧中运动目标的粗略区域; 其次将中间帧与背景帧差分, 并对得到的图像进行边缘提取和二值化处理, 然后对其进行像素的算术运算, 得到中间帧中运动目标的精确区域; 在基础上通过改进的光流法得到运动目标的准确信息; 最后通过阈值分割和形态学处理完成对目标的分割. 对比实验表明, 该方法能实现运动目标的准确快速检测与分割.     

Video frame interpolation via optical flow estimation with image inpainting

As we all know, video frame rate determines the quality of the video. The higher the frame rate, the smoother the movements in the picture, the clearer the information expressed, and the better the viewing experience for people. Video interpolation aims to increase the video frame rate by generating a new frame image using the relevant information between two consecutive frames, which is essential in the field of computer vision. The traditional motion compensation interpolation method will cause holes and overlaps in the reconstructed frame, and is easily affected by the quality of optical flow. Therefore, this paper proposes a video frame interpolation method via optical flow estimation with image inpainting. First, the optical flow between the input frames is estimated via combined local and global-total variation (CLG-TV) optical flow estimation model. Then, the intermediate frames are synthesized under the guidance of the optical flow. Finally, the nonlocal self-similarity between the video frames is used to solve the optimization problem, to fix the pixel loss area in the interpolated frame. Quantitative and qualitative experimental results show that this method can effectively improve the quality of optical flow estimation, generate realistic and smooth video frames, and effectively increase the video frame rate.     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

Fast moving object detection with non-stationary background

The detection of moving objects under a free-moving camera is a difficult problem because the camera and object motions are mixed together and the objects are often detected into the separated components. To tackle this problem, we propose a fast moving object detection method using optical flow clustering and Delaunay triangulation as follows. First, we extract the corner feature points using Harris corner detector and compute optical flow vectors at the extracted corner feature points. Second, we cluster the optical flow vectors using K-means clustering method and reject the outlier feature points using Random Sample Consensus algorithm. Third, we classify each cluster into the camera and object motion using its scatteredness of optical flow vectors. Fourth, we compensate the camera motion using the multi-resolution block-based motion propagation method and detect the objects using the background subtraction between the previous frame and the motion compensated current frame. Finally, we merge the separately detected objects using Delaunay triangulation. The experimental results using Carnegie Mellon University database show that the proposed moving object detection method outperforms the existing other methods in terms of detection accuracy and processing time.     

基于角点跟踪的光流场计算

在综合视觉运动分析中的两类处理方法，选取图像中的角点作为特征点，并检测和跟踪图像序列中的角点。记录检测到的角点在图像序列中的位移，在理论上证明了时变图像的光流场可以近似地用角点的位移场代替，同时给出这种替代的两个前提条件。本文用真实图像序列验证提出的算法，实验结果表明该算法取得了较好的效果。     

基于光流的视频缺陷检测及修复方法

为了修复视频中的划痕和斑点,提出一种基于光流的视频缺陷检测及修复方法。首先,根据光流场得到相邻帧对应像素之间的位置关系,利用对应点灰度差确定像素点所在位置是否为缺陷。其次,修正缺陷区域的光流,以修正光流指向的相邻帧修补点填补对应的缺陷点。最后,针对已修复的视频帧重新计算光流场并重复修复步骤,直到该帧满足迭代修复的收敛条件。针对DAVIS视频数据集的不同场景,模拟产生数量为单帧像素点总数1%左右的缺陷后进行检测修复实验,给出查全率与误识别率的关系曲线,其中,误识别率为0.1%时,查全率可达80%以上;修复后的SSIM大于0.991,LPIPS小于0.037。针对老旧视频的修复实验表明,算法能够有效去除细小划痕和大小斑块。     

基于局部注意的快速视频目标检测方法

视频目标检测是对视频内的目标进行准确分类与定位。现有基于深度学习的视频目标检测方法通过光流传播特征,不仅存在模型参数量大的问题,而且直接将光流应用于高层特征难以建立准确的空间对应关系。提出一种轻量级的视频目标检测方法。通过设计一种特征传播模型,在不同帧的局部区域内将高层特征从关键帧传播到非关键帧,并将有限的计算资源分配给关键帧,以加快检测速度。构建动态分配关键帧模块,根据目标运动速度动态地调整关键帧选择间隔,以减少计算量并提高检测精度。在此基础上,为进一步降低最大延迟,提出异步检测模式,使得特征传播模型和关键帧选择模块协同工作。实验结果表明,该方法的检测速度和最大延迟分别为31.8 frame/s和31 ms,与基于内存增强的全局-局部聚合方法相比,其在保证检测精度的前提下,具有较快的检测速度,并且实现实时在线的视频目标检测。     

基于光流法的快速车道线识别算法研究

为提取无人驾驶车前方车道线信息,提出一种使用光流法的快速车道线识别算法。首先,根据连续视频帧之间的时间相关性,运用光流法检测车辆前方背景的相对移动。然后,利用车辆背景中特征点的移动方向和距离,对本帧图像中车道线的位置进行粗略定位,从而缩小本帧图像中车道线的检测区域,加速车道线识别算法。最后,通过对车道线像素点的处理,给出车道线类型信息。该算法提升了车道线检测算法的效率,降低了复合算子车道线检测算法的时间复杂度。在720*480像素下,算法实现了13.5Hz的处理速度,相较仅使用复合算子的处理算法提升了39.6%的处理速度,且算法检测效果良好。实车实验证明了算法的有效性和实时性。