结合光流法和卡尔曼滤波的视频稳像算法

针对手机拍摄过程中产生的视频抖动问题,提出了一种基于光流法和卡尔曼滤波的视频稳像算法。首先通过光流法预稳定抖动视频,对其生成的预稳定视频帧进行Shi-Tomasi角点检测,并采用LK算法跟踪角点,再利用RANSAC算法估计相邻帧间的仿射变换矩阵,由此计算得出原始相机路径;然后通过卡尔曼滤波器优化平滑相机路径,得到平滑相机路径;最后由原始相机路径与平滑路径的关系,计算相邻帧间的补偿矩阵,再利用补偿矩阵对视频帧逐一进行几何变换,由此得到稳定的视频输出。实验表明,该算法在处理6大类抖动视频时均有较好的效果,其中稳像后视频的PSNR值相比原始视频的PSNR值约提升了6.631 dB,视频帧间的结构相似性SSIM约提升了40%,平均曲率值约提升了8.3%。     

基于3D旋转模型的全景视频稳像算法

视频稳像算法是指消除由于手持相机拍摄造成的视频帧间抖动的算法.由于全景视频广视域的特性,传统的稳像算法并不适用.针对全景视频,提出一种使用3D旋转模型进行稳像处理的新方法.通过特征点提取跟踪计算出的3D旋转模型可以准确地描述相机的真实运动路径;为了减少数据冗余,使用欧拉角表征旋转模型的参数.在路径平滑过程中,引入一种基于样条拟合的改进方法,分离抖动和主观运动并消除高频的抖动,相比传统方法更加准确可靠.实验结果表明,该算法可以有效地消除视频中的抖动并生成稳定的视频序列.     

加权最小二乘法与卡尔曼滤波实时稳像技术

无人机和车辆行驶等情况下拍摄的视频受外界影响会造成视频抖动。通过对比现有的电子稳像技术,提出了利用FAST获取特征点的位置信息,再通过光流法结合NCC匹配得到参考帧特征点在当前帧的位置信息,在此基础上,结合RANSAC算法剔除错误匹配的特征点对的改进算法。为了提高运动矢量估计的精度,应用加权最小二乘法得到相邻帧间的刚性变换矩阵,并经过卡尔曼滤波进行运动平滑得到扫描运动矢量并补偿,最终得到实时的稳定视频。实验表明,视频序列稳像后的帧间变换保真度有所提高,并且能够达到实时处理速度。     

塔机吊钩可视化系统的视频稳像算法

针对施工现场工况复杂,塔机吊钩视频稳像效果差的问题,本文提出了一种改进ORB特征匹配与固定滞后Kalman滤波相结合的吊钩视频稳像算法.在图像运动估计中,对经典ORB算法进行改进,采用了图像分块与自适应阈值的特征点提取,并引入图像四叉树算法提高图像特征点分布均匀性;在此基础上,采用背景补偿结合帧间差分法,快速识别局部运动目标并进行剔除,提高了全局运动参数估计的准确性;在运动滤波和补偿阶段,采用固定滞后Kalman滤波算法去除随机抖动分量,以获得视频去抖动的运动补偿参数,进而实现塔机吊钩可视化系统监控视频的稳像处理.实验结果表明:与经典ORB加Kalman滤波的稳像算法相比,本文所提出的稳像算法帧间变换保真度ITF提升了约9.12%,结构相似度平均值■提升了约2.75%,获得了更好的稳像效果,且帧处理速率FPS达到了29.65 f/s,满足塔机实时监控要求.     

基于相邻帧补偿的高速运动目标图像稳像算法及仿真

在高速运动目标图像视频采集过程中,高速运动、风力作用等因素将导致视频图像抖动。为提高高速运动目标图像视觉系统采集性能,改善图像采集质量,提出一种基于相邻帧补偿的高速运动目标图像稳像算法。结合自适应中值滤波方法和灰度化直方图均衡方法对图像进行预处理,用尺度不变特征变换(SIFT)算法提取视频图像中的特征点,利用仿射模型求解运动参数,采用Kalman滤波对视频图像中的正常扫描进行滤波,最后用相邻帧补偿方法将图像的前一帧作为参考帧对当前帧进行参数补偿,实现高速运动目标的视频图像电子稳像处理。仿真实验表明,新算法能在保留图像中的特征的同时去除图像中含有的抖动,非常适合高速运动视频图像的电子稳像处理,精度提高,计算量明显减少。     

李群流形上的在线视频稳像算法

针对传统视频稳像算法无法兼顾高质量稳像和低延时的问题,提出李群流形上卡尔曼滤波的实时视频稳像算法.将视频帧间运动分解为旋转分量和平移分量.旋转分量由陀螺仪数据计算的旋转矩阵表示,平移分量由视频帧间匹配得到的平移矩阵表示,旋转矩阵的序列和平移矩阵的序列分别对应于李群流形上的运动路径.利用李群流形上的卡尔曼滤波分别对旋转分量和平移分量进行平滑.最终通过运动补偿获得稳定的视频帧序列.实验表明,文中算法能够兼顾延时和稳像效果,可以在移动端实现高质量的在线视频稳像.     

基于Harris角点与改进Hu矩的电子稳像算法

为提高抖动视频电子稳陣系统的稳陣雙果,提出一种基于 Harris 角点和改进 Hu 几何不变矩的电子稳陣算法。该算法检测视频每帧图陣的 Harris 角点为特征点,并计算其邻域图陣改进的 Hu 矩作为对应特征除量,以仿射变换为模型,通过特征点匹配计算前后帧的陒对运动参数,从而计算出图陣序列的运动轨迹,加以陒应的运动平滑补偿,得到保留镜头正常运动信息稳定的视频图陣序列。实验结果表明,在视频图陣帧间存在旋转、平移和轻微缩放的情况下,该算法能有雙降低特征匹配的计算量,且保持良好的匹配雙果。     

即时全变差优化的低延时视频稳像方法

目的 传统的视频稳像方法为了获得理想的稳像效果,一般耗费较多的计算时间,且存在较长的延时。针对此问题,提出一种即时全变差优化的低延时视频稳像方法。方法 首先利用特征点检测和匹配计算帧间单应变换,得到抖动视频的运动路径;然后通过即时全变差优化方法对抖动路径进行平滑优化,获得稳定的运动路径;最后通过运动补偿,生成稳定的视频。结果 对公共视频数据集中的抖动视频进行稳像效果测试,并与当前稳像效果较好的几种稳像算法和商业软件进行效果和时间对比。在时间方面,统计了不同方法的每帧平均消耗时间和处理延迟帧数,不同于后期处理方法需要得到大部分视频帧才能够进行计算,本文算法能够在只有一帧延时的情况下获得最终的稳像结果,相比于MeshFlow方法有15%左右的速度提升;在稳像效果方面,计算了不同方法稳像后的视频扭曲率和裁剪率,并邀请非专业用户进行了稳定程度的主观判断,本文算法的实验结果并不输于目前被公认较好的3种后期稳像方法,优于Kalman滤波方法。结论 本文所提稳像方法能够兼顾速度和有效性,相对于传统方法,更适合低延时要求的应用场景。     

基于分段处理的视频稳像算法

针对视频拍摄过程中出现抖动的问题,本文根据在短时间内摄像机运动轨迹保持不变的观察现象,提出了一种按时间分段处理视频的视频稳像（SPVS）方法。首先提取视频的SURF特征点,用uMLESAC算法快速准确地去除异常点,并使用最小二乘法求解帧间仿射运动模型。然后利用分段方法优化处理视频的仿射运动模型参数。最后利用视频补偿得到稳定的视频文件。实验表明SPVS方法可有效地去除视频中抖动成分。     

基于视频稳像和视角变换的公交客流计数方法

已有的公交客流计数方法大多没有考虑车体振动引起的视频抖动问题和摄像头角度引起的图像梯形失真问题,因此提出一种基于视频稳像和视角变换的公交客流计数方法。首先采用基于块匹配的视频稳像技术,减小车体振动引起的图像序列间的偏移;然后通过对视频图像进行视角变换,校正摄像头角度引起的图像梯形失真;最后采用基于头肩部特征的人体检测及跟踪方法,统计各个时段的上下客流量和乘客总人数。经实验测试,稳像处理后的视频与稳像前相比,峰值信噪比（PSNR）提高了约5.5dB,稳像速率达到25帧/s。视角变换后的视频与原始视频相比,人体识别率提高了约10%,大大提高了客流计数精度     

基于特征匹配与运动补偿的视频稳像算法

针对在复杂背景下航拍视频的抖动情况,为了实时输出稳定的视频,提出了一种改进的特征匹配算法与全局运动补偿相结合的视频稳像算法。首先,利用尺度不变的SURF算法提取特征点并计算描述符,再结合快速近似最邻近匹配算法得到匹配点对,并通过双向匹配以及K近邻算法筛选优秀匹配点,从而提高匹配正确率;其次,提出了一种局部区域匹配法,提高了算法处理速度,并避免场景内运动目标对稳像效果的影响。通过建立仿射变换模型,求解相邻帧图像的变换参数,进而对图像进行全局运动补偿。结果表明,该算法速度快、匹配精度高,有良好的视频稳像效果。     

基于仿射不变约束与快速EKF滤波的航拍图像稳像

考虑到航拍机载成像平台抖动严重、视频稳像匹配环节精度不一致的特点以及航拍图像稳像技术快速、准确的要求,提出了一种结合仿射不变约束与快速扩展卡尔曼(Extend Kalman Filter,EKF)滤波的图像稳像算法。该算法首先以视频参考帧中的角点量作为特征点,通过Harris检测器选择出稳定角点;然后对待配准点构建Delaunay三角网进行初始匹配,提出利用仿射不变约束方法筛选出精确匹配点;最后利用快速EKF运动滤波方法实时估计和修正噪声的统计特性,从而解决摄像机扫描运动中存在的抖动问题。在对大量分辨率为640×480pixel的航拍图像的仿真实验中,可通过仿射不变约束实现精确的模型估计,采用的快速运动补偿方法在补偿过程中耗时为5.054ms,比传统的运动补偿方法节约了69.5%的时间。实验结果表明,该算法能够实时稳定航拍视频帧间的抖动现象,并能有效跟随场景的真实扫描。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

三焦点张量重投影视频稳像算法

目的 目前,特征点轨迹稳像算法无法兼顾轨迹长度、鲁棒性及轨迹利用率,因此容易造成该类算法的视频稳像结果扭曲失真或者局部不稳。针对此问题,提出基于三焦点张量重投影的特征点轨迹稳像算法。方法 利用三焦点张量构建长虚拟轨迹,通过平滑虚拟轨迹定义稳定视图,然后利用三焦点张量将实特征点重投影到稳定视图,以此实现实特征点轨迹的平滑,最后利用网格变形生成稳定帧。结果 对大量不同类型的视频进行稳像效果测试,并且与典型的特征点轨迹稳像算法以及商业软件进行稳像效果对比,其中包括基于轨迹增长的稳像算法、基于对极几何点转移的稳像算法以及商业软件Warp Stabilizer。本文算法的轨迹长度要求低、轨迹利用率高以及鲁棒性好,对于92%剧烈抖动的视频,稳像效果优于基于轨迹增长的稳像算法;对于93%缺乏长轨迹的视频以及71.4%存在滚动快门失真的视频,稳像效果优于Warp Stabilizer;而与基于对极几何点转移的稳像算法相比,退化情况更少,可避免摄像机阶段性静止、摄像机纯旋转等情况带来的算法失效问题。结论 本文算法对摄像机运动模式和场景深度限制少,不仅适宜处理缺少视差、场景结构非平面、滚动快门失真等常见的视频稳像问题,而且在摄像机摇头、运动模糊、剧烈抖动等长轨迹缺乏的情况下,依然能取得较好的稳像效果,但该算法的时间性能还有所不足。