基于SURF算法的全景图拼接技术研究与实现

针对云台网络摄像机监控系统,提出一种基于摄像机视频流的全景图生成算法,以构建更大的监控场景。根据帧间重叠区域的大小选取关键帧,进行柱面投影,利用计算性能优越的SURF(Speeded Up Robust Features,加速鲁棒性特征)算法对所选取的关键帧进行特征点提取,使用基于哈希映射的特征点匹配算法加快特征点的匹配,并结合RANSAC(RANdom SAmple Consensus,随机抽样一致)算法剔除误匹配,估计关键帧之间的变换关系。实验结果表明,该方法能较好实现视频序列的快速拼接,鲁棒性强,具有较高的实用价值。     

一种改进的降低扭曲误差的快速图像拼接算法

通过提取SIFT特征进行图像拼接得到的全景图存在一定程度的扭曲误差,尤其当序列图像集合很大时,全景图扭曲现象更为严重。为提高全景图拼接质量,对Song Fuhua等人提出的图像拼接算法进行改进,首先改变参考图像的选取方式,提出图像序列中任意图像映射到与参考图像相同坐标系下的变换模型计算方法,并且在拼接过程中根据匹配特征点数目动态选取下次待拼接图像。与Song Fuhua等人提出的拼接算法相比,改进的图像拼接算法增加了图像重叠区域中SIFT特征点匹配对数,减小了参考图像SIFT特征检测区域。实验表明,提出的改进拼接算法提高了全景图拼接的时间效率,同时全景图扭曲现象也得到极大改善。     

基于多域分析和全局优化的全景图拼接方法

为了快速鲁棒地进行全景图的拼接，提出了一种基于频率域和空间域特性的全局优化全景图拼接方法。该全景拼接过程分为局部对齐和全局对齐两个阶段。在局部对齐过程中，先使用相位相关法进行粗对齐，而在根据相位相关确定的重叠区域内部，则通过设计一种基于特征点的粒子滤波器来校正相位相关的结果；在全局对齐中，则是使用基于光差的全局优化方法在子像素级进行精确对齐，由于初值准确，因此全局算法能迅速收敛。但是由于全局优化会带来较大的参数空间，为此需使用小局部大全局的策略来降低参数空间。实验表明，该拼接方法在帧间光照变化较大、重叠区域较少、摄像机没有标定的情况下能够鲁棒地完成全景图的拼接。     

一种移动设备视频全景并行生成技术*

通过移动摄像机合成视频全景图,由于视频中存在时间冗余以及现有合成技术对大角度旋转存在失配,提出一种鲁棒性较好的视频全景并行合成方法。该方法首先对选取的关键帧采用并行线程提取可重复性特征,并利用特征估计透视运动模型,从而对相邻关键帧进行全局配准;然后对重叠区域进行双线性融合,以减少视差对重叠场景的影响,同时并行优化提高了视频全景的合成速度。不同条件下移动合成实验表明,在大角度移动旋转以及视差等情况下仍能较好地合成视图。     

全景图像生成算法的研究与实现

针对虚拟现实中的柱面全景图生成问题提出了一种简单实用的算法。该算法通过对图像重叠部分的相交特征线段进行提取和匹配来实现相邻图像的拼接。在此基础上编制了全景图生成工具VR-Maker，并取得了良好的实验结果。     

一种视频序列的拼接算法

提出了一种视频序列的拼接算法。首先在同一镜头下的视频序列中提取若干关键帧，利用关键帧拼接表示序列的拼接；其次利用光流场算法计算出的运动位移量引导相邻关键帧间特征点的匹配,并结合随机抽样一致性（RANSAC）鲁棒估计算法和单映矩阵的级联性，得到相邻关键帧、非相邻关键帧间的对应矩阵；最后通过融合实现了序列的无缝拼接。实验验证了这种方法的有效性。     

一种用于图像拼接的图像序列自动排序算法

为实现全景图拼接中图像序列的自动排序,提出了一种利用相位相关法判断两幅图像是否重叠以及两幅重叠图像的位置关系的完全自动的图像序列排序算法。该算法避免了图像序列排序中的人工干预。实验结果表明,该算法能有效地实现顺序混乱的图像序列的自动排序,并能很好地应用于全景图拼接。     

一种视频序列拼接的新方法

提出了一种基于视频序列拼接的新方法。首先,利用KLT算法对视频序列中特征点进行提取和跟踪,实现关键帧粗略选取;其次,在选取的关键帧中利用SURF算法进行特征提取,利用最近邻距离比进行特征点匹配,通过RANSAC估计算法求精单映矩阵,并结合关键帧选取判定寻找最佳关键帧;最后,利用级联单映矩阵和加权融合算法实现视频序列拼接。实验验证了该方法的有效性。     

孔壁全景图获取中的图像拼接技术研究

采用钻井后数字摄像获取具有真实感的孔壁全景图以进行地质分析已成为地质勘测的重要方法之一。已有的全景图获取方法存在设备成本高或图像拼接效果不理想等不足。通过控制测井深度,对井下孔壁四周360度的柱面空间投影到像面上得到序列环带图像,并对图像进行展开,运用中值滤波算法对图像进行预处理,通过差值图像匹配原理找出图像的重叠部分进行配准,然后采用贝塞尔曲线的逼近算法对图像进行融合,实现图像间的平滑过渡,最后得到具有真实感的孔壁全景图。实际地质勘测应用表明,该图像拼接技术简单,处理灵活高效,所获取的孔壁全景图具有理想的效果。     

鱼眼图像校正及拼接的研究与实现

鱼眼图像视角大，两幅图片即可拼接成全景图，但鱼眼图像存在严重变形。该文利用场景中直线的鱼眼投影曲线，使用球面透视投影约束，得到径向和切向变形参数，实现了鱼眼图像的校正。基于待拼接图像之间重叠部分亮度差最小的原理，确定了重叠区域，通过在重叠区域间的融合，实现了图像的无缝拼接。校正及拼接结果表明，该方法能得到较为满意的效果。     

基于二维透射变换的视频全景图拼接算法

视频序列全景图拼接技术是视频图像分析的关键技术之一。针对帧间运动模型为二维投影变换的常见视频序列,提出了一种全景图拼接算法.该算法首先采用改进的基于RANSAC的特征点匹配算法对相邻帧的运动参数进行估计,接着采用直接法对各帧与全景图间的运动参数进行精确调整,最后运用自适应中值滤波绘制出全景图。实验结果表明,该方法能够生成较高质量的全景图,基本能实现无缝连接。     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

摄像机图像序列的全景图拼接

全景图是虚拟现实和计算机视觉中一种重要的场景表示方法 .通常获得高质量的全景图需要使用昂贵的专用设备 ,而且拍摄时需要精确地校准摄像机 .从普通摄像机图像拼接是获得全景图的一种低成本而且比较灵活的方法 .文中提出一种新的摄像机图像拼接算法 ,利用摄像机绕垂直轴旋转 36 0°依次拍摄的照片序列 ,拼接圆柱面全景图 .该算法不要求校准摄像机 ,对相邻帧之间摄像机的转角也没有严格的限制 ,而且不受帧间光照强度剧烈变化的影响 .从实验结果看 ,该算法获得了理想的拼接效果     

Optimization-based key frame extraction for motion capture animation

In this paper, we present a new solution for extracting key frames from motion capture data using an optimization algorithm to obtain compact and sparse key frame data that can represent the original dense human body motion capture animation. The use of the genetic algorithm helps determine the optimal solution with global exploration capability while the use of a probabilistic simplex method helps expedite the speed of convergence. By finding the chromosome that maximizes the fitness function, the algorithm provides the optimal number of key frames as well as the low reconstruction error with an ordinary interpolation technique. The reconstruction error is computed between the original motion and the reconstruction one by the weighted differences of joint positions and velocities. The resulting set of key frames is obtained by iterative application of the algorithm with initial populations generated randomly and intelligently. We also present experiments which demonstrate that the method can effectively extract key frames with a high compression ratio and reconstruct all other non key frames with high quality.     

从运动捕获数据中提取关键帧

在四元数表示下导出了两个旋转之间差异的一种简单形式，将人体各关节上总的旋转变化作为帧间距，设计了一种从运动捕获数据中提取关键帧的高效算法，通过向量的线性插值和四元数的球面线性插值重建了原始动画。实验表明，该算法具有很好的数据压缩效果，而且提取出的关键帧在视觉上对原始动画具有概括力。     

一种视频序列的全景图绘制算法

针对帧间变换为单映变换的视频序列全景图的绘制,提出了一种视频序列的全景图绘制算法.该算法首先采用基于模型的等级估计法对相邻帧的单映变换矩阵进行估计;然后采用基于RANSAC的特征点匹配方法对非相邻帧进行带指导的改进估计,以使其能够达到要求的子像素级精度;最后运用时间中值滤波绘制全景图.实验结果表明,该算法检测的全景图不仅帧间配准达到了一定的子像素级精度,而且基本达到了无缝连接.     

一种光照鲁棒的图像拼接融合算法

针对传统图像拼接方法只能处理光照一致图像的问题,提出了一种对环境光照鲁棒的全景图拼接算法。该算法首先使用圆环投影来获取待拼接图像的匹配特征序列,不仅克服了传统图像特征提取方法中的区域局限性问题,而且较好地实现了光照变化的图像匹配;然后使用统计参数来调整待拼接图像的整体亮度,以解决光照变化问题;最后对于传统图像融合处理中采用线性加权函数通常引起的最终拼合图像重叠区域模糊问题,构造了包含图像梯度的能量函数,用于计算重叠区域的全局最优融合因子。实验表明,该算法对光照变化图像的拼接融合能取得满意的视觉效果。     

长视频序列拼接

针对长视频序列的全景图拼接,提出了一种新的处理方法。该方法将长视频序列分段,对每一段分别采用场景流形算法进行拼接;将拼接后的相邻图像采用动态规划的思想搜索最佳缝合线;依次缝合所有拼接后的图像,得到整个视频序列的全景图。实验结果表明,采用该方法拼接而成的全景图可以最大限度地保证源图像的细节,没有明显的扭曲和变形,视觉效果比较好。在实际应用中,该方法可以较好地实现含动态场景的长视频序列的全景图拼接。     

Two-stage hierarchical video summary extraction to match low-level user browsing preferences

A compact summary of video that conveys visual content at various levels of detail enhances user interaction significantly. In this paper, we propose a two-stage framework to generate MPEG-7-compliant hierarchical key frame summaries of video sequences. At the first stage, which is carried out off-line at the time of content production, fuzzy clustering and data pruning methods are applied to given video segments to obtain a nonredundant set of key frames that comprise the finest level of the hierarchical summary. The number of key frames allocated to each shot or segment is determined dynamically and without user supervision through the use of cluster validation techniques. A coarser summary is generated on-demand in the second stage by reducing the number of key frames to match the low-level browsing preferences of a user. The proposed method has been validated by experimental results on a collection of video programs.     

视频序列的全景图拼接技术

提出了一种对视频序列进行全景图拼接的方法。主要讨论了有大面积的非刚性运动物体出现的序列，不过此方法也同样适用于无运动物体的纯背景序列。为计算各帧间的投影关系，用仿射模型来描述摄像机运动，并用特征点匹配的方法计算出模型中各参数的值。由于用相关法计算的匹配结果准确率比较低，所以用RANSAC（Random Sampling Consensus）对匹配结果进行了筛选，可以准确求出摄像机运动参数。利用运动参数进行投影，然后用多帧相减并求交集，估计出每帧图像中运动物体存在的区域，最后计算得到了全景图。该方法的结果与前人得到的结果进行了比较，证明用此方法能获得质量较高的全景图。