固定多摄像头的视觉拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。     

一种改进的摄像头视频实时拼接方法

针对普通摄像头水平视角较小的问题,通过同时采集具有一定重叠区域的摄像头视频帧图像,基于尺度不变特征变换（ScaleInvariantFeatureTransform,SIFT）特征点,用二分哈希搜索算法（DichotomyBasedHash,DBH）进行匹配,用随机采样一致（RandomSampleConsensus,RANSAC）算法消除误匹配,得到帧图像拼接映射关系。实验结果表明,该方法能有效地实现摄像头视频实时拼接,克服了既有方法在重叠区域小于20％时失效的不足,在重叠区域为10％左右时仍能取得有效的拼接。     

基于改进SURF的实时视频拼接方法

视频拼接在现实生活中具有十分重要的意义。文中实现的功能是实时地将多路视频进行拼接以形成一个大视野的视频。为了使系统具有良好的实时性,先用DirectShow分离视频流、提取图像帧,然后提出了一种改进的SURF算法进行图像配准,最后采用渐入渐出法进行图像融合。改进的算法在特征点提取时对范围作了限制,同时改进了原有特征描述符,这样可以大大加快提取速度。在特征匹配时采用基于最近邻和次近邻距离比值的方法进行粗匹配,然后采用RANSAC方法进行提纯和求取变换矩阵,最后在视频拼接中,不是对每一帧图像进行配准和融合,而是只对首帧图像进行图像配准,之后的每帧图像利用第一帧计算出的变换矩阵进行图像拼接,这样可以加快视频拼接的速度。实验结果表明,该方法可以实时地生成无缝清晰的宽场景视频。     

一种基于SIFT特征的航拍图像序列自动拼接方法

针对航拍图像序列拼接问题，提出一种基于尺度不变特征变换（SIFT）特征的自动拼接方法，该方法主要包括图像配准和镶嵌两个步骤。由于航拍序列各帧图像之间存在较大差异，因而常用的基于特征的配准方法适用性较差，对此，提出利用SIFT特征来实现准确、稳健的航拍图像配准。进一步的，提出一种基于视觉特征的色彩融合方法以取得平滑的镶嵌效果。最后，通过对真实航拍序列进行拼接实验验证了所提方法的有效性。     

基于GPU的视频流拼接算法研究

为解决视频流的稳定实时拼接,结合图形处理器GPU强大的并行计算能力,提出了一种基于GPU的视频流拼接算法.提取视频流的帧图像,利用尺度不变特征变换(scale invariant feature transform,SIFT)算法在GPU上实现帧图像的特征提取与匹配,实现图像拼接,进而实现视频流的稳定实时拼接.基于GPU的SIFT算法充分利用了GPU的并行处理能力,加快了视频流拼接算法执行的速度,真正意义上实现了几个差异较大但具有公共视野的视频流快速稳定的拼接.     

基于全局拼接的航拍图像拼接算法研究

研究航拍图像的拼接问题,提高图像拼接的准确度。由于当通过航拍获取的图像中部分图像相互存在重叠区域的比例不大时,造成拼接不准确。传统的区域的图像拼接算法无法将具有较小重叠区域的图像准确拼接。为了提高航拍图像拼接的准确率,提出一种全局的图像拼接算法,通过使用SIFT算法提取图像的SIFT特征点,根据位置误差最小的原则完成两幅图像的SIFT特征点匹配,最后利用整体最优化方法对拼接结果进行优化,采用全局特征点的拼接方法,可避免传统方法只利用重叠区域灰度特征而不能准确拼接低重叠度图像的问题。实验证明,改进方法利用图像的全局信息,准确地实现图像的拼接,取得了满意的结果。     

一种改进的降低扭曲误差的快速图像拼接算法

通过提取SIFT特征进行图像拼接得到的全景图存在一定程度的扭曲误差,尤其当序列图像集合很大时,全景图扭曲现象更为严重。为提高全景图拼接质量,对Song Fuhua等人提出的图像拼接算法进行改进,首先改变参考图像的选取方式,提出图像序列中任意图像映射到与参考图像相同坐标系下的变换模型计算方法,并且在拼接过程中根据匹配特征点数目动态选取下次待拼接图像。与Song Fuhua等人提出的拼接算法相比,改进的图像拼接算法增加了图像重叠区域中SIFT特征点匹配对数,减小了参考图像SIFT特征检测区域。实验表明,提出的改进拼接算法提高了全景图拼接的时间效率,同时全景图扭曲现象也得到极大改善。     

Canny边缘特征18维描述符在图像拼接中的应用

为将同一场景中具有重叠区域的序列图像合成为一幅宽视角、高分辨率的图像,基于尺度不变特征变换(SIFT)算法,提出一种结合Canny特征边缘18维特征描述的图像拼接方法。采用SIFT算法提取图像特征点,利用12个圆形区域中的梯度方向累加值、3个同心圆区域中的灰度累加值及3个灰度差分值建立18维特征描述符,保留图像Canny边缘16邻域特征点,选用RANSAC算法进行特征匹配对提纯,计算出不变换矩阵H,并用渐进渐出算法完成图像融合。实验结果表明,与传统SIFT算法相比,该方法对光线变化、旋转、尺度缩放等图像均能取得较好的拼接效果。     

基于SIFT特征匹配的监控图像自动拼接

针对不同摄像头的监控图像,提出了一种优化的SIFT特征匹配的监控图像自动拼接方法。在图像整合方面,通过高速提取SIFT特征描述符并进行稳定精确匹配,利用改进RANSAC算法去除错配,从而确定待拼接图像之间的变换参数;在图像融合方面,有效消除了颜色和光照差异,最终实现自动的无缝拼接系统。实验结果证明该方法对重叠区域小、形变大、有运动遮挡和噪声的监控图像有较完美的拼接效果。     

基于SIFT的岩石薄片图像拼接

为了解决传统的基于尺度不变特征变换(SIFT)算法的图像拼接方法无法使用SIFT特征匹配算法对岩石薄片图像中的空白区域图像进行特征提取,进而影响整个岩石薄片图像拼接的问题,在尺度不变特征变换匹配算法的基础上,提出了一种将岩石薄片图像的行列中心位置作为拼接基准点的图像拼接方法。该方法改进了特征点的提取方式、变换矩阵的计算顺序以及矩阵优化的顺序,并利用相邻图像之间的位置关系估计出空白区域图像的变换矩阵,实现了整个岩石薄片图像的拼接。实验结果表明,该方法可以较好地完成岩石薄片图像中空白图像的拼接,能够较为完整地保留整个岩石薄片的纹理信息,具有一定的实际应用价值。     

结合变形函数和幂函数权重的图像拼接

针对图像拼接算法存在效率低下、特征点错误匹配、重影和拼接缝等问题，提出一种基于尺度不变特征变换、薄板样条函数和幂函数的图像拼接方法。该方法通过对输入图像进行采样匹配，计算输入图像间的点映射关系和重合区域，使用点映射关系对重合区域内的特征点进行定向配准，利用特征点集合计算出图像的局部扭曲模型，使用图像插值方法对图像进行变形映射；采用幂函数权重模型对变形图像中的像素进行平滑过渡，完成图像拼接。实验结果表明，在拼接相同图像的情况下，所提方法与传统的尺度不变特征变换算法相比，特征点配准效率提高了约59.78%，而且得到了更多的特征点对；与经典的图像拼接算法相比，该方法解决了图像的重影和拼接缝的问题，同时提高了图像的质量评估指标的得分。     

一种多方向感知的高实时性视频融合算法

针对多路视频融合阶段拼缝线两侧范围内出现的虚影、色彩亮度差异以及高分辨率下无法实时拼接等问题,本文提出一种多方向感知的视频融合算法。首先,在图像配准阶段,采用SIFT提取特征点与特征描述子对图像进行配准;然后,在图像融合阶段,使用指数函数构建的权值查找表指导融合过渡,结合视频帧投影位置与拼接缝之间的距离,利用形态学操作自适应地融合图像拼缝;最后,利用GPU平台大量多线程并行运算,整合投影与融合等矩阵运算从而掩盖延时达到实时目的。实验结果表明,该算法能消除重叠区域内出现的虚影、模糊现象,并且具有良好的实时拼接效果。     

肌骨超声图像特征检测及拼接

目的 肌骨超声宽景图像易出现解剖结构错位、断裂等现象,其成像算法中的特征检测影响宽景图像的质量,也是超声图像配准、分析等算法的关键步骤,但目前仍未有相关研究明确指出适合提取肌骨超声图像特征点的算法。本文利用结合SIFT （scale invariant feature transform）描述子的FAST（features from accelerated segment test）算法以及SIFT、SURF（speeded-up robust features）、ORB（oriented FAST and rotated binary robust independent elementary features（BRIEF））算法对肌骨超声图像序列进行图像拼接,并对各算法的性能进行比较评估,为肌骨超声图像配准、宽景成像提供可参考的特征检测解决方案。方法 采集5组正常股四头肌的超声图像序列,每组再采样10幅图像。利用经典的图像拼接算法进行肌骨图像的特征检测以及图像拼接。分别利用上述4种算法提取肌骨超声图像的特征点;对特征点进行特征匹配,估算出图像间的形变矩阵;对所有待拼接的图像进行坐标变换以及融合处理,得到拼接全景图,并在特征检测性能、特征匹配性能、图像配准性能以及拼接效果等方面对4种算法进行评估比较。结果 实验结果表明,与SIFT、SURF、ORB算法相比,FAST-SIFT算法所提取的特征点分布更均匀,可以检测到大部分肌纤维的端点,且特征点检测时间最短,约4 ms,其平均匹配对数最多,是其他特征检测算法的25倍,其互信息和归一化互相关系数均值分别为1.016和0.748,均高于其他3种特征检测算法,表明其图像配准精度更高。且FAST-SIFT算法的图像拼接效果更好,没有明显的解剖结构错位、断裂、拼接不连贯等现象。结论 与SIFT、SURF、ORB算法相比,FAST-SIFT算法是更适合提取肌骨超声图像特征点的特征检测算法,在图像配准精度等方面都具有一定的优势。     

基于Harris与SIFT算法的自动图像拼接

图像拼接技术被广泛应用于遥感图像处理、计算机识别、医学图像分析及人工智能等方面。本文针对尺度不变特征变换(SIFT)算法特征提取较复杂、计算时间长的缺点,而Harris算法提取特征点快速有效的优点,提出了一种结合Harris与SIFT算法优点的算法,并将这种算法应用于图像的自动拼接。首先利用改进的Harris算法提取图像特征点,再使用SIFT算法来描述特征点,然后利用欧氏距离对所得的特征向量进行匹配,最终实现图像的自动拼接。实验结果表明,该方法能有效提高SIFT的匹配效率,较好地完成对图像的自动拼接。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

基于特征跟踪和网格路径运动的视频稳像算法

针对手持移动设备拍摄的抖动视频问题,提出了一种基于特征跟踪和网格路径运动的视频稳像算法。通过SIFT算法提取视频帧的特征点,采用KLT算法追踪特征点,利用RANSAC算法估计相邻帧间的仿射变换矩阵,将视频帧划分为均匀的网格,计算视频的运动轨迹,再通过极小化能量函数优化平滑多条网格路径。最后由原相机路径与平滑相机路径的关系,计算相邻帧间的补偿矩阵,利用补偿矩阵对每一帧进行几何变换,从而得到稳定的视频。实验表明,该算法在手持移动设备拍摄的抖动视频中有较好的结果,其中稳像后视频的PSNR平均值相比原抖动视频PSNR值大约提升了11.2 dB。与捆绑相机路径方法相比约提升了2.3 dB。图像间的结构相似性SSIM平均值大约提升了59%,与捆绑相机路径方法相比约提升了3.3%。     

单摄像头旋转监控下的快速图像拼接

目的 现今视频监控受到越来越广泛的应用,而在超广角区域监控领域仍然存在实时性、价格费用的限制。为此提出一种采用单摄像头,通过支持向量机与相位相关法相结合的在线实时快速图像拼接。方法 针对单摄像头定点旋转获得的图像序列,其拼接矩阵具有位姿相关的特点,采用相位相关法计算图像位姿信息,采用尺度不变特征变换(SIFT)算子计算对应位姿下的图像拼接矩阵,并使用支持向量机建立离线模型,在线过程中,根据当前帧的位姿信息计算拼接矩阵,再使用相位相关法实现精确匹配,以获取实时拼接图像。结果 采用DM6446嵌入式平台检验算法的可靠性,该算法可稳定地在0.1 s的图像采样时间内完成图像拼接,相较于传统的基于特征匹配方法,大幅提高了运算速度与运算稳定性,且运算结果清晰度符合监控要求。结论 本文图像拼接算法,根据位姿信息实时计算拼接矩阵,以获得可靠快速的全景图像。实验结果表明,该算法在动态复杂环境下依然具有较好的稳定性与图像清晰度。