一种多路快速视频拼接系统设计与实现

针对当前高分辨率的多路视频拼接系统速度慢、实时性能低的问题,提出一种基于CPU和GPU并行架构的多路高清视频拼接算法。该算法在传统基于方向的快速特征点检测和旋转不变的特征描述算法上进行改进,删除针对尺度不变性应用的图像金字塔模块,并使用基于重叠区的局部配准方法,将配准后的图像数据在GPU设备端进行并行融合。在GPU与CPU异步执行的原则上,实现CPU端当前帧图像的配准,与其前帧图像融合,且以并行方式执行。通过显卡端图像数据计算与图像渲染之间的共享缓冲区,完成帧图像的快速渲染。实验结果表明,在4路200万像素的网络相机环境下,该算法实现的全景拼接系统的视频帧率达到17 f/s,可满足大场景的实时性需求。     

基于GPU的车载全景视觉系统

针对大、中型车辆在行驶、泊车过程中存在的视觉盲区以及多路视频全景拼接难以实时等工程化问题,本文设计出一种基于FPGA和GPU平台的多路相机安全驾驶辅助系统.FPGA实现图像数据采集、参数传递等预处理,在GPU上实现拼接算法的并行加速.在算法上优化实现多相机自动化标定,生成融合参数表以获取精确的融合配准关系.实验结果表明,该系统可适应多路鱼眼相机的实时拼接,在TX2上稳定的拼接速度可达到33 fps.     

基于特征点的视频流拼接帧选择优化算法

提出了一种具有公共视野的视频流拼接中视频帧的选择优化算法,算法计算候选帧与基准帧特征匹配对的特征向量差值的算术均值,选择均值最小的候选帧作为最佳拼接帧,与基准帧进行拼接.实验结果表明,基于该算法拼接的视频流全景视图效果较好,算法很好地解决了视频流拼接中最佳拼接帧的自动选择问题.     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

固定多摄像头的视觉拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。     

一种SAS图像拼接改进算法

SWF算子提取的特征点对图像尺度和旋转具有不变性,对环境变化、噪声以及仿射变换都具有很强的鲁棒性。本文在基于SIFT算子和RANSAC算法的图像拼接算法的基础上,根据SAS图像分辨率高、相邻帧图像重合度大且只存在平移和旋转变换的特点,对提取稳定特征点和计算拼接图像之间特征点匹配对的过程进行了改进。实际的SAS湖试图像拼接处理结果说明,改进算法提高了拼接算法的速度和图像之间的配准精度,增强了算法的鲁棒性。     

一种多方向感知的高实时性视频融合算法

针对多路视频融合阶段拼缝线两侧范围内出现的虚影、色彩亮度差异以及高分辨率下无法实时拼接等问题,本文提出一种多方向感知的视频融合算法。首先,在图像配准阶段,采用SIFT提取特征点与特征描述子对图像进行配准;然后,在图像融合阶段,使用指数函数构建的权值查找表指导融合过渡,结合视频帧投影位置与拼接缝之间的距离,利用形态学操作自适应地融合图像拼缝;最后,利用GPU平台大量多线程并行运算,整合投影与融合等矩阵运算从而掩盖延时达到实时目的。实验结果表明,该算法能消除重叠区域内出现的虚影、模糊现象,并且具有良好的实时拼接效果。     

远程全景实时监控系统设计与实现

针对现有实时视频通信系统因视频编解码模块和传输协议之间协作不紧密影响视频通信的传输性能和视觉质量,以及常用的远程实时监控系统监控范围和角度有限,多画面独立显示不够直观的问题,采用新型紧耦合式的视频通信架构,通过逐帧联合控制视频的编解码和传输,优化了每一帧的编码长度,提高了实时监控视频传输的端到端时延性能和视频图像质量;设计了多路远程视频源间的帧同步算法,并基于OpenCV的图像拼接模块定制了图像拼接流程;通过在特征点提取和匹配、图像变形和图像融合阶段使用GPU加速,并在逐帧拼接时设置合适的拼接缝更新间隔,实现了监控视频的近实时拼接。实验证明,系统能够获得良好的监控视频质量和更广的监控范围,一定程度上解决了视频监控中的盲区问题,同时具有较好的实时性和视觉效果。     

一种改进的摄像头视频实时拼接方法

针对普通摄像头水平视角较小的问题,通过同时采集具有一定重叠区域的摄像头视频帧图像,基于尺度不变特征变换（ScaleInvariantFeatureTransform,SIFT）特征点,用二分哈希搜索算法（DichotomyBasedHash,DBH）进行匹配,用随机采样一致（RandomSampleConsensus,RANSAC）算法消除误匹配,得到帧图像拼接映射关系。实验结果表明,该方法能有效地实现摄像头视频实时拼接,克服了既有方法在重叠区域小于20％时失效的不足,在重叠区域为10％左右时仍能取得有效的拼接。     

基于SIFT特征匹配的图像拼接算法

基于SIFT特征匹配思想 ,提出一种快速、准确的图像拼接算法.SIFT特征匹配算法是目前国内外特征点匹配研究领域的热点与难点,其匹配能力较强,可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题,甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力.在这一匹配思想的基础上结合多分辨率样条提出一种新的图像拼接算法,它采用多分辨率样条来确定拼接区域宽度和加权函数,使图像在不同分辨率下分别拼合,这样使拼合出的图像既清晰又光滑无缝.算法在大多数情况下能自动完成,实验结果证明该方法提高了拼接速度,降低了图像亮度差异的影响,使结果图像自然逼真.     

特定场景大视角视频拼接技术研究与实现

本文对视频拼接设计了一个简单的框架,主要是采用三路固定摄像进行实时拼接,在Uuntu16.04 系统安装 OpenCV开源库和CUDA8.0 软件包,并使用该系统搭建视频拼接框架系统。利用GPU编程技术,对视频拼接技术中最耗时 的特征匹配算法、细缝估计、多波段融合和扭曲映射算法进行加速。在计算资源足够的情况下,利用CUDA进行在线实时视 频流拼接。     

基于结构信息的图像拼接算法

研究了纹理较多、噪声较大的两幅或多幅的图像拼接问题.两幅图像拼接时,提取图像特征点的好坏对图像拼接结果有很大影响.经典的SIFT算法是一种较好的局部特征点提取算法.而对于纹理较多,噪声较大的图像中,SIFT算法会提取数量较大的特征点,影响匹配的准确性和速度.本文提出基于结构信息的图像拼接算法（SKM,Structual Keypoint Matching）,利用RTV算法提取图像的信息结构,有效地去除图像中的纹理噪声.去噪后,利用SIFT算法提取特征点进行匹配,最后利用RANSAC算法对匹配点对进行筛选,提高准确度.通过由SKM算法得到的变换矩阵H作用于原始图像,完成图像的拼接.     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

一种大视差场景下的实时视频拼接系统

随着虚拟现实技术和视频直播技术的发展,全景视频直播受到广泛的关注。传统的全景产品在处理大视差场景时易发生图像畸变,且难以兼顾实时性要求。为了解决这些问题,设计一种两路视频拼接系统。首先建立拼接背景模型。然后结合ORB(Oriented FAST and Rotated BRIEF)和基于移动DLT(Direct Linear Transformation)的APAP（As-Projective-As-Possible）算法完成图像配准,并改进一种基于最小能量检测的方法寻找最优接缝以避免移动前景引起的鬼影和错位。最后通过拼接模型计算阶段所得的参数索引表,对重叠区域进行融合完成视频帧的实时拼接。实验结果表明该系统可以处理大视差场景,具有良好的实时拼接效果。