一种整体的视频匹配方法

给出一种视频时空配准的整体方法,提出一种视频内匹配与视频间匹配相结合的空间配准策略,改进动态时间扭曲方法以用于时间维的对齐.视频内匹配跟踪视频内各帧图像的特征点并记录其轨迹,视频间匹配配准不同视频的帧图像,使用轨迹对应提供图像配准所需的初始特征点对应,根据图像配准得到的特征点对应建立和更新轨迹对应.该匹配策略充分利用了视频的连贯性提高了匹配的稳定性和效率,同时提高了配准视频的连贯性.改进的动态时间扭曲方法通过极小化两段视频的整体距离建立视频之间的帧对应关系,保持视频内部各帧之间的时序关系并能处理非线性偏移     

固定多摄像头的视觉拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。     

结合对齐度准则的视频人脸快速配准算法

在视频人脸替换过程中,针对人脸检测和特征点定位不考虑前后帧的时域联系,导致处理后的视频人脸出现抖动、错位现象的问题,提出结合对齐度准则的视频序列人脸配准方法。通过人脸特征点定位确定待匹配人脸的候选区域和参考人脸五官图像,并根据梯度信息得到参考人脸搜索子图像。构造图像尺度金字塔,在尺度金字塔中快速搜索对齐度极值,极值坐标对应搜索子图像相似度最高的配准点,构造匹配点对。采用Procrustes analysis算法计算对应匹配点的变换关系矩阵,完成待配准图像的坐标变换。根据实验数据,提出的算法提高了优化搜索的速度,处理后的视频与其他算法相比,前后帧对齐的人脸位置和姿态稳定,经处理的视频播放过程中人脸位置自然流畅。算法消除了肤色区域的影响,采用前后帧人脸的有效信息,保持了灰度变化大的人脸区域的位置和姿态,实现视频人脸的精确配准。     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

基于距离特征的自适应阈值视频拼接算法

针对虚拟漫游系统中视频拼接问题,提出一种基于距离的自适应阈值拼接算法。通过提取距离特征,并在待匹配的帧图像中采用自适应阈值序列的序贯相似性检测算法搜索匹配特征,从而确定重叠部分的起始列值。实验结果表明,该算法能更好地实现视频拼接,且减少计算量,提高拼接速度。     

一种基于压缩域的视频拼接算法

提出了一种基于压缩域的双摄像机视频拼接算法。首先利用相位相关法估算输入视频的对应第一帧重叠区域，并在重叠区域进行SIFT角点检测和匹配，加快角点匹配速度，提高匹配稳健性，使用RANSAC算法去除外点，采用奇异值分解法配合LM非线性优化方法求解变换参数，得到首帧的对应投影矩阵；对于非首帧的配准，利用压缩视频中的当前帧与前帧的运动矢量，获得全局运动矢量，然后结合对应前帧的投影矩阵，获得相应的当前帧的投影矩阵;最后使用多频带融合算法进行图像混合以改善线性加权融合算法带来的高频细节模糊。与传统算法相比，由于省去了特征提取和匹配方法，从而减少了大量的计算步骤和时间，提高了速度，增加了实用性。实验结果表明该算法具有较好的实用价值。     

一种基于CUDA的快速宽视频拼接的方法

在视频拼接过程中,需要进行大量的图像处理计算,高复杂度的拼接算法很难满足实时性要求。因此,为了实现多视频源快速拼接,不仅要求拼接算法具有较强的鲁棒性,同时还需要具有较低的复杂度。文中提出了一种新的快速宽视频拼接方法,此方法首先利用SURF算子提取图像特征点并进行匹配,接着使用多分辨率融合算法进行全景图融合,然后利用基于路径的方法结合光流实现低复杂度的视频插帧,同时整个宽视频拼接过程使用CUDA进行并行加速,最后用一个双目拼接系统对文中提出的方法进行可行性验证。     

远程全景实时监控系统设计与实现

针对现有实时视频通信系统因视频编解码模块和传输协议之间协作不紧密影响视频通信的传输性能和视觉质量,以及常用的远程实时监控系统监控范围和角度有限,多画面独立显示不够直观的问题,采用新型紧耦合式的视频通信架构,通过逐帧联合控制视频的编解码和传输,优化了每一帧的编码长度,提高了实时监控视频传输的端到端时延性能和视频图像质量;设计了多路远程视频源间的帧同步算法,并基于OpenCV的图像拼接模块定制了图像拼接流程;通过在特征点提取和匹配、图像变形和图像融合阶段使用GPU加速,并在逐帧拼接时设置合适的拼接缝更新间隔,实现了监控视频的近实时拼接。实验证明,系统能够获得良好的监控视频质量和更广的监控范围,一定程度上解决了视频监控中的盲区问题,同时具有较好的实时性和视觉效果。     

基于改进SURF的实时视频拼接方法

视频拼接在现实生活中具有十分重要的意义。文中实现的功能是实时地将多路视频进行拼接以形成一个大视野的视频。为了使系统具有良好的实时性,先用DirectShow分离视频流、提取图像帧,然后提出了一种改进的SURF算法进行图像配准,最后采用渐入渐出法进行图像融合。改进的算法在特征点提取时对范围作了限制,同时改进了原有特征描述符,这样可以大大加快提取速度。在特征匹配时采用基于最近邻和次近邻距离比值的方法进行粗匹配,然后采用RANSAC方法进行提纯和求取变换矩阵,最后在视频拼接中,不是对每一帧图像进行配准和融合,而是只对首帧图像进行图像配准,之后的每帧图像利用第一帧计算出的变换矩阵进行图像拼接,这样可以加快视频拼接的速度。实验结果表明,该方法可以实时地生成无缝清晰的宽场景视频。     

基于运动相关的运动估计自适应快速算法

根据视频运动的空间和时间相关性,以当前帧相邻块和前一帧重建VOP对应位置块及其相邻块为基础,并且自适应地调整当前帧和前一帧各块对初始搜索点确定的权值,完成初始搜索点的准确预测,然后针对视频的不同类型选择搜索策略,结合自适应调整的中止SAD阀值,适时中止搜索的过程。模拟实验表明,这种快速算法对初始搜索点的预测准确,搜索策略应用得当,极大地减少了运算量,各项性能指标都非常接近全搜索算法。     

一种支持不同时间尺度的视频相似性匹配算法*

针对不同时间尺度视频间的匹配问题,如人为再编辑（快进、慢放等）视频与原始视频间的匹配以及不同帧率视频间的检索等,提出了一种基于动态时间规划的最优匹配算法。在子片段的基础上进行视频相似性匹配,通过极小化两段视频的整体距离建立视频之间的子片段对应关系,引入搜索门限值,将全局搜索转变为在门限区域内的局部搜索,保持视频内部各子片段之间的时序关系并能处理非线性偏移。该算法能够成功地匹配不同时间尺度的相似视频,并能实现海量视频的快速检索。实验结果证明了该算法比传统的基于视觉相似性的视频片段检索算法更快速有效。     

基于量子遗传算法的高效匹配搜索策略

在大规模源图像上进行图像匹配时,最佳匹配点的搜索策略是匹配算法时间性能的决定因素,设计高效匹配搜索策略是提高算法性能的关键。为了减少搜索时间和提高匹配实时性,本文基于匹配源图像划分和量子遗传算法基本原理,提出了面向大规模源图像匹配的目标淘汰搜索策略TESS。TESS将基于整幅源图像的全空间随机搜索的过程变成基于各个子图像的子空间并行搜索和逐步淘汰的过程,实现了匹配区域粗定位与匹配点精搜索的有效结合,从而大大缩短了最佳匹配点的搜索时间。实验结果表明,TESS搜索策略带来了匹配速度的极大提高,且时间加速比随匹配源图像规模的增大而增大。     

基于几何均值分解和结构相似度的同源视频时间域复制粘贴篡改快速检测及恢复方法

针对现有方法中篡改检测效率不高、定位不精确的问题,提出了一种基于几何均值分解(GMD)和结构相似度(SSIM)的同源视频复制-粘贴快速篡改检测及恢复的方法。首先,将视频转换为灰度图像序列。其次,将几何均值分解作为检测特征,提出了一个基于块的搜索策略来定位复制序列的起始帧。此外,算法首次将结构相似度用于度量视频两帧之间的相似度,并利用结构相似度对搜索策略得到的起始帧进行复检。由于复制视频序列对应两帧之间的相似度高于未篡改序列对应两帧之间的相似度,提出了一个基于结构相似度的从粗到精的方法来定位复制视频序列的末尾帧。最后,对视频进行恢复。与其他几种经典算法进行对比,实验结果表明,所提方法不仅能够检测经过复制-粘贴篡改操作的视频,而且能准确地定位复制-粘贴序列。此外,该方法在检测精度、召回率和检测时间上有较大提升。     

A two-level queueing system for interactive browsing and searching of video content

This paper presents a two-level queueing system for dynamic summarization and interactive searching of video content. Video frames enter the queueing system; some insignificant and redundant frames are removed; the remaining frames are pulled out of the system as top-level key frames. Using an energy-minimization method, the first queue removes the video frames that constitute the gradual transitions of video shots. The second queue measures the content similarity of video frames and reduces redundant frames. In the queueing system, all key frames are linked in a directed-graph index structure, allowing video content to be accessed at any level-of-detail. Furthermore, this graph-based index structure enables interactive video content exploration, and the system is able to retrieve the video key frames that complement the video content already viewed by users. Experimental results on four full-length videos show that our queueing system performs much better than two existing methods on video key frame selection at different compression ratios. The evaluation on video content search shows that our interactive system is more effective than other systems on eight video searching tasks. Compared with the regular media player, our system reduces the average content searching time by half.     

Dynamic image mosaic via SIFT and dynamic programming

Image mosaic is a useful preprocessing step for background subtraction in videos recorded by a moving camera. To avoid the ghosting effect and mosaic failure due to huge exposure difference and big parallax between adjacent images, this paper proposes an effective mosaic algorithm named Combined SIFT and Dynamic Programming (CSDP). Based on SIFT matching and dynamic programming, CSDP uses an improved optimal seam searching criterion that provides “protection mechanisms” for moving objects with an edge-enhanced weighting intensity difference operator and ultimately solves the ghosting and incomplete effect induced by moving objects. The proposed method was compared to three widely used mosaic softwares (i.e., AutoStitch, Microsoft ICE, and Panorama Maker) and Mills’ approach in multiple scenes. Experimental results show the feasibility and effectiveness of the proposed method.     

Real-time video photomosaics with optimized image set and GPU

We propose a real-time approach to automatically generate photomosaic videos from a set of optimized images by taking advantage of CUDA GPU acceleration. Our approach divides an input image into smaller cells—usually rectangular cells—and replaces each cell with a small image of an appropriate color pattern. Photomosaics require a large set of tile images with a variety of patterns to create high-quality digital mosaic images. Because a large database of images requires longer processing time and larger storage space for searching patterns from the database, this requirement causes problems in developing a real-time system or mobile applications that have limited resources. This paper deals with a real-time video photomosaics using genetic feature selection method for building an optimized image set and taking advantage of CUDA to accelerate pattern searching that minimizes computation cost.     

基于二维透射变换的视频全景图拼接算法

视频序列全景图拼接技术是视频图像分析的关键技术之一。针对帧间运动模型为二维投影变换的常见视频序列,提出了一种全景图拼接算法.该算法首先采用改进的基于RANSAC的特征点匹配算法对相邻帧的运动参数进行估计,接着采用直接法对各帧与全景图间的运动参数进行精确调整,最后运用自适应中值滤波绘制出全景图。实验结果表明,该方法能够生成较高质量的全景图,基本能实现无缝连接。     

Consistent color and detail transfer from multiple source images for video and images

In this paper, we propose a method to jointly transfer the color and detail of multiple source images to a target video or image. Our method is based on a probabilistic segmentation scheme using Gaussian mixture model (GMM) to divide each source image as well as the target video frames or image into soft regions and determine the relevant source regions for each target region. For detail transfer, we first decompose each image as well as the target video frames or image into base and detail components. Then histogram matching is performed for detail components to transfer the detail of matching regions from source images to the target. We propose a unified framework to perform both color and detail transforms in an integrated manner. We also propose a method to maintain consistency for video targets, by enforcing consistent region segmentations for consecutive video frames using GMM-based parameter propagation and adaptive scene change detection. Experimental results demonstrate that our method automatically produces consistent color and detail transferred videos and images from a set of source images.     

A quick search method for audio and video signals based on histogram pruning

This paper proposes a quick method of similarity-based signal searching to detect and locate a specific audio or video signal given as a query in a stored long audio or video signal. With existing techniques, similarity-based searching may become impractical in terms of computing time in the case of searching through long-running (several-days' worth of) signals. The proposed algorithm, which is referred to as time-series active search, offers significantly faster search with sufficient accuracy. The key to the acceleration is an effective pruning algorithm introduced in the histogram matching stage. Through the pruning, the actual number of matching calculations can be reduced by 200 to 500 times compared with exhaustive search while guaranteeing exactly the same search result. Experiments show that the proposed method can correctly detect and locate a 15-s signal in a 48-h recording of TV broadcasts within 1 s, once the feature vectors are calculated and quantized. As extentions of the basic algorithm, efficient AND/OR search methods for searching for multiple query signals and a feature dithering method for coping with signal distortion are also discussed.