基于SURF和动态ROI的实时视频拼接

为解决含有运动物体的视频拼接问题及解决不同景深下的目标拼接等此类问题,提出一种基于SURF和动态ROI方法的双目摄像机视频图像快速拼接方法.通过RANSAC方法与单应性矩阵平滑方法估计双目摄像头视频图像变换模型,融合成宽场景的视频图像.由于选取了动态ROI之后不进行重叠区域之外的SURF特征提取,提高了特征匹配的精准度,避免了ROI之外的误匹配特征点对,同时减少了程序的耗时.大量的实验结果表明,该系统能够自适应的对双目摄像头采集的图像进行视频拼接,获得清晰的宽场景视频.     

网格形变细分的大视差图像拼接算法

针对大视差图像拼接后重叠区域出现重影、非重叠区域发生透视失真等问题,提出一种改进的大视差图像拼接算法。利用尽可能投影算法(APAP)建立低密度网格形变,根据待拼接图像成对匹配点的分布对重叠区域内的网格形变进行细分。通过随机采样一致性算法计算全局最优相似矩阵,校正非重叠区域发生的透视失真现象。将全局最优相似矩阵与网格单应矩阵加权叠加,实现目标图像形变。在此基础上,对目标图像重叠区域进行内容感知,保留重要度较低的区域并完成拼接,以避免重叠区域出现重影问题。实验结果表明,相对APAP、SPHP等算法,该算法的拼接效果更能还原真实场景,且拼接图像的均方根误差值较低。     

基于不变矩相似度的快速图像拼接

针对图像拼接中普遍存在的效率低和误匹配等问题,提出了一种基于不变矩相似度的快速拼接方法。首先利用不变矩相似度准则,预估输入图像的重叠区域,然后采用SIFT算法进行特征点检测和匹配,减少了不必要的特征提取和误匹配。利用稳健的RANSAC算法实现特征点提纯并计算单应性矩阵。最后,针对带运动目标的动态场景融合后易出现鬼影的现象,提出一种改进的分段线性加权融合算法以消除拼接鬼影。     

基于改进随机抽样一致算法的视频拼接算法

为了解决实时视频拼接中的鬼影和拼接缝问题,提出了一种基于改进随机抽样一致算法的实时视频拼接算法。首先,针对双目摄像头的重叠区域,采用加速鲁棒特征算法提取特征点,寻找特征匹配点对;然后利用改进的随机抽样一致算法去除误匹配点对,获得最优单应性矩阵;最后,对重叠区域像素进行动态融合处理。实验结果表明,采用本文算法可以有效地消除视频重叠区域的拼接缝和鬼影,同时可保证视频拼接系统的实时性。     

一种改进的摄像头视频实时拼接方法

针对普通摄像头水平视角较小的问题,通过同时采集具有一定重叠区域的摄像头视频帧图像,基于尺度不变特征变换（ScaleInvariantFeatureTransform,SIFT）特征点,用二分哈希搜索算法（DichotomyBasedHash,DBH）进行匹配,用随机采样一致（RandomSampleConsensus,RANSAC）算法消除误匹配,得到帧图像拼接映射关系。实验结果表明,该方法能有效地实现摄像头视频实时拼接,克服了既有方法在重叠区域小于20％时失效的不足,在重叠区域为10％左右时仍能取得有效的拼接。     

基于ASIFT的低重叠度图像拼接研究

为了解决在图像重叠度过低时,采用常用的SIFT图像匹配算法,造成图像拼接困难的问题,提出了一种基于ASIFT的低重叠度图像拼接方法.ASIFT图像匹配算法相较于SIFT图像匹配算法,在低重叠度条件下,能够检测出更丰富的匹配点,且具有更高的匹配精度.根据这一特性,该方法采用ASIFT图像匹配算法进行特征点检测与匹配,然后利用其结果进行图像拼接.实验结果表明,这种方法在图像重叠度很低的情况下,也能够取得良好的拼接结果.     

一种改进的全景图自动拼接算法

提出了一种带有图像自动排序功能的全景图全自动拼接算法。首先利用相位相关法对输入图像进行排序,同时估算角点匹配区域以加快角点匹配速度,提高匹配稳健性;然后使用RANSAC算法去除外点,采用奇异值分解法配合LM非线性优化方法求解变换参数,提高配准精度;最后使用多频带融合算法进行图像混合以改善线性加权融合算法带来的高频细节模糊;算法中还设有检测机制以确保LM优化顺利进行。与现有算法相比,对于图像重叠区域较小、图像中含有运动物体、重复性纹理等较难自动拼接的情况,使用该算法可以有效提高拼接成功率,缩短总体拼接时间,而且合成的图像清晰度较高。实验结果表明该算法具有较好的实用价值。     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

基于超像素联接权模型的视频分割算法

视频图像分割是图像处理领域的一个热门问题。在传统分割算法的基础上,提出了一种新的无监督的视频分割算法。该算法采用超像素对运动前景进行表示,定义联接权概念来描述超像素属于同一物体的可能性,并利用当前帧的静态特征与前后帧的关联特征进行联接权计算。为优化超像素间匹配关系的搜索,算法引入了超像素颜色特征匹配约束与运动关联性匹配约束的机制。分别在简单场景和复杂场景进行了视频分割实验,简单场景下,算法保证了较高的召回率与稳定的准确率;复杂场景下,算法完成了人群中单个人的切分。大量实验结果表明,该算法能够实现视频图像的分割,并且能有效解决过分割问题。     

基于相对定向和小区域融合的视频图像拼接

针对视频图像拼接中拼接面选取不当造成的畸变问题和图像融合阶段视差带来的残影问题,借助半角纠正法选取合适的拼接面,使用小区域融合法解决融合残影问题.首先,利用摄影测量的相对定向法计算图像姿态参数;然后,根据姿态参数对待拼接图像进行半角纠正并旋转到同一中介平面;接着,利用匹配的同名点对齐图像;最后,在图像重叠区域的中间部分选取一条形区域作为过渡区并采用渐入渐出法进行融合.实验结果表明,在双摄像头视频拼接系统中,半角纠正法比传统平面拼接法的畸变要小;同时与渐入渐出融合法相比,小区域融合法能避免由视差引起的大面积残影问题.经分析,半角纠正和小区域融合法能有效解决视频拼接中图像变换的畸变和重叠区域融合残影问题.     

基于特征匹配与运动补偿的视频稳像算法

针对在复杂背景下航拍视频的抖动情况,为了实时输出稳定的视频,提出了一种改进的特征匹配算法与全局运动补偿相结合的视频稳像算法。首先,利用尺度不变的SURF算法提取特征点并计算描述符,再结合快速近似最邻近匹配算法得到匹配点对,并通过双向匹配以及K近邻算法筛选优秀匹配点,从而提高匹配正确率;其次,提出了一种局部区域匹配法,提高了算法处理速度,并避免场景内运动目标对稳像效果的影响。通过建立仿射变换模型,求解相邻帧图像的变换参数,进而对图像进行全局运动补偿。结果表明,该算法速度快、匹配精度高,有良好的视频稳像效果。     

基于姿态引导的场景保留人物视频生成

人物视频生成技术是通过学习人体结构与运动的特征表示,实现从特征表示到 人物视频帧的空间生成映射。针对现有的人物视频生成算法未考虑背景环境转换及人体姿态 估计精度较低等问题,提出一种基于姿态引导的场景保留人物视频生成算法(PSPVG)。首先, 取合适的源视频和目标视频,利用分割人物外观的视频帧代替源视频帧作为网络的输入;然 后,基于GAN 的运动转换模型将源视频中的人物替换成目标人物,并保持动作一致性;最后, 引用泊松图像编辑将人物外观与源背景融合,去除边界异常像素,实现将人物自然地融入源 场景且避免改变画面背景环境和整体风格。该算法使用分割出的前景人物图代替源视频帧中 的人物,减少背景干扰,提高姿态估计精度,自然地实现运动转移过程中源场景的保留,生 成艺术性与真实性和谐并存的人物视频。     

Non-goal scene analysis for soccer video

The broadcast soccer video is usually recorded by one main camera, which is constantly gazing somewhere of playfield where a highlight event is happening. So the camera parameters and their variety have close relationship with semantic information of soccer video, and much interest has been caught in camera calibration for soccer video. The previous calibration methods either deal with goal scene, or have strict calibration conditions and high complexity. So, it does not properly handle the non-goal scene such as midfield or center-forward scene. In this paper, based on a new soccer field model, a field symbol extraction algorithm is proposed to extract the calibration information. Then a two-stage calibration approach is developed which can calibrate camera not only for goal scene but also for non-goal scene. The preliminary experimental results demonstrate its robustness and accuracy.     

Active Foreground Region Extraction and Tracking for Sports Video Annotation

Automatic video segmentation plays a vital role in sports videos annotation. This paper presents a fully automatic and computationally efficient algorithm for analysis of sports videos. Various methods of automatic shot boundary detection have been proposed to perform automatic video segmentation. These investigations mainly concentrate on detecting fades and dissolves for fast processing of the entire video scene without providing any additional feedback on object relativity within the shots. The goal of the proposed method is to identify regions that perform certain activities in a scene. The model uses some low-level feature video processing algorithms to extract the shot boundaries from a video scene and to identify dominant colours within these boundaries. An object classification method is used for clustering the seed distributions of the dominant colours to homogeneous regions. Using a simple tracking method a classification of these regions to active or static is performed. The efficiency of the proposed framework is demonstrated over a standard video benchmark with numerous types of sport events and the experimental results show that our algorithm can be used with high accuracy for automatic annotation of active regions for sport videos.     

基于动态阈值的视频场景切换检测

视频场景切换检测在视频处理领域十分重要,优秀的视频场景切换检测算法对于视频的后续处理,包括信息标注与特征提取等都具有很大的意义.本文以传统的图像处理方法为基础,结合ORB (oriented FAST and rotated BRIEF)快速特征描述子,分别实现图像的相似度估计.通过动态融合因子,将多种基本算法得到的相似度在完整算法中的价值量化,并根据邻帧相似度计算动态阈值,从而提高了算法的稳定性;另外通过流程规划,减少了算法中耗时长的部分的调用次数,最终实现了高效的视频场景切换检测.实验结果表明,视频场景切换检测的准确率有一定程度地提升.     

一种快速的压缩域视频流场景分段算法

提出了一种快速的压缩域视频流场景分段算法，对视频流进行两次分析：第一次分析（粗略分析）只分析P-帧中宏块统计信息，检测出可能存在的镜头边界；第二次分析（精确分析）再对粗略分析找出的边界邻近的B-帧和P-帧的宏块类型进行分析。从而对场景变换进行精确分析和定位，实验结果表明，粗略分析可以满足实时检测的速度要求，帧定位误差控制在10帧之内，精确分析可以进一步把帧定位误差控制在2帧之内。     

基于视觉注意模型和HMM的足球视频语义分析

HMM模型具有良好的适应性,可以自动学习,对预测随机时序数据性能良好。场景是足球视频的基本特征,场景的转换体现了足球视频的摄制、编辑模式,表现了足球视频的语义。提出了一种基于场景分析和HMM的视频语义分析框架,用于识别足球视频中的一些语义事件。为了克服以往基于主颜色和其他底层特征的视频场景分析中存在的较大误差,又提出基于视觉注意模型对足球视频中的场景进行分析。实验结果表明,基于场景分析和HMM的事件识别方法对足球视频中的任意球事件有良好的识别效果     

Adaptive scene-detection algorithm for VBR video stream

Several scene-detection algorithms, which are only based on bit rate fluctuations, have been proposed. All of them are presented on the fixed thresholds, which are obtained by the empirical records of the video characteristics. Due to the sensitivity of these methods to the accuracy of the records, which are generally obtained by testing several values repeatedly, bad performance evaluation might be observed for the actual scene detection, especially for real-time video traffic. In this paper, we review the previous works in this area, and study the correlation between the scene duration and the scene change at the frame level, and simultaneously investigate the local statistical characteristics of scenes such as variance and peak bit rate etc. Based on this analysis, an effective decision function is first constructed for the scene segmentation. Then, we propose a scene-detection algorithm using the defined dynamic threshold model, which can capture the statistical properties of the scene changes. Experimental results using 15 variable bit rate MPEG video traces indicate good performances of the proposed algorithm with significantly improved scene-detection accuracy.     

电影推荐系统中基于图的协同过滤算法

在视频服务领域,通常使用传统的协同过滤算法来解决评分数据较为稀疏的问题,而算法的视频相似度计算仅利用评分矩阵,从而造成推荐准确度较低,针对视频资源中的电影这一应用场景提出一种基于图的协同过滤算法。结合电影属性与用户偏好的关联性,将电影信息中类型、导演和演员等信息进行图元素的映射,融合图结构特点来计算影片资源的相似度。用该方法替代传统协同过滤算法中仅利用评分矩阵的相似度计算方法,在一定程度上缓解了由于数据稀疏性影响推荐准确度的问题,实验验证了该方法的有效性。     

基于压缩域信息的立体视频对象分割方法

立体视频对象分割是交互式多视点视频应用的关键技术。为了提高对象分割的时效性和精确性,提出了一种利用压缩域视差和运动信息的立体视频对象分割算法。该算法首先对运动矢量场和视差场进行提取和修正处理,然后对视频帧进行分割作为初始值,最后用均值偏移算法聚类得到最终的对象分割结果。实验结果表明,对于纹理复杂的场景有很好的分割效果,可以获得与语义一致的对象。