基于MPEG压缩域的快速、鲁棒的全局运动信息提取方法

全局运动信息在视频分析中起着重要的作用.本文根据MPEG编码特点,提出了一种从MPEG压缩域中快速有效地进行全局运动参数估计的算法.该算法充分利用了MPEG压缩码流中的信息,通过提取预测残差DC图像的运动背景区域,估计全局运动参数,从而保证了参数估计的准确性,有效地克服了已有文献中仅仅采用运动矢量进行全局运动估计的局限性.根据不同的MPEG测试序列的对比分析,结果表明,本算法可快速准确地对MPEG视频序列进行全局运动信息估计,同时具有很高的鲁棒性.     

基于互信息量的关键帧全局优化提取方法

关键帧提取技术是视频分析和检索的关键技术之一。提出一种基于互信息量的关键帧提取的新方法,把关键帧提取问题建模为一个多目标规划数学模型,可以同时解决提取关键帧的数量和位置两个主要问题。并且采用了图像信息熵和互信息量作为特征参数参与启发式算法的评价函数,可快速有效地进行子镜头的分割和关键帧的提取。实验证明该方法能较好地提取出视频序列的关键帧。     

基于全局运动信息的视频检索技术

运动信息是描述视频内容的一种重要信息,本文介绍了一个基于全局运动信息的视频检索系统.在该系统中,我们通过对视频数据进行短时全局运动分析,较为精确地提取出了描述全局摄像机运动的双线性运动模型,并以该模型参数为运动特征,以特征点序列顺序匹配以及全局运动矢量距离平方和为基础,构造了一个视频检索方案.实验结果表明,在特定的应用领域,如体育类视频中,我们的检索方案能够实现一定程度的语义内容检索,同时提供了采用其他图像特征所无法实现的检索功能.     

基于综合特征分析的视频关键帧检索

综合利用了图像的颜色、形状和纹理特征,实现了对视频关键帧进行基于内容的检索。首先研究关键帧的选取、特征匹配等问题,再从视频处理的层次化结构的底层分析入手,构建了视频的连续帧图像序列,运用时间自适应检测法对镜头的关键帧进行了选取,建立了关键帧图像数据库。实验结果证明该方法性能良好。     

分布视频编码中基于帧间相关性的自适应关键帧选取算法

针对分布式视频编码(DVC)系统中固定周期关键帧选取(PKFS)方法忽视了帧间相关性的缺陷,提出了一种自适应关键帧选取(AKFS)算法。利用图像特征点检测与匹配的方法,将相邻图像的非匹配点作为帧间相关性的近似,把累积或平均非匹配点数超过阈值的帧判定为关键帧。在此基础上,提出改进的帧内插方案,以适应不同长度序列组的边信息生成;将零运动强度的关联帧合并为一帧图像参与编解码,进一步提高了系统的压缩效率。实验结果表明,对于不同运动特性的序列,本文提出的算法可以明显提升边信息帧的重建质量,使系统的率失真性能提高0.9～2.0 dB,并有效降低了编码传输码率。     

一种基于率失真优化的关键参考帧选择算法

为抑制压缩视频流的传输错误扩散,提出了一种新的基于关键帧的无反馈参考帧选择算法,通过采用一种适用各种掩盖策略的端到端失真度估计方法,评价出选择不同参考帧情况下的解码器失真度期望,在率失真框架内选择最合适的参考帧,使解码端的失真度达到最小.基于H. 263+ TMN8测试模型和IP包丢失的模拟实验表明,提出的率失真优化关键参考帧算法比传统的预测编码方法,PSNR值大约提高了1~3dB.当数据丢包率严重时,优势尤为明显.     

MPEG-2压缩域中鲁棒性摄像机运动估计算法的研究

在视频检索的很多应用中,比如对象轨迹追踪,都需要首先分离摄像机运动。现提出一种MPEG-2压缩域中鲁棒性摄像机运动估计——自适应尺度残差一致性ASRC（Adaptive-Scale Residual Consensus）算法,只使用P帧的运动向量,并对多重结构噪声可达到80%的击穿点,使MPEG矢量场中奇异值的影响降到最小。对比经典LMedS估计,提出的ASRC具有更好的鲁棒性和击穿点。实验结果显示出令人满意的效果。     

基于多特征融合的运动对象识别算法

为提高视频检索的准确率,提出了一种基于多特征融合的视频运动对象识别算法。该算法首先使用基于背景帧构造及关键帧截取的方法提取视频中的运动对象的区域;然后分别提取运动对象的局部特征SURF描述子和全局特征如颜色直方图、边缘直方图等,并使两者融合为统一的特征向量;最后使用支持向量机对特征进行学习和识别,用以识别视频对象。实验证明该算法有效地提高了视频中运动对象识别的准确率。     

基于Open Pose的角色动作提取

文章利用基于OpenPose的人体姿态识别算法,将动画或者视频中的人物动作进行处理,实现对角色运动数据的捕获;采用基于运动捕捉数据的关键帧提取算法来获取角色运动的关键帧。实验结果表明,该方法具较高的识别准确率,并且能够提取出对原动画或视频具有概括力的关键帧。     

Retrieval of video clips using global motion information

A new scheme is proposed to extract a global motion model from a general video sequence. Since global camera motion often conveys the semantic meaning of a video's content, these global model parameters are used as features for video retrieval. Experimental results show that the scheme is quite effective in locating video segments with similar motion content in football game sequences     

姿态估计和跟踪结合的运动视频关键帧提取

提出姿态估计和特定部位跟踪相结合的动作视频关键帧提取算法.首先利用非确定人体部位的时间连续性保持提高基于柔性部件铰接人体模型的单帧图像人体姿态估计准确率,通过实施数据降维得到局部拓扑结构表达能力强的判别性运动特征向量,采用极值判定原理确定候选关键帧集合.然后利用ISODATA动态聚类算法,通过初始聚类中心优化、基于语义的关键帧集合增强等策略确定关键帧.实验表明文中算法具有较高的关键帧提取准确率和召回率,支持基于语义的关键帧提取.提取的视频关键帧可以用于运动视频压缩和批注审阅.     

Motion Compensated Subband Video Coding with Arbitrarily Shaped Region Adaptivity

The performance of Motion Compensated Discrete Cosine Transform (MC‐DCT) video coding is improved by using the region adaptive subband image coding [18]. On the assumption that the video is acquired from the camera on a moving platform and the distance between the camera and the scene is large enough, both the motion of camera and the motion of moving objects in a frame are compensated. For the compensation of camera motion, a feature matching algorithm is employed. Several feature points extracted using a Sobel operator are used to compensate the camera motion of translation, rotation, and zoom. The illumination change between frames is also compensated. Motion compensated frame differences are divided into three regions called stationary background, moving objects, and newly emerging areas each of which is arbitrarily shaped. Different quantizers are used for different regions. Compared to the conventional MC‐DCT video coding using block matching algorithm, our video coding scheme shows about 1.0‐dB improvements on average for the experimental video samples.     

Key frame extraction based on visual attention model

Key frame extraction is an important technique in video summarization, browsing, searching and understanding. In this paper, we propose a novel approach to extract the most attractive key frames by using a saliency-based visual attention model that bridges the gap between semantic interpretation of the video and low-level features. First, dynamic and static conspicuity maps are constructed based on motion, color and texture features. Then, by introducing suppression factor and motion priority schemes, the conspicuity maps are fused into a saliency map that includes only true attention regions to produce attention curve. Finally, after time-constraint cluster algorithm grouping frames with similar content, the frames with maximum saliency value are selected as key-frames. Experimental results demonstrate the effectiveness of our approach for video summarization by retrieving the meaningful key frames.     

基于动态规划的自适应关键帧提取算法

提出一种基于内容的视频检索系统的关键帧提取新算法,把关键帧提取问题建模为一个可以用动态规划算法隶解的全局优化问题.首先建立二值的帧差矩阵来表示低维特征空间中帧与帧之间的相似性度量,然后使用动态规划算法分割帧差矩阵从而提取出关键帧.该算法具有低计算复杂度和对于视频内容的自适应性,而且保持了关键帧的时间顺序.可以方便地根据需要调节关键帧数目.     

基于图中心和自动阈值的关键帧提取方法

随着因特网的迅猛发展，迫切需要对越来越多的视频信息进行迅速且低成本的管理.而关键帧的使用可以大大减少视频索引的数据量，同时也为查询和检索视频提供了一个组织框架.文章中利用图与视频结构的相似性，将求关键帧的问题转化为求图的P中心问题;同时利用镜头之间的活动度不同，自动选取阈值.实验结果表明提取的关键帧集能够很好地表示镜头的主要内容，且有较低的计算复杂度。     

基于聚类的视频镜头分割和关键帧提取

镜头分割是基于内容的视频检索和浏览首先要解决的关键技术。视频分割为镜头后,下一步的工作就是进行关键帧提取,用以描述镜头的主要内容。提出了一种改进的基于聚类的镜头分割和关键帧提取算法．在无监督聚类中引入一个参考变量,解决了利用无监督聚类进行镜头分割和关键帧提取时可能产生的帧序不连续或分割错误的问题。在关键帧提取阶段,将镜头分割为子镜头后,引入图像熵的概念提取关键帧。实验结果表明了改进算法在镜头分割和关键帧提取方面的有效性。     

Novel video stabilization for real-time optical character recognition applications

This paper presents a novel video stabilization algorithm for real-time optical character recognition (OCR) applications. The proposed method generates output frames in order to stabilize the position of a target word that will be recognized by the OCR application. Unlike in conventional algorithms, in the proposed algorithm, a causal low pass filter is not applied to the trajectory of the target word for reducing the high frequency component of camera motion. The proposed algorithm directly calculates the stable position of the word using two forces: the force used to pull the target word to the center of an output frame and a back force used to return the center of an output frame to the center of an input frame. Hence, the proposed algorithm significantly minimizes the time take to respond to sudden camera movement. Although the proposed method may not outperform state-of-the-art video stabilization in terms of video stability, the proposed technique is much more appropriate for real-time OCR applications than the conventional techniques in terms of accuracy, computational cost, processing delay, and the time taken to respond to sudden camera movement. Simulation results prove the superiority of the proposed method over conventional techniques for real-time OCR applications.     

一种基于内容的快速视频运动对象分割算法

自从MPEG-4和MPEG-7标准公布以来。基于内容的视频编码与基于对象形状的检索成为视频领域新的发展趋势，而准确地从背景中分割出视频对象是实现上述功能的前提条件。对视频运动对象分割算法进行了研究，该算法结合对称差分和自适应阚值选取，获得变化检测模板，并最终分割出视频运动对象。实验结果表明该算法对运动对象敏感，能实时准确地分割出视频运动对象。但对象的关节运动以及背景的全局运动都将导致分割精度的降低，这也是今后研究的重点。     

一种解决波动式干扰影响的序列图像运动目标检测方法

为解决复杂环境下的诸如枝叶摇摆、摄像机抖动等波动式干扰对运动目标检测的影响问题,该文提出基于视频窗口切分与分类的序列图像运动目标检测算法。首先将序列图像切分为rc大小的视频窗口,然后提取窗口内区域图像累积帧间差矩阵的简单统计特征,针对每一帧序列图像,将视频窗口进行分类,把它们划分为运动目标窗口和非运动目标窗口(包括静止背景窗口和波动式干扰窗口),最后将运动目标窗口合并为运动目标。该方法的优点是无需已知背景模型和运动目标大小、形状等任何先验信息。实验表明该算法能在摄像机抖动以及枝叶干扰等复杂环境下快速有效的检测出运动目标。     

矿井车载摄像系统中电子稳像算法的研究

为克服矿井车载摄像系统在视频采集过程中的图像抖动问题,提出了一种基于MIC-Harris角点特征的自适应运动补偿电子稳像算法。首先,提出MIC-Harris角点检测算法和由粗到精的匹配策略,实现序列中特征点的快速精确提取。然后根据矿井移动车载图像运动特点,构建运动参数估计模型,运用最小二乘法实现全局运动矢量的求解。最后,提出自适应相邻帧补偿方法,结合Kalman滤波实现补偿矢量的计算,在滤除高频随机抖动同时保留了车载摄像机低频主动运动,并克服了连续视频序列长时间稳像处理的帧间累积误差问题。实验仿真结果表明：本文提出的算法不仅融合了MIC运算速度快和Harris准确度高的优点,而且能够实现矿井车载摄像系统的长时间连续稳像处理,具有较好的稳像效果。