基于聚类的视频镜头分割和关键帧提取

镜头分割是基于内容的视频检索和浏览首先要解决的关键技术。视频分割为镜头后,下一步的工作就是进行关键帧提取,用以描述镜头的主要内容。提出了一种改进的基于聚类的镜头分割和关键帧提取算法．在无监督聚类中引入一个参考变量,解决了利用无监督聚类进行镜头分割和关键帧提取时可能产生的帧序不连续或分割错误的问题。在关键帧提取阶段,将镜头分割为子镜头后,引入图像熵的概念提取关键帧。实验结果表明了改进算法在镜头分割和关键帧提取方面的有效性。     

一种压缩域中基于镜头的视频检索方法

镜头是视频的基本单元。文章提出了一个计算镜头纹理直方图和在压缩域中基于镜头的视频检索方法。对镜头中所有Ⅰ帧的DC图分别提取颜色和纹理直方图，然后分别形成镜头的可变阿尔法颜色和纹理直方图．并用镜头的这些特征在镜头层次上用不同的距离度量方法进行视频检索。实验结果表明，基于镜头的检索用L1度量距离比用L2和Χ^2度量距离有更好的检索性能，而且避免了基于关键帧检索中由于镜头运动等原因可能导致镜头关键帧选择不当对检索性能的影响，因而比基于关键帧检索具有更好的检索性能。     

探讨基于Tsallis熵的视频关键帧提取技术

关键帧是视频中的一组有限数量的帧的子集,一个视频的关键帧序列能够合理地概括该视频信息,从而减少过大的视频数据对生产生活带来的承载负重.本文讨论了基于Tsallis熵的Jensen距离公式——JTD在视频关键帧提取中的应用.根据得到的差异性距离值JTD,首先检查子镜头边界,进而从每个子镜头中抽取一帧作为该镜头的代表帧,最终得到该段视频的关键帧序列.     

基于互信息量的关键帧全局优化提取方法

关键帧提取技术是视频分析和检索的关键技术之一。提出一种基于互信息量的关键帧提取的新方法,把关键帧提取问题建模为一个多目标规划数学模型,可以同时解决提取关键帧的数量和位置两个主要问题。并且采用了图像信息熵和互信息量作为特征参数参与启发式算法的评价函数,可快速有效地进行子镜头的分割和关键帧的提取。实验证明该方法能较好地提取出视频序列的关键帧。     

一种基于交互信息量的视频摘要生成方法

提出了一种基于交互信息量的视频摘要生成方法。该方法首先使用基于交互信息量的方法进行视频镜头检测,通过对检测到镜头帧的聚类提取镜头候选关键帧。然后对候选关键帧按照相邻帧间交互信息量的比较来提取镜头关键帧,最后将镜头关键帧按时序排列在一起形成视频摘要。试验表明,这种关键帧提取算法是有效的,其建立的视频摘要能较好的反映原视频的内容。     

级联手工特征与深度特征的视频关键帧检测方法

关键帧检测是有效的视频内容分析的关键环节。常用的基于手工特征的方法运行效率高但很难有效表征关键帧特征,因而性能不好。基于深度特征的方法因为网络结构复杂,导致效率不高。在体育比赛类视频中,关键帧常为比赛转播中镜头变化的最后一帧。但广播视频中除了包含比赛视频还包括很多其他类型的镜头如中场休息、渐变镜头等。因此检测最后一帧包含很多比赛无关内容。针对这一问题,本文提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,本文提出方法能够快速、可靠地提取关键帧。      

基于压缩传感和EMD距离的视频镜头关键帧提取

关键帧提取是视频内容分析与检索技术的核心问题。提出一种基于压缩传感和EMD距离的关键帧提取方法,首先构造一个符合有限等距性质的稀疏矩阵,将帧高维特征投影到低维空间,然后通过计算帧低维特征之间的调节余弦相似度完成子镜头分割。在各子镜头中,利用EMD距离计算帧与子镜头中心的差异,并选择差异最小值所对应的帧作为该子镜头的关键帧。实验结果表明,该方法提取的关键帧能够对视频内容进行准确的描述。     

电视广告监管中非告时段的识别技术

为了提高对电视全天广告监管的效率,本文提出了一种停播时段的识别技术.首先利用视频关键帧提取技术选取出关键帧,对所有的关键帧进行色彩特征和纹理特征比对;再根据视频节目停播时段的镜头变化规律,使用0表示不变,1表示变化,由阈值来定位镜头切换的位置,从而识别出具体的停播时段;最后将该时段从视频比对中剔除,以达到节省资源及提高广告识别效率.     

一种基于聚类的关键帧提取算法

关键帧的提取是视频数据结构化的一部分,在获得关键帧之后就可以进入基于内容的图像检索阶段,实现基于内容的视频检索。本文提出了一种在镜头边界检测之后再进行视频帧聚类的方法来提取关键帧。聚类形成了数据更小的子镜头,最后从子镜头中选择与聚类中心距离最小的一帧作为关键帧。最后,通过仿真实验表明该方法能够快速有效地提取出视频关键帧。     

基于压缩感知和熵计算的关键帧提取算法

针对关键帧提取问题,提出了一种基于压缩感知理 论和熵计算的关键帧提取算法, 首先通过构造符合有限等距性质要求的稀疏随机投影矩阵,将高维多尺度帧图像特征变换为 低维多尺度帧图像特征, 并形成视频镜头低维多尺度特征列向量组;然后通过随机权值向量与低维多尺度特征向量的 阿达玛乘积运算生成各 帧图像的匹配特征,并根据匹配特征的相似性度量完成镜头内部的子镜头分割;最后通过交 叉熵计算在每个子镜头 中得到可能的关键帧,并由图像熵计算确定最终的关键帧。实验表明,与传统方法相比,本 文算法提取的关键帧能够更精确、更稳定描述视频镜头内容。     

Video key frame extraction through dynamic Delaunay clustering with a structural constraint

Key frame based video summarization has emerged as an important area of research for the multimedia community. Video key frames enable an user to access any video in a friendly and meaningful way. In this paper, we propose an automated method of video key frame extraction using dynamic Delaunay graph clustering via an iterative edge pruning strategy. A structural constraint in form of a lower limit on the deviation ratio of the graph vertices further improves the video summary. We also employ an information-theoretic pre-sampling where significant valleys in the mutual information profile of the successive frames in a video are used to capture more informative frames. Various video key frame visualization techniques for efficient video browsing and navigation purposes are incorporated. A comprehensive evaluation on 100 videos from the Open Video and YouTube databases using both objective and subjective measures demonstrate the superiority of our key frame extraction method.     

基于内容的视频分析技术研究

视频数据分析处理是实现基于内容的视频检索的一项关键技术,它直接影响到视频特征匹配和检索的精度。从分析视频数据的结构和特点出发,总结了基于内容检索的视频处理方法的一般过程,即视频分割、关键帧选取、静态和动态特征提取以及视频聚类等。对基于内容视频分析中的关键技术进行了深入的探讨研究,分析了各种方法的优缺点并介绍了一些新的方法,最后提出了一些值得进一步研究的问题。     

Long transition analysis for digital video sequences

Video indexing is a technique used to extract objects within a video sequence and index them so that they can be used for future retrieval. In many video sequences, special effects such as fade and wipe are incorporated, and in some cases, it is desirable to be able to include objects within such effects for indexing. In this paper, we introduce an automatic process that determines the type of transition and extracts information from it, so that this information can be used in object extraction. Such a process consists of four stages: shot boundary refinement, shot type determination, frame reconstruction for soft transitions, and shot classification for hard transitions. In this paper, we will give the implementation, timing, and performance analysis for each stage. Long transition analysis bridges the gap between shot boundary detection and object tracking and smoothes the process of automatic video indexing for video databases.     

A heuristic for the retrieval of objects in video in the framework of the rough indexing paradigm

In this paper, we tackle the problem of matching of objects in video in the framework of the rough indexing paradigm. In this context, the video data are of very low spatial and temporal resolution because they come from partially decoded MPEG compressed streams. This paradigm enables us to achieve our purpose in near real time due to the faster computation on rough data than on original full spatial and temporal resolution video frames.In this context, segmentation of rough video frames is inaccurate and the region features (texture, color, shape) are not strongly relevant. The structure of the objects must be considered in order to improve the robustness of the matching of regions. The problem of object matching can be expressed in terms of region adjacency graph (RAG) matching.Here, we propose a directed acyclic graph (DAG) matching method based on a heuristic in order to approximate object matching. The RAGs to compare are first transformed into DAGs by orienting edges. Then, we compute some combinatoric metrics on nodes in order to classify them by similarity. At the end, a top-down process on DAGs aims to match similar patterns that exist between the two DAGs.The results are compared with those of a method based on relaxation matching.     

Interactive key frame selection model

Video summarization can provide a fine representation of the content of video stream and reduce a large amount of data involved in video indexing, browsing, and retrieval. Moreover, Key frame selection is an important step in the research of content-based video analysis and retrieval. Although there exist a variety of methods for key frame selection, they are heuristic and closed systems, which cannot dynamically generate video summary with user’s preference. In this paper, an M-estimator and epipolar line distance constraint camera motion estimation algorithm is introduced as camera parameters is an important motion feature for key frame selection, and Broyden-Fletcher-Goldfarb-Shanno (BFGS) method is applied to optimize estimated parameters. Moreover, since Interactive Computing is a novel-computing model that represents the transition of algorithm to interaction, an interactive model of key frame selection (IKFS) is presented as a result of improving the model of key frame selection (KFS). The model of KFS and IKFS are proved to satisfy the criterion of induction and coinduction, respectively. Experimental results show that the processing scheme generates flexible and desirable summarizations whose distortion rate is lower than current method. Above all, IKFS is an extension to KFS.     

利用视频帧块的高效半盲鲁棒水印算法

针对视频水印算法鲁棒性差或需过多先验信息提高鲁棒性的问题,提出利用视频帧块、KAZE特征匹配和DCT变换方法实现半盲鲁棒视频水印算法。首先,利用用户注册信息作为水印并为之产生唯一的秘钥,基于该秘钥随机产生唯一的帧块并存入数据库;然后,将帧与帧块进行KAZE特征匹配并检测出嵌入区域,进而嵌入水印;最后,将帧块与扭曲视频进行KAZE匹配修正视频各帧并提取水印。仿真试验结果显示,在半盲的前提下,本算法具有高鲁棒性、水印提取过程同步性、版权纠纷解决和非法传播追踪的优点,且具有高应用价值。     

基于内容的视频镜头的分类

论文在研究了视频关键帧选取和特征提取技术的基础上,提出了一种基于内容的视频镜头分类方法,并将其应用于动漫/真人的视频镜头的分类,以检验所提方法的性能。实验首先提取了视频的语义特征,接着使用互信息对特征的有效性进行分析,最后使用支持向量机作为分类器,对特征分析的结果进行验证。