基于动态规划的自适应关键帧提取算法

提出一种基于内容的视频检索系统的关键帧提取新算法,把关键帧提取问题建模为一个可以用动态规划算法隶解的全局优化问题.首先建立二值的帧差矩阵来表示低维特征空间中帧与帧之间的相似性度量,然后使用动态规划算法分割帧差矩阵从而提取出关键帧.该算法具有低计算复杂度和对于视频内容的自适应性,而且保持了关键帧的时间顺序.可以方便地根据需要调节关键帧数目.     

一种基于自适应关键帧的视频序列拼接方法

由于视频帧数量较大,视频序列拼接时容易造成拼接误差大、耗时较多,为有效解决此问题,提出一种基于自适应关键帧的视频序列拼接方法。将固定间隔采样帧作为关键帧并对其进行特征点提取,利用特征点匹配结合RANSAC鲁棒估计算法得到关键帧间单映矩阵,依此计算关键帧间重叠区域,按照重叠区域比例结合折半排序方法重新定位关键帧,将此关键帧作为基准帧,重复帧采样、重叠区域确定、定位后续所需关键帧过程,直至关键帧提取完毕,最后,利用级联单映矩阵和加权融合实现视频序列无缝拼接。实验验证了该方法的有效性。     

一种基于交互信息量的视频摘要生成方法

提出了一种基于交互信息量的视频摘要生成方法。该方法首先使用基于交互信息量的方法进行视频镜头检测,通过对检测到镜头帧的聚类提取镜头候选关键帧。然后对候选关键帧按照相邻帧间交互信息量的比较来提取镜头关键帧,最后将镜头关键帧按时序排列在一起形成视频摘要。试验表明,这种关键帧提取算法是有效的,其建立的视频摘要能较好的反映原视频的内容。     

基于吞噬聚类的关键帧提取新算法

为了有效、自适应地提取镜头中的关键帧,提出了一种基于吞噬聚类的关键帧提取新算法。该算法通过邻近吞噬体的互相吞噬,聚类相似的数据对象,最后所剩吞噬体的吞噬中心即为视频帧的聚类中心,距离聚类中心最近的特征向量所代表的视频帧就是所需要的镜头关键帧。对该算法利用MATLAB仿真并通过与传统算法对比,结果表明,相对于传统算法,该算法的查全率和查准率都有了一定程度的提高。     

基于视频序列的图像拼接

为消除视频序列之间的冗余信息,以简单的摘要形式表达视频的主要内容,提出了一种基于视频序列的图像拼接方法。首先,采用改进的帧间聚类算法提取视频的关键帧;其次,利用SIFT算法提取关键帧的特征点,采用最近邻算法进行特征点匹配,通过引导互匹配法和投票过滤法提高匹配精度;再次通过RANSAC鲁棒估计算法得到所选帧间的单映矩阵,并使用LM非线性迭代算法对单映矩阵进行精炼。最后,利用级联单映矩阵结合加权融合算法实现了视频序列的无缝拼接,实验效果较为理想。     

HEVC压缩域的视频摘要关键帧提取方法

为了提高关键帧提取的准确率，改善视频摘要的质量，提出了一种HEVC压缩域的视频摘要关键帧提取方法。首先，对视频序列进行编解码，在解码中统计HEVC帧内编码PU块的亮度预测模式数目。然后，特征提取是利用统计得到的模式数目构建成模式特征向量，并将其作为视频帧的纹理特征用于关键帧的提取。最后，利用融合迭代自组织数据分析算法(ISODATA）的自适应聚类算法对模式特征向量进行聚类，在聚类结果中选取每个类内中间向量对应的帧作为候选关键帧，并通过相似度对候选关键帧进行再次筛选，剔除冗余帧，得到最终的关键帧。实验结果表明，在Open Video Project数据集上进行的大量实验验证，该方法提取关键帧的精度为79.9%、召回率达到93.6%、F-score为86.2%，有效地改善了视频摘要的质量。      

一种新的冗余关键帧去除算法

在关键帧提取系统当中,初次提取出来的关键帧序列都存在冗余帧,即一些相同的关键帧。这些冗余的关键帧只能提供有限的信息,却需要占用很大的资源对其进行存储、建立索引以及其他操作。提出了一种结合图像底层颜色特征和图像结构信息的冗余帧去除算法。实验表明,该算法较以前的算法有更高的性能。     

基于聚类的视频镜头分割和关键帧提取

镜头分割是基于内容的视频检索和浏览首先要解决的关键技术。视频分割为镜头后,下一步的工作就是进行关键帧提取,用以描述镜头的主要内容。提出了一种改进的基于聚类的镜头分割和关键帧提取算法．在无监督聚类中引入一个参考变量,解决了利用无监督聚类进行镜头分割和关键帧提取时可能产生的帧序不连续或分割错误的问题。在关键帧提取阶段,将镜头分割为子镜头后,引入图像熵的概念提取关键帧。实验结果表明了改进算法在镜头分割和关键帧提取方面的有效性。     

基于灰度与关键帧光流检测的视频异常判断

视频监控系统在日常生活中日益普及，为了实现监控视频的智能分析，利用背景差分法检测并提取关注的前景目标，再结合光流算法分析目标的运动方向和强度，为了提升视频分析效率，先利用帧差欧几里得距离法计算帧与帧之间的相似度，提取视频序列的关键帧，并提出了一种运算量小检测效果较好的基于图像灰度化的背景差分法进一步提取关键帧的前景目标,最后用光流法计算得到目标的光流矢量和强度信息，为监控视频的异常判断提供依据。     

基于压缩感知和熵计算的关键帧提取算法

针对关键帧提取问题,提出了一种基于压缩感知理 论和熵计算的关键帧提取算法, 首先通过构造符合有限等距性质要求的稀疏随机投影矩阵,将高维多尺度帧图像特征变换为 低维多尺度帧图像特征, 并形成视频镜头低维多尺度特征列向量组;然后通过随机权值向量与低维多尺度特征向量的 阿达玛乘积运算生成各 帧图像的匹配特征,并根据匹配特征的相似性度量完成镜头内部的子镜头分割;最后通过交 叉熵计算在每个子镜头 中得到可能的关键帧,并由图像熵计算确定最终的关键帧。实验表明,与传统方法相比,本 文算法提取的关键帧能够更精确、更稳定描述视频镜头内容。     

级联手工特征与深度特征的视频关键帧检测方法

关键帧检测是有效的视频内容分析的关键环节。常用的基于手工特征的方法运行效率高但很难有效表征关键帧特征,因而性能不好。基于深度特征的方法因为网络结构复杂,导致效率不高。在体育比赛类视频中,关键帧常为比赛转播中镜头变化的最后一帧。但广播视频中除了包含比赛视频还包括很多其他类型的镜头如中场休息、渐变镜头等。因此检测最后一帧包含很多比赛无关内容。针对这一问题,本文提出了一种手工特征与深度特征相结合的视频关键帧检测方法。首先基于颜色直方图特征进行镜头边界检测获取最后一帧。进一步基于直方图相似性提出一种类似聚类的方法得到候选关键帧。最后,基于深度神经网络对候选关键帧进行分类,得到真正的关键帧。在冰壶比赛视频和篮球比赛视频上的对比实验结果表明,相对于传统的背景差分法、光流法等,本文提出方法能够快速、可靠地提取关键帧。      

基于压缩传感和EMD距离的视频镜头关键帧提取

关键帧提取是视频内容分析与检索技术的核心问题。提出一种基于压缩传感和EMD距离的关键帧提取方法,首先构造一个符合有限等距性质的稀疏矩阵,将帧高维特征投影到低维空间,然后通过计算帧低维特征之间的调节余弦相似度完成子镜头分割。在各子镜头中,利用EMD距离计算帧与子镜头中心的差异,并选择差异最小值所对应的帧作为该子镜头的关键帧。实验结果表明,该方法提取的关键帧能够对视频内容进行准确的描述。     

Video key frame extraction through dynamic Delaunay clustering with a structural constraint

Key frame based video summarization has emerged as an important area of research for the multimedia community. Video key frames enable an user to access any video in a friendly and meaningful way. In this paper, we propose an automated method of video key frame extraction using dynamic Delaunay graph clustering via an iterative edge pruning strategy. A structural constraint in form of a lower limit on the deviation ratio of the graph vertices further improves the video summary. We also employ an information-theoretic pre-sampling where significant valleys in the mutual information profile of the successive frames in a video are used to capture more informative frames. Various video key frame visualization techniques for efficient video browsing and navigation purposes are incorporated. A comprehensive evaluation on 100 videos from the Open Video and YouTube databases using both objective and subjective measures demonstrate the superiority of our key frame extraction method.     

基于关键帧和小波变换的盲视频水印算法

针对现有视频水印算法在抗几何攻击能力方面的一些不足,提出一种基于关键帧和小波变换的盲视频水印算法.依据视频帧间差欧氏距离提取视频关键帧并分块,结合人类视觉系统特性,从关键帧不同的块中选择亮度敏感性和纹理敏感性最高的块构成三维体块,进行三维小波变换,将置乱的水印图像以不同的嵌入强度嵌入到小波系数的低频区域,利用阈值门限实现水印的盲提取.结果表明,该算法提高了水印嵌入容量,对于针对视频水印的攻击具有较好的不可见性和稳健性.     

Side information refinement using motion estimation in dc domain for transform-based distributed video coding

The key to good decoding performance in distributed video coding systems lies in the efficient prediction of frames using side information. Previously, this process has been performed without considering the progressive nature of the synthesis of the final frame. Observing the fact that incorrectly predicted areas of the current frame can be detected at different levels of final frame synthesis, an algorithm is proposed for refinement of side information synthesis based on an additional stage of motion estimation. The additional stage is performed on correctly decoded DC frames and is used to significantly improve the motion prediction of the final resolution frames, which leads to enhanced performance of the overall system.     

基于图中心和自动阈值的关键帧提取方法

随着因特网的迅猛发展，迫切需要对越来越多的视频信息进行迅速且低成本的管理.而关键帧的使用可以大大减少视频索引的数据量，同时也为查询和检索视频提供了一个组织框架.文章中利用图与视频结构的相似性，将求关键帧的问题转化为求图的P中心问题;同时利用镜头之间的活动度不同，自动选取阈值.实验结果表明提取的关键帧集能够很好地表示镜头的主要内容，且有较低的计算复杂度。     

基于Open Pose的角色动作提取

文章利用基于OpenPose的人体姿态识别算法,将动画或者视频中的人物动作进行处理,实现对角色运动数据的捕获;采用基于运动捕捉数据的关键帧提取算法来获取角色运动的关键帧。实验结果表明,该方法具较高的识别准确率,并且能够提取出对原动画或视频具有概括力的关键帧。