一种新的自适应的视频关键帧提取方法

针对目前关键帧提取存在的关键帧数目难以确定、对内容渐变的视频的处理效果欠佳和算法复杂等问题,文章提出一种自适应的视频关键帧提取方法,利用梯度方向直方图(histogram of oriented gradients,HOG)特征计算当前帧的代表性指标,初步选出候选关键帧,使用结合目标分割和颜色直方图的高级特征进行冗余度检查,最终确定关键帧集合。通过对大量包含各种场景的视频进行实验,结果表明使用该文算法提取的关键帧能更全面地表达视频的主要内容,尤其是处理内容渐变的视频时,效果更佳,并且能够根据视频的内容自适应地确定关键帧数目。     

基于时空切片的关键帧提取研究

关键帧提取技术是视频检索和视频摘要等领域的关键技术之一。针对现有关键帧提取方法缺乏时空特性分析,而且提取结果不符合人眼视觉感知,为此提出了一种新的关键帧提取方法。首先提取视频镜头的时空切片,然后对视频切片进行K均值聚类,最后根据视频的时间连续性,在每个类中提取关键帧。大量实验表明,本方法能捕捉视频的主要内容,以极低的冗余性反映视频的动态特性,符合人眼视觉感知。     

一种基于互信息量的关键帧提取方法

关键帧提取技术是视频分析和基于内容的视频检索的基础,关键帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一个组织框架.介绍了目前的关键帧提取技术,提出了一种基于互信息量的关键帧提取方法,实验证明该方法能较好地提取出视频序列的关键帧.     

遗传算法优化LVQ网络的监控视频关键帧内容识别

为解决监控视频检索中公安视频侦查关注目标的识别问题,提出一种基于遗传算法优化LVQ神经网络的关键帧内容识别方法。首先通过运动目标检测及二值图像的聚散熵,对监控视频进行子镜头划分,从而提取视频关键帧。其次归一化关键帧中的待识别目标,提取待识别目标的形状统计特征。再次构造LVQ网络并利用遗传算法对网络的初始权值进行优化,训练网络实现关键帧内容识别。最后列举出该方法的实验结果及性能分析。该方法在关键帧内容识别的准确性和鲁棒性上都有良好表现。     

一种基于MPEG-7颜色特征和块运动信息的关键帧提取方法

为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足,提出一种基于MPEG-7颜色布局特征匹配和块运动信息度量的关键帧选取方法。给出颜色布局特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法,并结合距离累加算法提取视频镜头关键帧。实验结果表明,本方法比基于图像综合特征关键帧提取方法检索性能有明显提高,不易产生冗余和漏检,提取的关键帧能够充分代表镜头的内容。     

一种新的视频镜头边界检测及关键帧提取方法

根据视频邻域片段变化的特点提出了镜头边界系数模型,镜头边界系数具有良好的抗噪能力,且对视频帧的时域变化有较好的描述能力,可用于镜头边界检测与关键帧提取.它可以单独检测镜头边界,也可以与传统的基于帧差的镜头边界检测方法相结合检测镜头边界.在提取关键帧时,根据镜头边界系数的分布,自适应地确定镜头内的关键帧数,用非极大值抑制方法与基于镜头边界系数的优先级方法确定关键帧的位置.实验结果表明,该方法在镜头边界检测性能上要优于已有的基于帧差的镜头边界检测方法,提取的关键帧对镜头的视觉内容具有较好的表达能力,且可在视频回放时实时执行.     

基于HOG-LBP特征和SVM分类器的视频摘要方法

为了提高视频摘要质量、高效地获取视频信息,提出了一种基于HOG-LBP特征和SVM分类器的视频摘要方法。首先,从分解到的视频序列中提取形状和纹理特征。其次,利用训练好的支持向量机对待检测图像进行分类,并将分类正确的帧暂定为关键帧。最后,运用图像余弦相似度方法剔除其中的冗余帧,并将最终保留下的关键帧按照原始视频中出现的时间顺序依次组合起来,形成视频摘要。实验结果表明,提出的算法在三个不同场景视频中提取关键帧的平均正确率达到94.08%,平均错误率仅为23.18%。算法提取到的关键帧准确率较高且内容具有代表性,视频摘要质量得到有效改善。     

面向手语识别的视频关键帧提取和优化算法

基于计算机视觉的手语识别技术可以为聋校的双语教学带来很大的便利,而手语识别技术的难点之一在于视频关键帧的提取.根据手语视频关键帧的特点和手语者的手语习惯,提出了一种面向手语识别的视频关键帧提取和优化算法.首先利用卷积自编码器提取视频帧的深度特征,对其进行K-means聚类,在每类视频帧中采用清晰度筛选取出最清晰的视频帧...     

动态时域检测窗口的快速关键帧提取方法

在镜头检测基础上对帧图像进行逐帧处理、分析,从而获取关键帧的方法导致提取速度较慢,无法满足实时性要求。针对上述缺点,提出动态时域检测窗口的快速关键帧提取方法。该方法通过时域检测窗口把视频序列分割成长度不等的单元,并对窗口左右边缘帧以及窗口内的抽样帧进行分析、对比,从而判断视频单元的内容变化。同时,采用窗口混合增长模式和窗口慢检测机制保证关键帧提取的质量和速度。最终,对提取的关键帧序列进行聚类,得到最优的关键帧。实验证明,对于不同类型的视频,该方法都具有较高的综合评价性能。     

基于场景的视频摘要生成方法

针对如何在语义层次上形成视频摘要问题,提出了一种基于场景的视频摘要生成算法.首先利用类内和类间损失对场景进行分类,然后根据语义概念"重要度"从镜头类和场景提取视频摘要的构成帧,最后将选取的关键帧根据时间顺序排序,构成静态浏览型的视频摘要.实验证明该方法可以用少量的视频帧有效地表示视频的主要内容,并能有效地保持视频内容的连续性.     

基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题.该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法.通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC‐GEP).实验证明该方法能较好的提取视频序列的关键帧.     

基于全拼图的体育视频结构的无监督挖掘

为实现对视频更为有效的浏览和摘要，提出了一个通用的体育视频结构的无监督挖掘的方法．对每一个镜头生成一个全拼图作为表征该镜头内容的图像．通过对全拼图的聚类和投票过程，该方法能挖掘出体育视频中的两个基本结构单元，即含有重要内容的play和不含重要内容的break.此方法主要解决了以下问题：利用全拼图提取鲁棒的视觉特征；同现有的有监督的体育视频结构分析方法相比，该方法能在无先验知识的情况下实现对play／break的挖掘．对几种不同体育视频进行的试验表明了该方法的有效性和鲁棒性．另外，同基于关键帧提取特征进行对比的试验结果也表明，此方法具有更好的准确性．     

基于视觉特征提取的压缩域在线视频摘要快速提取

为了在有限的时间内产生质量可接受的视频摘要以达到在线使用的要求,提出一种基于视觉特征提取(visual features extraction,VFE)的压缩域视频摘要快速提取方法.从每帧输入视频中提取视觉特征,采用零均值归一化交叉相关(zero mean normalized cross correlation,ZNCC)指标检测有相似内容的视频帧组,为每组选择代表性帧,运用2个量化直方图过滤所选择的帧,从而避免视频摘要中可能的冗余或无意义帧.在视频检索国际权威评测(TREC video retrieval evaluation,TRECVID) 2007数据集上的实验结果表明,与基于聚类的高斯混合模型、基于熵的模糊C均值聚类和关键帧提取方法相比,该方法提取的视频摘要质量更高,且在时间和空间复杂度上具有明显优势,适合在线实时处理.     

最优距离聚类和特征融合表达的关键帧提取

为了提高视频关键帧提取的质量和效率,提出一种基于最优距离聚类和特征融合表达的视频关键帧提取算法。在视频帧间差异性分析基础上,寻找并确定最优帧间距离阈值,采用无监督聚类算法对帧间距离进行聚类,获得类别数目最优的类图像集;计算图像的颜色复杂度和信息熵并融合,按照类中图像特征值"平均"的思想提取类代表帧,组成视频关键帧。对4个监测视频进行实验,结果显示:该算法提取关键帧的平均保真度为96.72%、平均压缩率为96.42%,运行时间也较短,与两种典型的基于聚类的关键帧提取方法相比,在相同的压缩率情况下,算法保真度大幅度提高,而运行时间较小或相当。该算法解决了无监督聚类对阈值的依赖性问题,兼顾了视频中运动目标变化和环境异常两种情况,具有良好的性能和适应性。     

一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

基于镜头内容的视频检索系统

针对已有检索系统的不足,设计并实现了一种基于镜头内容的视频检索系统.该系统在镜头边缘检测关键技术上,采用了一种基于相邻尺度小波变换乘积的镜头检测方法;在关键帧提取关键技术上,采用了一种基于多特征自适应阈值检测的关键帧提取方法,实现了对镜头内容的多层次描述,并且所选取的关键帧能够很好地反映视频内容.最后将研究方法通过检索平台进行了验证.     

基于自适应阈值的聚类算法提取关键帧研究

针对当前预先指定聚类算法阈值提取关键帧的问题,使用MPEG-7标准中的主颜色描述子对视频帧进行描述, 以镜头内相邻两帧的相似性测度为数据样本,自适应地确定聚类所需的阈值,并以该阈值去指导同类视频的关键帧提取,提高关键帧提取的效率.实验证明,该方法能较好的提取视频序列的关键帧.     

视频摘要系统的技术研究与实现

本文针对未进行后期编辑的视频序列设计了一个视频摘要系统.以视频帧图像的累积直方图来提取图像特征,有效地解决了光照的改变使镜头内直方图差异较大以及直方图对物体/摄像机的运动的鲁棒性有限两大问题,并结合了滑动窗口算法,有效地实现对视频序列的镜头边界检测.另外,本文还提出了一种基于镜头和图像内容的关键帧提取算法,降低计算的复杂度,并且提取的关键帧能更全面准确地体现原视频的内容.     

基于视觉注意力的视频水印算法

本文提出了一种基于视觉注意力模型的视频水印算法,视觉注意力模型可以从视频中提取出显著特征并找出显著点或者显著区。在基于视觉注意力的视频水印中,在Itti模型[1]的基础上加入运动特征,通过生成显著图的方法得到视频中每一帧的感兴趣区域(ROI)。将秘密信息隐藏在感兴趣区域外,避免引起人眼的注意,从而很好地保障秘密信息的不可见性。     

基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.