基于时序上下文的视频场景分类

以传统的词袋模型为基础,根据相邻镜头关键帧之间具有相关性的特点提出了一种用于视频场景分类的模型。将视频片段进行分割,提取关键帧,对关键帧图像归一化。将关键帧图像作为图像块以时序关系合成新图像,提取新图像的SIFT特征及HSV颜色特征,将图像的SIFT特征及HSV颜色特征数据映射到希尔伯特空间。通过多核学习,选取合适的核函数组对每个图像进行训练,得到分类模型。通过对多种视频进行实验,实验结果表明,该方法在视频场景分类中能取得很好的效果。     

一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于多特征相似度曲线曲率检测的关键帧提取

网络多媒体的迅猛发展和普及使得对海量视频信息进行快速和低成本管理的需求日益迫切,而关键帧可以大大减少视频索引的数据量,同时也为查询和检索视频提供了一个组织框架。针对现有关键帧提取算法存在的特征选取单一、阈值选择困难和视频类型局限性等问题,提出了一种基于多特征相似度曲线最大曲率点检测的关键帧提取方法。算法利用多特征融合的相似性度量来捕获视频内容的显著变化,弥补了单一特征对视频内容描述不充分的不足,且基于滑动窗口的检测算法无需阈值选择,可以实时、局部地提取关键帧,解决了传统算法计算量大、通用性差的问题。最后通过实验利用一种保真度评估标准验证了该算法的有效性。     

一种道路车辆监控视频中的关键帧提取方法

针对道路监控视频中特定车辆图像序列的关键帧提取问题,在运动对象检测的基础上,提出一种关键帧提取方法。将积分通道特征和面积特征作为图像特征描述子,结合Ada Boost训练分类器,实现道路监控视频车辆序列图像中关键帧的提取。通过运动对象前景检测技术获得出现在监控区域的运动车辆最小外接矩形图像序列,选择满足监控分析需求(车牌清晰度高,能判断车型)的若干帧作为正样本,其他不满足监控分析需求的作为负样本,提取样本图像的面积特征和积分通道特征,利用Ada Boost方法训练得到一个分类器,使用Ada Boost分类器对测试样本进行分类,根据打分规则提取关键帧。实验结果表明,该方法能提取运动车辆从进入到离开监控区域的序列图像帧中最清晰的图像,实现道路车辆监控视频分析数据的有效压缩。     

基于内容的视频检索的关键帧提取

关键帧提取是基于内容的视频检索中的一个重要技术。本文在总结前人的工作基础上,提出了一种利用视频帧之间互信息量算法来提取关键帧的方法。该方法结合两个连续图像帧的特征互信息量的变化关系来提取关键帧,并与视频聚类的关键帧提取方法进行了比较。实验结果表明,利用该方法提取的关键帧能较好地代表镜头内容且提取关键帧的速度比视频聚类的关键帧提取方法快。     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

基于关键帧特征库统计特征的双人交互行为识别

针对双人交互行为识别算法中普遍存在的算法计算复杂度高、识别准确性低的问题,提出一种新的基于关键帧特征库统计特征的双人交互行为识别方法。首先,对预处理后的交互视频分别提取全局GIST和分区域方向梯度直方图（HOG）特征。然后,采用k-means聚类算法对每类动作训练视频的所有帧的特征表示进行聚类,得到若干个近似描述同类动作视频的关键帧特征,构造出训练动作类别对应的关键帧特征库;同时,根据相似性度量统计出特征库中各个关键帧在交互视频中出现的频率,得到一个动作视频的统计直方图特征表示。最后,利用训练后的直方图相交核支持向量机（SVM）,对待识别视频采用决策级加权融合的方法得到交互行为的识别结果。在标准数据库测试的结果表明,该方法简单有效,对交互行为的正确识别率达到了85%。     

基于改进的K-means法的高分辨率遥感影像道路提取

针对高分辨率遥感影像中道路提取存在的特征利用问题,提出一种基于改进的K-means算法的道路提取方法。首先根据遥感影像的具体场景进行相应的预处理;在此基础上,利用改进的K-means算法融合道路的光谱特征和纹理特征对图像进行分类,得到初始道路区域;然后利用道路的几何特征滤除非道路区域;最后采用数学形态学方法完善道路信息,得到最终结果。实验结果表明,该方法能实现复杂场景中道路提取,并拥有较好的效果。     

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。     

基于半监督特征融合的监控视频场景识别研究

针对单模态特征条件下监控视频的场景识别精度与鲁棒性不高的问题,提出一种基于特征融合的半监督学习场景识别系统。系统模型首先通过卷积神经网络预训练模型分别提取视频帧与音频的场景描述特征;然后针对场景识别的特点进行视频级特征融合;接着通过深度信念网络进行无监督训练,并通过加入相对熵正则化项代价函数进行有监督调优;最后对模型分类效果进行了仿真分析。仿真结果表明,上述模型可有效提升监控场景分类精度,满足针对海量监控视频进行自动化结构化分析等公安业务需求。     

An approach for moving object recognition based on BPR and CI

A recognition and classification method of multiple moving objects in traffic based on the combination of the Biomimetic Pattern Recognition (BPR) and Choquet Integral (CI) is proposed. The recognition process consists of three stages. At the first stage, vehicles and pedestrians are detected in video images and the area, the shape and the velocity features are obtained by classical methods. At the second stage, BPR is used to classify the Zernike moments extracted at the first stage. At the last stage, CI is then adopted for multi-features fusion based on the output of BPR, and the area and the velocity features obtained at the first stage to improve the recognition accuracy. Experiment results show that this approach is efficient.     

核典型相关分析算法的多特征融合情感识别

为了提高情感识别的正确率,针对单模情感特征及传统特征融合方法识别低的缺陷,提出了一种核典型相关分析算法(KCCA)的多特征(multi-features)融合情感识别方法(MF-KCCA)。分别提取语音韵律特征和分数阶傅里叶域表情特征,利用两种特征互补性,采用KCCA将它们进行融合,降低特征向量的维数,利用最近邻分类器进行情感分类和识别。采用加拿大瑞尔森大学数据库进行仿真实验,结果表明,MF-KCCA有效提高了语音情感的识别率。     

Key Frame Extraction of Surveillance Video based on Moving Object Detection and Image Similarity

For the traditional method to extract the surveillance video key frame, there are problems of redundant information, substandard representative content and other issues. A key frame extraction method based on motion target detection and image similarity is proposed in this paper. This method first uses the ViBe algorithm fusing the inter-frame difference method to divide the original video into several segments containing the moving object. Then, the global similarity of the video frame is obtained by using the peak signal to noise ratio, the local similarity is obtained through the SURF feature point, and the comprehensive similarity of the video image is obtained by weighted fusion of them. Finally, the key frames are extracted from the critical video sequence by adaptive selection threshold. The experimental results show that the method can effectively extract the video key frame, reduce the redundant information of the video data, and express the main content of the video concisely. Moreover, the complexity of the algorithm is not high, so it is suitable for the key frame extraction of the surveillance video.     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

LHMM熵的聚众事件实时检测

提出一种结合分层隐马尔科夫模型(LHMM)与熵值的聚众事件实时检测方法。使用长宽比消除前景中其他物体的影响,以区域中的人数和总速度为观察值,分2层训练出聚众事件的LHMM。当观察值序列与模型的相似度大于设定阈值时,利用光流法计算该帧熵值,若熵值大于设定阈值,则表示发生聚众事件;否则,为非聚众事件,继续下一帧的处理。实验结果表明,该方法具有较高的识别率和较好的鲁棒性。     

面向矿山监管的无人机视频关键帧影像动态提取方法

为满足对露天煤矿违法开采实时监测需求,提出了一种基于无人机瞬时航飞速度的视频关键帧影像动态提取方法。首先对无人机采集的视频影像进行预处理,提取视频影像中无人机瞬时飞行速度、飞行航高等信息;然后基于提取的相关信息加权化处理并结合相机参数进行计算,得出抽取关键帧所需的动态间隔,再对关键帧时间间隔进行加权和阈值约束处理,提取出关键帧的动态时差。实例验证表明,采用该方法提取的关键帧影像进行矿区三维重建,在保证三维场景的同时有效提高了数据处理速度,且比等时差法用时缩短了近5倍,显著提高了三维重建的效率。     

基于C3D的足球视频场景分类算法

足球视频整场比赛持续时间较长,许多视频内容并非广大观众的兴趣所在,因此足球视频场景分类成为了近几十年来研究界的一项重要课题,许多机器学习方法也被应用于这个课题上.本文提出的基于C3D （三维卷积神经网络）的足球视频场景分类算法,将三维卷积运用于足球视频领域,并通过实验验证了本文算法的可行性.本文实验的流程如下：首先,基于帧间差分法和徽标检测法检测法对足球视频场景切换进行检测,实现镜头分割.在此基础上,提取分割镜头的语义特征并将其进行标记,然后通过C3D对足球事件进行分类.本文将足球视频分为7类,分别为远镜头、中镜头、特写镜头、回放镜头、观众镜头、开场镜头及VAR （视频助理裁判）镜头.实验结果表明,该模型在足球视频数据集上的分类准确率为96%.