对象和关键帧相结合的监控视频摘要提取方法

参考了基于对象和基于关键帧的视频摘要技术,阐述了一种基于对象的视频摘要技术的主要方法流程,并在传统基于对象方法的基础上融入了改进的关键帧提取方法,以单个运动对象为目标进行视频空间上的压缩,通过实验验证,在不遗漏关键信息的前提下大幅度地减少了视频冗余信息,使用户可以在短时间内更加快速便捷地阅读视频监控内容,找出有用信息。同时提出了一种更为合理的视频摘要合成流程,为视频摘要领域的深入研究提供一定的参考。     

视频镜头关键帧重构算法及其在检索中的应用

提出一种利用重构的静态关键帧和动态关键帧来表示视频镜头内容的检索算法．该算法充分利用视频序列在时间轴上的特性构建静态关键帧,并利用三维小波变换构建动态关键帧,将运动信息和静态信息相结合以更好地反映视频序列的内容．实验结果表明,该算法的性能优于基于时域最大值关键帧的算法及其改进算法．     

基于长短期存储的聚合增强型煤矸石视频识别模型

采用煤矸石图像识别技术进行煤矸石识别会错过一些关键目标的识别。视频目标识别模型比图像目标识别模型更贴近煤矸石识别分选场景需求,对视频数据中的煤矸石特征可以进行更广泛、更有深度的提取。但目前煤矸石视频目标识别技术未考虑视频帧重复性、帧间相似性、关键帧偶然性对模型性能的影响。针对上述问题,提出了一种基于长短期存储（LSS）的聚合增强型煤矸石视频识别模型。首先,采用关键帧与非关键帧对海量信息进行初筛。对煤矸石视频帧序列进行多帧聚合,通过时空关系网络（TRN）将关键帧与相邻帧特征信息相聚合,建立长期视频帧和短期视频帧,在不丢失关键特征信息的同时减少模型计算量。然后,采用语义相似性权重、可学习权重和感兴趣区域（ROI）相似性权重融合的注意力机制,对长期视频帧、短期视频帧与关键帧之间的特征进行权重再分配。最后,设计用于存储增强的LSS模块,对长期视频帧与短期视频帧进行有效特征存储,并在关键帧识别时加以融合,增强关键帧特征的表征能力,以实现煤矸石识别。基于枣泉选煤厂自建煤矸石视频数据集对该模型进行实验验证,结果表明：相较于记忆增强全局-局部聚合（MEGA）网络、基于流引导的特征聚合视频目标检测（FG...     

融合非局部神经网络的行为检测模型

针对在视频行为检测中卷积神经网络(CNN)对时域信息理解能力不足的问题,提出了一种融合 非局部神经网络的行为检测模型。模型采用一种双分支的 CNN 结构,分别提取视频的空间特征和运动特征。 将视频单帧和视频连续帧序列作为网络输入,空间网络对视频当前帧进行 2D CNN 特征提取,时空网络采用融 合非局部模块的 3D CNN 来捕获视频帧之间的全局联系。为了进一步增强上下文语义信息,使用一种通道融合 机制来聚合双分支网络的特征,最后将融合后的特征用于帧级检测。在 UCF101-24 和 JHMDB 2 个数据集上进 行了实验,结果表明,该方法能够充分融合空间和时间维度信息,在基于视频的时空行为检测任务上具有较高 的检测精度。     

一种基于时空变化信息的视频内容检索方法

提出一种基于时空变化信息的视频内容检索方法.此方法以自适应变间隔关键帧选择策略提取镜头在时间域上的变化内容,采用时空注意力模型提取空域显著内容;然后对每一显著区域按Mpeg-7标准抽取相似纹理描述子、可扩展颜色描述子和基于轮廓的形状描述子,联合三低层视觉特征进行显著区域间的匹配度计算;最后提出用于视频检索的两镜头相似度匹配算法.对比实验表明该方法能有效进行基于内容的视频检索.     

基于目标时空上下文融合的视频异常检测算法

视频异常检测旨在发现视频中的异常事件,异常事件的主体多为人、车等目标,每个目标都具有丰富的时空上下文信息,而现有检测方法大多只关注时间上下文,较少考虑代表检测目标和周围目标之间关系的空间上下文。提出一种融合目标时空上下文的视频异常检测算法。采用特征金字塔网络提取视频帧中的目标以减少背景干扰,同时计算相邻两帧的光流图,通过时空双流网络分别对目标的RGB帧和光流图进行编码,得到目标的外观特征和运动特征。在此基础上,利用视频帧中的多个目标构建空间上下文,对目标外观和运动特征重新编码,并通过时空双流网络重构上述特征,以重构误差作为异常分数对外观异常和运动异常进行联合检测。实验结果表明,该算法在UCSD-ped2和Avenue数据集上帧级AUC分别达到98.5%和86.3%,在UCSD-ped2数据集上使用时空双流网络相对于只用时间流和空间流网络分别提升5.1和0.3个百分点,采用空间上下文编码后进一步提升1个百分点,验证了融合方法的有效性。     

基于向量空间模型的视频语义相关内容挖掘

对海量视频数据库中所蕴涵的语义相关内容进行挖掘分析，是视频摘要生成方法面临的难题。该文提出了一种基于向量空间模型的视频语义相关内容挖掘方法：对新闻视频进行预处理，将视频转化为向量形式的数据集，采用主题关键帧提取算法对视频聚类内容进行挖掘，保留蕴涵场景独特信息的关键帧，去除视频中冗余的内容，这些主题关键帧按原有的时间顺序排列生成视频的摘要。实验结果表明，使用该视频语义相关内容挖掘的算法生成的新闻视频具有良好的压缩率和内容涵盖率。     

基于隐马尔可夫模型的视频异常场景检测

视频技术的广泛应用带来海量的视频数据,仅依靠人力对监控视频中的异常进行检测是不太可能的。异常行为的自动化检测在公共安全等领域的地位极其重要。提出一种综合考虑目标特性和时空上下文的异常检测方法,该方法利用光流纹理图描述移动物体的刚性特征,建立基于隐马尔可夫模型HMM的时间上下文异常检测模型。在此基础上,提取异常目标的Radon特征,以支持向量机SVM的异常预分类结果为基础,通过HMM建立异常场景的空间上下文分类模型。该模型在公共数据集UCSD PED2上进行了实验验证,结果表明,本算法不仅在异常检测方面优于已有算法,而且还能给出异常分类。     

一种基于机器学习提取多类视频关键帧的方法

提出了一种不局限于视频种类的关键帧提取方法。这种基于机器学习提取视频关键帧的方法能有效地提取视频的关键部分。与以往传统的抽取关键帧方法相比,此方法不是针对某一类视频而设计的。为验证此方法,首先应用GIST描述符提取每幅图像的GIST特征,然后一个类稀疏模型来判断每幅图像的重要程度,最后选择具有高可靠得分的图像帧作为视频的关键帧,提取的关键帧将用于总结视频的主要内容。该方法仅需要一个模型来完成提取关键帧的工作,而不必为每一类视频都训练一个新模型。     

结合主成分分析和聚类的关键帧提取

关键帧提取技术,对基于内容的视频检索有着重要的作用。为了能从不同类型的视频里有效的提取关键帧,提出了一种新的关键帧提取算法。首先通过主成分分析法提取视频特征信息,然后根据视频内容的复杂度自适应获得聚类数以及聚类中心,通过k均值聚类得到视频关键帧。实验表明该算法能消除闪光灯的干扰,有效地找出代表视频主要内容,尤其是目标运动信息的关键帧。     

精细化辨识时空特征的视频隐写分析

视频隐写分析技术可以侦测出含有隐藏秘密信息的视频,为社会安全提供保障。视频除了含有图像内的空间信息,还蕴含着相邻帧图像之间的时间信息。针对这一特点,提出一种精细化辨识时空特征的视频隐写分析方法。该方法对视频在时间和空间维度的特征量进行精细化建模。采用Marcov对视频空间层次上的块内和块间过程进行建模,以提取空间特征量。利用差值分析视频时间层次上的变化,以提取时间特征量,并将时间和空间特征量输入到SVM模型中进行训练和检测。实际测试结果表明,该方法能够有效区分载密视频和非载密视频,对3 100段测试视频样本的检测准确率高达97.13%。     

Spatio-Temporal Modeling in Video and Multimedia Geographic Information Systems

The geographic application domain includes important information such as design plans, record drawings, photographs, and video data records. The corresponding geographic information systems (GISs) should maintain a specific model for each geographic data modality such as geographic video model for video records. Real-time 3-D geographic information systems provide comprehensive interface to complex and dynamic databases and truly immersive capability for visualizing geographic data. In cases, where information about location of geographic objects is needed at different moments of time, a GIS should process video data that is directly manipulated and retrieved through representation of its spatio-temporal characteristics. In this context, the most advanced multimedia form—digital video, finds an efficient application in GIS for versatile specification of geographic data. In this paper, a model for spatial data evolving with time is introduced in the context of video data manipulation. We designed a model that represents the spatio-temporal continuum among geographic objects in geographic video sequences, or digital video. The model developed here was motivated by the requirements for manipulating, managing, and analyzing geographic data for the necessities of infrastructure management, urban and regional planning, hazard prevention and management, transportation networks, vehicles routing, etc. This model allows the important issues for GIS such as conditions of adjacency (what is next to what), containment (what is enclosed by what), and proximity (how close one geographic object is to another) to be determined. Our model describes the spatial relationships among objects for each key frame in a given video scene, and the temporal relationships of the temporal intervals measuring the validity duration of the spatial relationships spanning over the given key frame. One of the main GIS issues—distance estimation, is solved as quantitative metrics of geographic objects in digital video are easily and precisely specified. This model is a basis for annotation of raw video for subsequent use in geographic video databases and digital libraries that provide access to and efficient storage of large volume of geographic data.     

基于时空域暗示的运动对象检测和分割*

通过对视频帧间的时域信息和帧内的空域信息的充分开发,提出一种任意视频对象检测与分割算法。初始的运动区域评估利用时间加权的时域帧窗,采用基于点的分割;而近似同质颜色亮度纹理区域利用区域之间的差异和区域内的相似,采用改进的分水岭分割和基于区域特征相似度的合并。时域和空域分割结果的合并基于多数原则。最后,分割结果的完善和修正基于时域的持续性和空域上的一致性标准。通过测试,提出的分割算法获得可靠的对象边界,而且通过调整少量参数,可以适应于室内和室外场景以及高速和低速运动物体。     

一种有效的基于时空信息的视频运动对象分割算法

为实现视频编码标准MPEG-4中语义对象的自动提取,提出一种基于时空信息的运动对象分割算法。在时域上通过双边加权累积帧差和分块高阶统计算法得到目标的运动区域检测模板,以在充分利用时域信息的同时提高算法的速度;在提取空域信息时,先对视频序列的灰度图进行对比度增强处理,然后利用自适应Canny算子获取准确的空间边缘信息;最后进行时空融合,用空域边缘信息修正过的时域运动模板来提取运动对象。实验结果表明,本算法可以快速准确地分割视频运动对象。     

(2+1)D多时空信息融合模型及在行为识别的应用

针对常规的卷积神经网络时空感受野尺度单一,难以提取视频中多变的时空信息的问题,利用（2+1）D模型将时间信息和空间信息在一定程度上解耦的特性,提出了（2+1）D多时空信息融合的卷积残差神经网络,并用于人体行为识别.该模型以3×3空间感受野为主,1×1空间感受野为辅,与3种不同时域感受野交叉组合构建了6种不同尺度的时空感受野.提出的多时空感受野融合模型能够同时获取不同尺度的时空信息,提取更丰富的人体行为特征,因此能够更有效识别不同时间周期、不同动作幅度的人体行为.另外提出了一种视频时序扩充方法,该方法能够同时在空间信息和时间序列扩充视频数据集,丰富训练样本.提出的方法在公共视频人体行为数据集UCF101和HMDB51上子视频的识别率超过或接近最新的视频行为识别方法.     

联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法

针对为解决视频监控中遮挡、背景物干扰,以及行人外观、姿势相似性等因素导致的视频行人重识别准确率较低的问题,提出了联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法。首先针对目标行人被干扰或部分遮挡的情况,采用了均等采样随机擦除（ESE）的数据增强方法来有效地缓解遮挡,提高模型的泛化能力,更准确地匹配行人;其次为了进一步提高视频行人重识别的精度,学习更有判别力的特征表示,使用三维卷积神经网络（3DCNN）提取时空特征,并在网络输出行人特征表示前加上全局时间特征池化层（GTFP）,这样既能获取上下文的空间信息,又能细化帧与帧之间的时序信息。通过在MARS、DukeMTMC-VideoReID 和PRID-2011三个公共视频数据集上的大量实验,证明所提出的联合均等采样随机擦除和全局时间特征池化的方法,相较于目前一些先进的视频行人重识别方法,具有一定的竞争力。     

基于视频深度学习的时空双流人物动作识别模型

深度学习在人物动作识别方面已取得较好的成效,但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作,提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征,接着融合这两个卷积神经网络并提取中层时空特征,最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上,进行视频人物动作识别实验。实验结果表明,所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。     

基于条件随机场的多时相遥感影像分类*

多时相遥感影像分类方法通常使用人工设置的转移矩阵作为时间上下文信息,这样不仅难以获得准确的转移矩阵,而且没有充分利用时间上下文信息。针对多时相遥感图像中的时间与空间上下文信息难以构建的问题,提出了一种基于条件随机场模型的多时遥感影像分类方法。首先运用最大期望算法生成用于描述时间上下文信息的时间势能,然后结合空间以及时间上下文信息构造了条件随机场模型,最后使用该模型对多时相遥感影像进行分类。一系列的实验结果表明,该方法可以有效提高遥感影像的分类精度。