基于卷积神经网络的多模态视频场景分割优化算法

针对基于内容的视频检索中场景分割效率有待提高的问题,提出了一种基于卷积神经网络提取特征的多模态视频场景分割优化算法。首先利用改进的VGG19网络从视频镜头中提取多种模态的底层特征和语义特征,再将这些特征组成向量,然后通过三重损失学习与镜头相似度计算等方法,使场景分割问题转换为对镜头边界的二分类问题,最后建立评分机制优化所得结果,获取分割好的视频场景及对应的场景边界,完成场景分割任务。实验结果表明,该算法能对视频场景进行有效分割,整体查全率与查准率分别能达到85.77%、87.01%。     

信息论联合聚类算法及其在视频镜头聚类中的应用

视频镜头自动聚类是基于内容索引与检索领域中的重要研究课题．以往相关工作,缺乏考虑描述镜头内容的特征与特征间存在关联性以及关联特征对镜头相似性度量和镜头聚类性能带来的影响．为提供更合理的镜头相似性度量,该文基于信息论联合聚类算法,将特征关联性挖掘和镜头聚类描述为彼此依附的同步优化过程．同时,为自动估计视频中镜头类别数,文中还提出基于贝叶斯信息准则的类别数估计算法．     

空域和频域联合特征挖掘的无参视频质量评价

针对视频压缩等处理导致视频失真的问题,通过对视频质量感知特征的分析,提出一种空域和频域联合特征挖掘的无参考视频质量评价方法。该方法主要提取了空域和频域联合感知特征,包括灰度-梯度共生矩阵、空间熵、谱熵、相关熵以及自然指数特征。在提取视频特征的过程中,通过计算视频帧特征方差来表示整个视频的特征,比传统方法中取视频帧平均值更有利于区分不同失真类型的视频。最后,使用支持向量回归模型构建了感知特征与视频质量之间的关系。该方法在LIVE和IVP 视频数据库上的实验结果表明,提出的方法相较当前文献报道方法,有着更好的性能。     

ClassView: hierarchical video shot classification, indexing, and accessing

Recent advances in digital video compression and networks have made video more accessible than ever. However, the existing content-based video retrieval systems still suffer from the following problems. 1) Semantics-sensitive video classification problem because of the semantic gap between low-level visual features and high-level semantic visual concepts; 2) Integrated video access problem because of the lack of efficient video database indexing, automatic video annotation, and concept-oriented summary organization techniques. In this paper, we have proposed a novel framework, called ClassView, to make some advances toward more efficient video database indexing and access. 1) A hierarchical semantics-sensitive video classifier is proposed to shorten the semantic gap. The hierarchical tree structure of the semantics-sensitive video classifier is derived from the domain-dependent concept hierarchy of video contents in a database. Relevance analysis is used for selecting the discriminating visual features with suitable importances. The Expectation-Maximization (EM) algorithm is also used to determine the classification rule for each visual concept node in the classifier. 2) A hierarchical video database indexing and summary presentation technique is proposed to support more effective video access over a large-scale database. The hierarchical tree structure of our video database indexing scheme is determined by the domain-dependent concept hierarchy which is also used for video classification. The presentation of visual summary is also integrated with the inherent hierarchical video database indexing tree structure. Integrating video access with efficient database indexing tree structure has provided great opportunity for supporting more powerful video search engines.     

基于语义信息提取的新闻视频场景分割方法

随着数字视频的广泛应用,视频数据库系统已成为多媒体领域的一个研究热点。在建立视频数据库的过程中,视频场景的分割是一个重要而又难以解决的问题。文章从分析新闻视频场景所特有的结构特征入手,提出了一种基于语义信息提取的新闻视频场景分割新方法,该方法通过对音频流和视频流中的镜头变换、主持人镜头、主题字幕和静音区间等语义信息的提取和分析来实现新闻视频场景的分割。实验表明,采用该文提出的方法,场景分割正确率可达86.9%,较好地解决了新闻视频场景分割问题。     

多特征综合的视频拷贝检测

基于内容的视频拷贝检测是多媒体领域的一个研究热点.由于拷贝变换的多样性和综合性,单一特征难以获得很好的检测效果.提出一种多特征综合的方法来提高视频拷贝检测的效果.除了使用传统的局部和全局视觉特征外,还使用非正交二值子空间(NBS)方法来表示视频内容,并在其基础上使用归一化互相关(NCC)来提高拷贝视频内容相似度计算的效果.在此基础上,还采用多种措施对拷贝视频的判定结果进行精化.实验结果表明,该套方案对多种拷贝变换具有很强的鲁棒性,并且能够得到很好的检测精度.     

基于多模态融合的城市道路场景视频描述模型研究

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一。针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的交互性,提出了一种新的基于Transformer的视频描述模型多模态注意力瓶颈视频描述（multimodal attention bottleneck for video captioning,MABVC）。首先使用预训练好的I3D和VGGish网络提取视频的视觉和音频特征并将提取好的特征输入到Transformer模型当中,然后解码器部分分别训练两个模态的信息再进行多模态的融合,最后将解码器输出的结果经过处理生成人们可以理解的文本描述。在通用数据集MSR-VTT、MSVD和自建数据集BUUISE上进行对比实验,通过评价指标对模型进行验证。实验结果表明,基于多模态注意力融合的视频描述模型在各个指标上都有明显提升。该模型在交通场景数据集上依旧能够取得良好的效果,在智能驾驶行业具有很大的应用前景。     

基于空时变换网络的视频摘要生成

视频摘要生成是计算机视觉领域必不可少的关键任务,这一任务的目标是通过选择视频内容中信息最丰富的部分来生成一段简洁又完整的视频摘要,从而对视频内容进行总结.所生成的视频摘要通常为一组有代表性的视频帧（如视频关键帧）或按时间顺序将关键视频片段缝合所形成的一个较短的视频.虽然视频摘要生成方法的研究已经取得了相当大的进展,但现有的方法存在缺乏时序信息和特征表示不完备的问题,很容易影响视频摘要的正确性和完整性.为了解决视频摘要生成问题,本文提出一种空时变换网络模型,该模型包括三大模块,分别为：嵌入层、特征变换与融合层、输出层.其中,嵌入层可同时嵌入空间特征和时序特征,特征变换与融合层可实现多模态特征的变换和融合,最后输出层通过分段预测和关键镜头选择完成视频摘要的生成.通过空间特征和时序特征的分别嵌入,以弥补现有模型对时序信息表示的不足;通过多模态特征的变换和融合,以解决特征表示不完备的问题.我们在两个基准数据集上做了充分的实验和分析,验证了我们模型的有效性.     

基于纹理和灰度差分相结合的运动检测

运动目标检测在智能监控系统和交通检测系统中发挥着极其重要的作用,是视觉系统中的一个重要研究课题。文章提出了一种新的思路,利用图像的纹理信息,并结合图像的灰度差分,对运动图像进行分割,从而检测出运动目标。     

A closed-form solution to video matting of natural snow

In this paper, we address the problem on video matting of natural snow in snowing context. By optical features of natural snow and the continuity of a video, we design a suitable temporal filter to recover the background of the video and compute the approximate matte gradient. Using two types of information obtained, we first propose a closed-form solution to video matting of natural snow.     

H.264解码中反变换的硬件实现及仿真

新一代视频编码标准H．264为了提高编码效率而采用了一系列新技术,而新技术的使用也极大增加了算法的复杂度。针对目前视频解码时采用软件方法对CPU资源占有率过高的问题,提出了一种用硬件＋微代码的方式实现解码中整数IDCT变换的设计方案。对设计结果,进行了功能和时序的仿真,证明了设计方案的正确性及可行性。在硬件主频大于150MHz时,完全可以对视频进行实时解码。从而提供了一套可供参考的对视频解码算法进行优化及仿真验证的方法。     

面向视频冷启动问题的点击率预估

视频的点击率预估是视频推荐系统中的重要任务之一,推荐系统可以根据点击率的预估调整视频推荐顺序以提升视频推荐的效果.近年来,随着视频数量的爆炸式增长,视频推荐的冷启动问题也变得愈发严重.针对这个问题,提出了一个新的视频点击率预估模型,通过使用视频的内容特征以及上下文特征来加强视频点击率预估的效果;同时,通过对冷启动场景的模拟训练和基于近邻的替代方法提升模型应对新视频点击率预估的能力.提出的模型可以同时对旧视频和新视频进行点击率预估.在两个真实的电视剧（Track_1_series）和电影（Track_2_movies）点击率预估数据集上的实验表明：提出的模型可以显著改善对旧视频的点击率预估性能,并在两个数据集上均超过了现有的模型;对于新视频,相比于不考虑冷启动问题的模型只能获得0.57左右的AUC性能,该模型在两个数据集上分别获得0.645和0.615的性能,表现出针对冷启动问题更好的鲁棒性.     

基于事件流的新闻视频场景分割方法

在视频数据库研究领域，视频场景的分割是一个重要而又难以解决的问题。文中从分析新闻视频场景所特有的结构特征入手，提出一种基于事件流的新闻视频场景分割方法。实验表明，采用该方法场景分割正确率可达86．9％。     

相似动画视频片段探测方法

为了实现相似视频片段的快速探测,以动画视频片段为研究对象,提出一种建立在视频单元层上的动画视频片段探测方法.在视频特征描述阶段,采用更符合动画图像的Markov平稳特征来描述动画视频帧的视觉特征,并利用视频距离轨迹(VDT)来挖掘视频片段特征,同时采用线性拟合特征的描述方法来描述VDT的特征;在特征匹配阶段,将视频片段匹配问题转换为网络流优化的问题,通过将视频单元的时间一致性嵌入到匹配网络中来寻找最佳对齐方式,大幅度减少了匹配的数据量.实验结果表明,该方法极大地改善了相似视频片段的探测效果,与传统的视频匹配方法相比,其具有更好的鲁棒性以及更高的效率.     

Shot Partitioning Based Recognition of TV Commercials

Digital video applications exploit the intrinsic structure of video sequences. In order to obtain and represent this structure for video annotation and indexing tasks, the main initial step is automatic shot partitioning. This paper analyzes the problem of automatic TV commercials recognition, and a new algorithm for scene break detection is then introduced. The structure of each commercial is represented by the set of its key-frames, which are automatically extracted from the video stream. The particular characteristics of commercials make commonly used shot boundary detection techniques obtain worse results than with other video content domains. These techniques are based on individual image features or visual cues, which show significant performance lacks when they are applied to complex video content domains like commercials. We present a new scene break detection algorithm based on the combined analysis of edge and color features. Local motion estimation is applied to each edge in a frame, and the continuity of the color around them is then checked in the following frame. By separately considering both sides of each edge, we rely on the continuous presence of the objects and/or the background of the scene during each shot. Experimental results show that this approach outperforms single feature algorithms in terms of precision and recall.     

基于多特征的视频场景分类*

针对视频检测效率低下问题,提出了一种基于多特征融合及特征阈值的视频场景分类方法—阈值判定分类法。首先,提取场景视频的平均关键帧。然后,根据其结构化特征以及不同空间结构对场景识别的贡献度对平均关键帧进行划分与重组,得到感兴趣区域及次感兴趣区域;接着,分别提取这两个区域的场景特征,并利用多特征融合技术分别得到两者的综合特征。最后,根据综合特征并利用特征阈值,进行场景动态分类。实验结果表明,该方法充分利用了视频的结构化特征,实验准确率达到80%,在一定程度上证明了该分类方法的有效性。     

一种集成数据挖掘的自动视频分类方法

针对自动视频分类工作中分类预测精度低的问题，提出了一种集成数据挖掘技术的自动视频分类方法。首先进行视频分割，形成了一个视频属性数据库；然后分别使用决策树、分类关联规则等技术对视频属性数据库进行数据挖掘，提取出决策树分类规则集和分类关联规则集；最后利用一个规则集的合并裁减算法来合并这两个分类预测规则集，形成最终的具有更高精度的视频分类规则集。通过实验验证了决策树分类预测规则和分类关联规则具有分类预测的一致性；同时实验表明，使用合并后的规则集比单独使用一个规则集来预测视频具有更高的预测准确率。     

DiamondHelp: a new interaction design for networked home appliances

Ordinary people already have great difficulty using the advanced features of digitally enhanced household products, and the problem is getting worse as more features are continually being added. This usability problem cannot be solved using only the tiny displays and limited control buttons typically found on home appliances. By using a home network to share a larger and more powerful display, we can provide a new type of collaborative interface in which the product actively helps the user, especially with complex features that are only occasionally used. In this design competition prospectus, we concentrate on the key design principles underlying DiamondHelp. The generic DiamondHelp architecture has been implemented in Java; a prototype live demonstration similar to one of the animated simulations is currently under development. Please note: An interaction design is better explained using video than words and still pictures. Peter Thomas has therefore kindly agreed that the judges will review our video presentation, which may be found at http://www.merl.com/pub/diamondhelp.mov. This is a 10 min (2.8 MB) animated QuickTime movie with sound track. To download a free QuickTime player, visit http://quicktime.apple.com. Please view the video before reading this paper!     

基于内容的视频拷贝检测研究

提出基于图的视频拷贝检测方法,该方法将视频序列匹配结果转换为匹配结果图,进而将视频拷贝检测转换成在匹配结果图中查找最长路径的问题。实验结果显示基于图的序列匹配算法拷贝定位准确度高,可弥补图像底层特征描述力不足的缺陷,节约检测时间,批量定位2段视频序列中可能存在的多段拷贝。     

基于改进分块颜色特征和二次提取的关键帧提取算法

关键帧提取技术是视频摘要、检索、浏览和理解中的一项重要技术。目前关键帧提取算法存在一些问题,例如特征选择复杂、阈值选择难、自适应性不强等。为了更有效地提取视频关键帧,提出了一种基于改进分块颜色特征和二次提取的关键帧提取算法。首先,对视频帧进行等面积矩形环划分;其次,提取矩形环的HSV量化颜色特征,并由帧图像中心到外依次减小每个矩形环特征的权值以突出图像主体部分;然后,依据相邻视频帧间特征的显著性变化初步选取关键帧;最后,依据初次提取的关键帧在视频中的位置间隔大小进行二次提取优化关键帧。实验结果表明,该方法具有良好的适应性,同时能够有效避免因镜头有突然闪光或物体快速运动而提取过多的关键帧,最终提取的关键帧能够比较全面准确地表达视频内容。