基于多特征匹配的视频拷贝检测算法

针对已有的视频拷贝检测算法仅使用单一特征进行视频内容匹配,难以应对多种不同形式的拷贝变化的问题,提出一种基于多种视觉特征的视频拷贝检测算法.该算法采用级联式检测过滤框架,在提取视频帧图像的全局特征用于检测画面轻微变化的重复视频片段后,使用更精准的局部特征等来检测各种复杂变化后的拷贝内容.为在大规模数据库中实现快速检测,使用kd树型索引结构实现特征近邻检索.在标准评测数据集上的实验结果表明,文中算法对多种拷贝变化具有鲁棒性,并具有较高的检测效率.     

基于时空域特征的视频拷贝检测方法

提出一种仿射不变、紧致的视频时空域特征,并基于该特征进行视频拷贝检测。该方法着眼于宏观的特征同样可较好地表征视频,并且宏观特征更符合人类视觉的感知特点。首先将视频的若干连续帧堆叠成一个三维视频块;然后使用地形中分水岭的概念在视频块中检测出若干最大稳定极值块(MSEB);接着用一系列三维不变矩作为视频时空域特征来表征这些MSEB;最后,基于这些视频时空域特征来进行视频拷贝检测。实验表明,该方法与其它方法相比,检测精度和特征匹配速度均有大幅提升。     

基于ORB和灰度序特征的视频拷贝检测

针对目前数字视频版权保护问题,提出一种基于ORB (oriented FAST and rotated BRIEF)二值特征描述符局部特征和灰度序全局特征的视频拷贝检测方法.通过比较相邻视频帧灰度直方图的巴氏距离对视频进行镜头分割,将镜头的第一帧作为视频关键帧,提取其灰度序特征和ORB特征,利用灰度序特征对查询视频进行初次匹配,去除部分干扰视频,使用ORB特征对灰度序检测结果再次匹配,得到视频拷贝检测结果.实验结果表明,该方法在视频拷贝检测方面具有可行性和有效性,并且准确率和召回率均可达80％以上.     

基于时空轨迹行为特征的视频拷贝检测方法

互联网环境中大规模的视频拷贝检测面临拷贝变化多样性问题和数据量大的问题,需要使用鲁棒、精简的视觉特征.提出以视频连续帧中关键点的轨迹行为作为内容匹配的特征.关键点轨迹的运动行为不受拷贝变化的影响,利用其特征可以实现鲁棒性匹配.采用马尔可夫链模型建模轨迹的行为过程,将每条轨迹表示为一个25维的精简向量特征.使用时序一致性匹配方法定位视频拷贝的段落.在标准数据集上的对比实验证明:提出的算法在各种常见的拷贝变化下可以得到较高的检测精度,特征匹配的时空消耗低,对大规模的视频拷贝检测行之有效.     

基于视觉感知的时空联合视频拷贝检测方法

视频拷贝榆测在视频信息检索和版权保护等方面有着重要意义.文中依据视觉感知特性,认为现有的基于单帧的拷贝检测方法未充分利用视频的时空相关性,进而在利用这一重要特性进行拷贝检测方面进行了探讨.依据自然图像序列的时空相关性以及视觉系统对时空信息的感知特性,通过对时空切片单元块Sub进行DCT分析得到与视频内容相关的时空联合特征,并基于该特征提出视频拷贝检测算法.实验表明,文中所提出的视频拷贝检测方法对视频内容变化敏感而对相同内容视频格式上的变化鲁棒,表现出优于现有方法的性能.     

基于轨迹行为模式特征的视频拷贝检测算法

为了有效地利用视频的时域运动信息来提高视频拷贝检测的精度和鲁棒性,提出一种基于特征点轨迹行为模式的拷贝检测算法.首先从视频连续帧中提取特征点轨迹的行为模式特征,然后采用视觉关键词典技术构造视频的运动特征,最后基于运动特征的相似度进行视频拷贝检测.该算法在TRECVID标准数据集上取得了较高的检测精度.实验分析表明,基于轨迹的运动特征具有较强的描述区分能力,对各种常见的拷贝变化具有鲁棒性.     

基于张量的KFLD-SIFT与RVM模糊积分融合的人体行为识别方法

针对人体行为识别领域中视频序列的大样本及多特征问题,提出一种基于张量的核Fisher非线性鉴别(KFLD)-尺度不变特征变换(SIFT)与相关向量机(RVM)模糊积分融合的人体行为识别方法.该方法首先通过预处理视频序列得到二值视频,并采用三阶张量表示.然后针对大样本特征提出KFLD-SIFT局部特征提取算法,对不同初始尺度下的关键点周围的多特征降维,同时提出RVM模糊积分融合算法进行行为分类.最后应用4种经典评价指标及计算得到的平均识别率对比分析文中方法与其他相关方法的识别效果,数据采用KTH人体行为数据库中的视频,并采用三重交叉方法验证和测试.实验表明文中方法对多种行为取得较好的识别效果,平均识别率比其他主流方法至少提高2.3%.     

基于局部排序的视频拷贝检测

排序法是一种常用的视频拷贝检测方法.为获得更佳的检测性能,提出一种基于排序特征的视频拷贝检测方案.该方案将帧进行分块,并按照Hilbert曲线顺序分别计算曲线上相邻块的灰度关系排序特征,生成用于检测的哈希码;为了准确地在目标视频中定位可疑内容,提H{了哈希匹配方案,将序列相似度作为匹配的依据,并引入动态规划的方法提高匹配精度;最后构造了拷贝测试样本,并与传统的排序签名检测方案进行性能对比实验.结果表明,文中方案拥有较好的检测性能,适用于视频内容的拷贝检测.     

自动分割视频序列中运动物体的新算法：多特征联合方法

视频编码标准MPEG-4增加了适于多种应用的基于视频内容的功能,为了支持这一功能和提高编码效率,MPEG-4将视频序列中的每一帧分解成视频对象面(VOP);另外,由于基于内容的视频检索和视频监控系统均期望用分割出的关键视频对象紧致地表示一个序列,同时由于视频分割技术在模式识别、计算机视觉等领域也得到了广泛的应用,因此,分割视频运动物体并跟踪运动物体的变化变得至关重要.为了对视频中运动物体进行有效的分割,在帧差图象的基础上,采用Canny边缘检测和随机信号的高阶矩检测相结合的方法,来自动分割视频序列的前景区域和背景区域,并在前景区域中应用区域生长法进行颜色分割,以精确提取运动物体的边缘;还利用边缘和颜色特征来对分割出的运动物体建立模板,用于解决非刚体运动中局部暂时停止运动的情况.实验结果表明,此方法可以有效地分割运动物体,并能跟踪运动物体的变化.     

基于音频的视频拷贝检测

提出了一个兼具实时性和鲁棒性的短视频拷贝检测框架,并以长视频中的广告检测为应用进行研究.框架主要分为两个部分：1.基于音频匹配的短视频拷贝检测;2.基于图像的边界精确定位.第一阶段从原始视频中获得声谱图,并进一步地提取出音频特征并在音频库中寻找匹配;在第二阶段,对检测到的视频片段进行合并,然后利用视频片段在边界处附近的图像特征,对边界片段进行精确定位.实验结果显示,准确率高达99％,取得了很好的效果.     

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。     

多通道三维视觉指导运动想象脑电信号特征选择算法

针对基于三维视觉指导的运动想象脑机接口多通道冗余信息较多、分类准确率差的问题,提出了一种基于小波包分解（WPD）—共空间滤波（CSP）—自适应差分进化（ADE）的模式脑电信号特征提取与选择分类方法。首先,对采集的多通道运动想象脑电信号进行WPD变化,划分出精细的子频带;然后,分别将WPD变换后的每个子空间作为CSP的输入,得到对应的特征向量;最后,使用ADE算法对特征向量进行选择,选择出用于分类的最佳特征子集。采用WPD-CSP-ADE模式进行特征提取与选择,较经典的WPD-CSP方法在分类正确率、特征个数方面有着更好的表现。同时,所提算法分类性能明显优于遗传算法、粒子群算法。实验结果表明,WPD-CSP-ADE方法能够有效地提高分类正确率,同时减少了用于分类的特征个数。     

基于多级时空域3D卷积的换脸视频检测方法

近年来,视频换脸技术发展迅速。该技术可被用于伪造视频来影响政治行动和获得不当利益,从而给社会带来严重危害,目前已经引起了各国政府和舆论的广泛关注。本文通过分析现有的主流视频换脸生成技术和检测技术,指出当前主流的生成方法在时域和空域中均具有伪造痕迹和生成损失。而当前基于神经网络检测合成人脸视频的算法大部分方法只考虑了空域的单幅图像特征,并且在实际检测中有明显的过拟合问题。针对目前检测方法的不足,本文提出一种高效的基于时空域结合的检测算法。该方法同时对视频换脸生成结果在空域与时域中的伪造痕迹进行捕捉,其中,针对单帧的空域特征设计了全卷积网络模块,该模块采用3D卷积结构,能够精确地提取视频帧阵列中每帧的伪造痕迹;针对帧阵列的时域特征设计了卷积长短时记忆网络模块,该模块能够检测伪造视频帧之间的时序伪造痕迹;最后,根据特征分类设计特征网络金字塔网络结构,该结构能够融合不同尺寸的时空域特征,通过多尺度融合来提高分类效果,并减少过拟合现象。与现有方法相比,该方法在训练中的收敛效果和分类效果方面有明显优势。除此之外,我们在保证检测准确率的前提下采用较少的参数,相比现有结构而言训练效率更高。     

SSD与时空特征融合的视频目标检测

目的 视频目标检测旨在序列图像中定位运动目标,并为各个目标分配指定的类别标签。视频目标检测存在目标模糊和多目标遮挡等问题,现有的大部分视频目标检测方法是在静态图像目标检测的基础上,通过考虑时空一致性来提高运动目标检测的准确率,但由于运动目标存在遮挡、模糊等现象,目前视频目标检测的鲁棒性不高。为此,本文提出了一种单阶段多框检测（single shot multibox detector,SSD）与时空特征融合的视频目标检测模型。方法 在单阶段目标检测的SSD模型框架下,利用光流网络估计当前帧与近邻帧之间的光流场,结合多个近邻帧的特征对当前帧的特征进行运动补偿,并利用特征金字塔网络提取多尺度特征用于检测不同尺寸的目标,最后通过高低层特征融合增强低层特征的语义信息。结果 实验结果表明,本文模型在ImageNet VID （Imagelvet for video object detetion）数据集上的mAP （mean average precision）为72.0%,相对于TCN （temporal convolutional networks）模型、TPN+LSTM （tubelet proposal network and long short term memory network）模型和SSD+孪生网络模型,分别提高了24.5%、3.6%和2.5%,在不同结构网络模型上的分离实验进一步验证了本文模型的有效性。结论 本文模型利用视频特有的时间相关性和空间相关性,通过时空特征融合提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

相似动画视频片段探测方法

为了实现相似视频片段的快速探测,以动画视频片段为研究对象,提出一种建立在视频单元层上的动画视频片段探测方法.在视频特征描述阶段,采用更符合动画图像的Markov平稳特征来描述动画视频帧的视觉特征,并利用视频距离轨迹(VDT)来挖掘视频片段特征,同时采用线性拟合特征的描述方法来描述VDT的特征;在特征匹配阶段,将视频片段匹配问题转换为网络流优化的问题,通过将视频单元的时间一致性嵌入到匹配网络中来寻找最佳对齐方式,大幅度减少了匹配的数据量.实验结果表明,该方法极大地改善了相似视频片段的探测效果,与传统的视频匹配方法相比,其具有更好的鲁棒性以及更高的效率.     

基于特征强化与知识补充的视频描述方法

针对视频描述生成的文本质量不高与不够新颖的问题,本文提出一种基于特征强化与文本知识补充的编解码模型.在编码阶段,该模型通过局部与全局特征强化增强模型对视频中静态物体的细粒度特征提取,提高了对物体相似语义的分辨,并融合视觉语义与视频特征于长短期记忆网络(long short-term memory, LSTM);在解码阶段,为挖掘视频中不易被机器发现的隐含信息,截取视频部分帧并检测其中视觉目标,利用得到的视觉目标从外部知识语库提取知识用来补充描述文本的生成,以此产生出更新颖更自然的文本描述.在MSVD与MSR-VTT数据集上的实验结果表明,本文方法展现出良好的性能,并且生成的内容信息在一定程度上能够表现出新颖的隐含信息.