基于信息融合的二维视频深度提取方法

采用多种深度线索获取二维视频深度,可以提高视频深度提取效果.针对运动线索,通过块匹配运动估计算法获得帧间深度信息;针对帧内线索,采用Laws滤波器提取深度特征,然后利用马尔可夫随机场模型训练获得帧内深度信息;在此基础上,提出了基于信息融合的二维视频深度提取方法.该方法首先通过计算背景和运动区域的信息熵,然后利用模式识别中的Neyman Pearson准则确定视频帧的运动区域.针对该区域,在帧内深度信息获取的基础上,融合帧间深度信息.实验结果和真实深度比较,证实了该方法的有效性.     

超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法。首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得到其深度特征,通过元胞自动机使这些深度特征依自定义规则更新出粗略显著图,然后将梯度流场显著图与元胞自动机粗略显著图融合得到最终的显著图;最后,在ViSal数据集上、采用5种评估指标、与现有的4种方法进行对比实验,结果表明本文方法在动态视频图像显著性检测中有好的表现。     

基于剪切波融合的时空显著性检测

针对时空显著性框架的融合问题,提出了一种基于剪切波融合的时空显著性检测算法。先获取视频帧的空间和时间显著图,再分别对空间和时间显著图进行剪切波分解,获取系数。采用一定的机制融合对应的剪切波系数和尺度系数,通过剪切波逆变换,得到综合显著图,实现了视频的时空显著性检测。结果表明,该算法能够较好地利用空间和时间显著图提供的信息,对显著对象内部区域的标注能力更强,同时对空间和时间显著图携带的噪声具有更好的鲁棒性。     

基于C-V模型的运动目标水平集提取方法

针对视频图像中的运动目标检测问题,提出了一种基于C-V模型的运动目标水平集提取新方法：使用改进的帧间差分法对运动区域进行初始检测,通过相邻视频帧的相减,选用自适应阈值判断出当前视频帧中的运动目标像素;经形态学处理后通过定义最小化能量函数构建运动目标轮廓提取的水平集C-V模型,实现运动目标轮廓的提取。实验结果表明,本文所提方法的边缘准确率和检出率更高,能够更有效地提取运动目标。     

融合运动和空间关系特性的显著性区域检测

为了解决传统视觉显著性模型在复杂现实场景中容易失效的问题,提出了一种融合运动和空间关系特性的显著性检测方法.在颜色对比度的基础上,引入图像中目标的空间深度关系和运动特征.首先建立深度显著性模型,并使之与颜色显著性融合获得空域显著图;然后通过分析运动矢量得到运动特征显著性,并采用加性融合和乘性融合联合的方式计算出最终的显著图.实验分析建立在多个立体图像数据库之上,量化评价和视觉观测均表明:本方法可以有效地提取显著性区域,检测效果优于传统方法.     

基于视觉注意模型和互补性融合的关键帧提取

利用视觉注意模型提取的视频关键帧,不能全面地表达视频内容,针对这一问题,提出了基于视觉注意模型和互补性融合的关键帧提取方法。该方法利用视频帧的空间显著度和运动显著度的互补性,分别提取关键帧,再根据它们之间的相关性,消除冗余的关键帧。实验表明,该方法提取的关键帧能比较全面的表达视频内容,并且符合人类的视觉特性。     

多线索非参数化融合的单目视频深度估计

为解决二维视频的三维转化问题,提出了一种基于非参数化学习和多线索融合的单目视频深度图提取方法.首先,利用单目图像的区域边界轮廓和几何透视结构线索,基于前景背景融合来估计单目视频中各帧的深度图像;然后,利用视频帧间空时相关性,借助非参数学习实现单目视频深度估计;最后,利用全局背景深度分段约束和去抖动来增强深度视频序列.实验结果表明,与其他现有方法相比,该方法能得到更为准确的单目视频深度图序列,无论在主观质量还是均方根误差(RMS)和结构相似性度量(SSIM)上,均能取得较好的效果.     

一种新的镜头边界检测和静态视频摘要提取方法

提出一种新的融合图像分割和注意力模型的静态视频摘要自动生成方法.该方法将视频中的每帧图像分割成块,分别计算连续2帧对应块的匹配距离;在此基础之上,根据各个块不同的重要性用线性融合的方法求出2帧之间的匹配距离;然后通过计算匹配距离的期望和标准差自动地求出阈值,进而检测出镜头边缘;最后根据每个镜头的匹配距离,提取出静态视频摘要.仿真结果表明:与同类方法相比,该方法能够快速高效地检测出各种镜头边界,提取的静态视频摘要能够有效反映视频的内容.     

基于C3D和视觉元素的视频描述

随着深度学习技术的发展,利用卷积神经网络(CNN)提取视频帧特征,再用循环神经网络(RNN)生成句子的方法被广泛用于视频描述任务中.然而,这种直接转换方式忽略了很多视频内在信息,如视频序列的时序信息、运动信息及丰富的视觉元素信息等.为此,文中提出了一种基于自适应帧循环填充法的多模态视频描述(AFCF-MVC)模型;采用自适应特征提取法提取含有丰富时空信息和运动信息的视频C3D特征,使得C3D特征包含了整个视频序列所有帧的信息,并将其作为神经网络的输入;针对不同视频的标注句子长度不同问题,提出了自适应帧循环填充法,即根据标注句子的长度自适应地控制输入特征的个数,在保证句子输入完整的前提下为神经网络提供尽可能多的特征输入,并起到重复学习的作用;为了充分利用视频丰富的视觉元素信息,通过视觉检测器检测出视频帧的视觉元素信息,编码后作为额外的补充信息融合进AFCF-MVC模型中.在M-VAD和MPII-MD数据集上的实验结果显示,该模型既能准确地描述视频中的内容,也能在语法结构上模拟出人类语言的丰富性.     

一种视频时空特征提取算法及其应用研究

目前基于内容特征的视频检索系统,大多采用提取视频关键帧的颜色、纹理、形状等底层特征,来进行视频相识度匹配,这些底层特征是基于全局统计或者人工设计的特征提取方式,存在泛化抽象能力不强、易受光照和噪声的影响等问题,同时,由于未考虑视频帧时序上的关联性,导致视频检索精度偏低。为此,基于深度学习框架,提出了一种视频时空特征提取算法。该算法以关键帧附近16帧图像作为学习源,采用三维卷积神经网络,融合帧的内容特性和时序变化特性,获取4 096维特征向量作为新的视视时空特征描述子。在标准动作视频数据集UCF-101上进行实验,结果表明该特征能显著提高视频检索精度,在查全率为90%的情况下,平均查准率不低于84%,检索效果优于传统视频检索方法。     

基于特征显著性的均值漂移鲁棒目标跟踪

在均值漂移算法框架下,提出基于目标显著性的特征融合与在线模板更新策略,实现复杂动态环境下的鲁棒跟踪.通过目标区域与背景区域的特征对比定义了特征显著性测度.提出了基于特征显著性的色彩空间选择以及基于Gabor小波稀疏编码的纹理特征提取算法.通过特征显著性加权实现参考直方图模板的初始化,并在此基础上针对遮挡现象与目标自身形变的区别设计了在线模板更新策略.实验结果表明,本文方法与其他跟踪算法相比具有较强的鲁棒性和较高的准确性.
     

雨天图像中目标显著性检测算法设计与效果评价

雨天条件下,图像中目标的许多特征被掩盖,使得户外图像应用系统效能发挥受到严重的影响。为了提高雨天条件下图像中目标检测的质量,通过综合分析雨天图像中的目标特征,发现其亮度颜色信息、色彩差异信息和暗通道先验信息对目标的显著性具有高敏感度,进而提取了雨天图像中目标的显著性特征,构建了基于混合特征的目标显著性检测模型,最后通过多个评价指标的效能评估实验,与经典算法进行对比,验证了本文算法的有效性。     

多目标显著性区域提取算法

结合对象估计和超像素分割,提出面向多目标的显著性区域提取算法.首先,应用对象估计对图像中的多目标作初步检测,得到若干个显著性区域的初步结果;然后,再将这些显著性区域与超像素分割的结果作图像拼接,完善这些显著性区域;最后,将图像拼接的结果二值化,作为多目标显著性区域提取的最终结果.结果表明:所提算法可实现面向多目标的显著性区域提取.与3个经典算法的比较结果表明:所提算法在面向多目标显著性区域提取时更优.     

基于显著特征区域和概率图模型的目标跟踪

针对目标跟踪中的遮挡问题,提出一种基于局部显著特征区域和概率图模型的跟踪算法.提取目标的一组局部显著特征点,以局部显著特征点为依据,在目标区域中划分出多个感兴趣的显著特征区域;利用这组显著特征区域相互之间的空间位置关系,并结合各个显著特征区域自身的局部信息建立目标的马尔可夫随机场(MRF)模型;采用mean shift(MS)算法对各个显著特征区域分别进行跟踪,利用MRF模型对MS算法的跟踪结果进行概率推断,融合各个显著特征区域的权重,精确定位运动目标的最终位置.在多个视频序列上的实验结果表明,与改进的MS算法、粒子滤波算法以及分块跟踪方法相比,此算法具有较高的跟踪精度;尤其是当目标被遮挡时,该算法具有较好的跟踪鲁棒性.该算法充分利用了显著特征区域自身的局部特征和区域之间的空间结构信息,能够实现复杂情况下的运动目标的鲁棒跟踪.     

基于显著性检测的图像简化

图像简化作为机器视觉、计算机视觉中的一项重要任务,对于提高网络传输效率、加速视觉算法分析处理具有重要意义.针对传统图像简化模型中存在的目标、背景不加区分及尺度效应等问题,提出了一种新的基于显著性检测的图像简化模型,模型首先采用MB+显著性检测算法计算图像的目标显著区域,然后在CIE Lab颜色空间中对L波段上的背景区域进行快速水平集变换,最后按照设定准则合并背景中的非主导区域并输出简化后的图像.     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

基于物体信息的图像显著性区域检测

针对目前图像显著性检测存在的显著性图边缘模糊、缺乏视觉高层信息等问题,提出了一种基于物体信息的显著性检测算法。将似物性计算与显著性计算相结合,可以将前景与背景分离,抑制高对比度干扰区域的影响。首先采用改进的L0平滑算法对图像进行滤波处理,然后通过超像素分割将图像分成若干图像块,再通过聚类算法进行合并,得到待检测图像块。采用似物性检测算法计算物体可能存在的区域,与待检测图像块进行融合,得到物体显著性图,再通过颜色对比度及空间分布特征计算显著性图,最后将二者融合,得到最终结果。实验结果表明,算法能够得到清晰的物体边缘,对图像的显著性区域能够较为全面地覆盖,有效地抑制高对比区域的干扰。     

基于图像边缘和对比度的显著目标检测

为了对自然场景中各类显著目标进行准确的检测,提出了一种结合图像边缘和多尺度对比度信息的检测方法。首先对图像进行快速双边滤波,在对图像平滑去除复杂纹理的同时保留物体结构边缘信息,然后用直线检测算子进行边缘检测得到边缘显著图。再利用对比度检测算子计算图像的区域对比度和全局对比度得到对比度显著图。融合边缘显著图和对比度显著图得到最后的显著目标图。实验表明该方法准确率高于大多数现有的显著目标检测方法。     

实时语义图像分割模型研究

为了实现快速语义图像分割,提出一种简化整合模型.首先,对频域视觉注意模型PQFT的四元数图像虚部系数进行简化改进.然后,将改进PQFT模型的显著图与简化PCNN的内部活动项结合起来对显著目标区域进行粗略定位,并以提出的显著目标区域均值的3/2倍进行精细分割.最后,根据"尺寸变化与否"准则判断输出正确的语义图像分割结果.实验结果表明,提出的整合模型具有实时性,且取得的AUC值和F值较原PQFT模型分别提高了29.9%和44.2%.