基于稀疏编码的时空金字塔匹配的动作识别

针对复杂场景下的动作识别,提出一种基于稀疏编码的时空金字塔匹配的动作识别方法.通过稀疏编码的方法学习更具有判别性的码书和计算局部块(cuboids)的稀疏表示;然后基于max pooling的时空金字塔匹配进行动作分类.该方法在KTH和YouTube两大公开数据集上进行了评价,实验结果表明,与基于K-means的时空金字塔匹配方法相比,该方法提高了2%-7%左右的识别率,在复杂的视频中取得了较好的识别效果.     

采用压缩传感的鲁棒的视频指纹方案

视频指纹技术在视频检索、识别、安全等领域有着广泛的应用,提出一种基于压缩传感理论的鲁棒性视频指纹方法,该方法采用压缩传感的稀疏性和安全性对提取的视频关键帧进行采样,再对采样矩阵分块与分类,提取能量值大的一些子块构成新的特征矩阵.对特征矩阵使用奇异值分解,对较大奇异值量化编码生成指纹.同时,也提出了高效的两步匹配方案,通过粗精两步搜索对视频进行检索,提高了视频搜索速度,实验结果表明,能准确检测视频片段,对通常的视频处理具有较强鲁棒性,满足视频检索的实时要求.     

金字塔评分改进主方向模板匹配的实时目标检索

传统的基于内容的目标检索方法一般通过提取和比较局部特征,往往计算复杂度较高而且需要进行离线训练。因此,以最新的主方向模板(DOT)特征为基础提出新的实时目标检索方法。同时,利用搜索窗口中网格得分的空间分布情况构造相似度映射图,并采用多层次金字塔评分去除网格得分较为分散的错误窗口。利用以上改进实现的目标检索方法,真正能够无须离线训练即可从输入视频直接得到检索结果。实验结果表明,本文方法在提升检索性能的同时仍然保持主方向模板匹配的实时处理能力。     

基于视频指纹的视频片段检索方法

提出一种基于视频指纹的视频片段检索方法,通过视频指纹的相似性匹配对视频片段进行检索。通过改进的Harris检测计算DC图像的角点信息,去掉视频图像边缘提取视频运动特征,根据图像特征相似度和运动特征相似度的调和因子得到视频片段总的相似度。实验结果表明,与现有方法相比,该方法能准确检测视频片段,具有较强的鲁棒性,满足视频检索的实时要求。     

基于压缩感知和音频指纹的固定音频检索方法

针对现有音频检索中样本音频特征库数据量较大且检索速率慢问题, 本文提出一种基于压缩感知和音频指纹降维的固定音频检索方法. 在音频检索的训练阶段, 首先, 对样本音频信号进行稀疏化处理, 并通过压缩感知算法对稀疏化后的音频数据进行压缩; 其次, 提取压缩信号的音频指纹; 再次, 引入音频指纹离散基尼系数通过计算音频指纹各维度的离散基尼系数对指纹实施降维, 最终得到检索特征库. 在音频检索阶段用和训练阶段相同的算法提取待检音频的特征与音频特征库数据匹配得出检索结论. 实验结果表明, 所提音频检索方法在确保较好的检索准确率的基础上, 大幅度减小了样本音频数据库的存储量, 提高了音频的检索速率.     

基于形状轮廓特征的金字塔匹配算法

形状检索在计算机视觉中一直是一个具有挑战性的问题，其中对形状特征直方图距离的测量是评价形状检索算法优劣的一个重要因素。针对轮廓特征的直方图距离测量，算法引进一种在图像分类领域中应用广泛的金字塔匹配算法。不同于其他传统的直方图度量算法，金字塔匹配算法将形状的轮廓分成若干块，给每一块分配相应的权重，然后分别统计块中的特征，再计算特征的加权和进行相似度的测量。通过在不同形状数据集下实验，该方法能够有效地进行形状匹配和检索，且能得到较好的形状匹配精度。     

基于时空运动特征的运动姿态视频检索方法

提出了一种人体运动姿态视频检索的新方法,整体算法分为典型姿态学习和姿态检索两个阶段。首先提取样本库中人体姿态的时空运动特征点作为姿态运动底层特征,一个姿态对应一个时空特征点集合;计算每个特征点的时空三维邻域中像素的梯度,进而为每个姿态建立一个梯度直方图;其次,采用非监督的聚类方法对姿态样本归类,按照语义要求提取多个典型姿态;最后,用基于EM的高斯混合模型对聚类结果建模,形成典型姿态检索的分类器,完成姿态建模的的学习阶段。运动姿态的视频检索是根据最大概率匹配准则,对输入的测试视频进行姿态匹配,从而实现基于语义的姿态检索。基于Weizmann和KTH标准测试视频库的大量实验结果表明,本文提出的方法能够准确有效地检索人体运动姿态。     

基于灰度和纹理特征的广告视频序列匹配算法

针对基于内容的视频序列检索匹配提出一种综合颜色灰度和纹理特征对分块图像进行描述的方法,根据颜色灰度特征引入灰阶顺序码的概念。结合Harr小波变换与Gabor变换提出一种新的纹理提取方案。针对广告视频序列检索匹配的应用提出逐级过滤检索匹配策略,明显减小了计算复杂度,提高了检索效率。     

基于帧数据量波动特性的压缩域视频快速检索方法

为实现压缩域视频快速检索,提出基于帧数据量波动特性的检索方法。该方法首先计算压缩域各图像帧的数据量,得出查询片段和目标视频等长内的数据量曲线,然后在I帧对齐的基础上将查询片段在目标视频上进行滑动,滑动窗长为单个图组长度。再在每次滑动后计算查询片段与目标视频数据量曲线波动的差异程度,同时每次滑动后要更新目标视频的数据量曲线。最后结合设定门限进行相似判决并返回结果。该方法不需要为每一帧抽取高维特征向量,用一个向量而不是一组高维向量来表述一段视频。实验结果表明,相比现有快速检索算法,该方法使检索速度得到提高,同时也能达到较高的准确率。 另外,该方法既可用于基于压缩域视频库的快速检索,也可用于在线的视频片段匹配,实时发现与设定目标相似的视频。     

基于稀疏结构的图像特征匹配算法

对图像进行全局的特征点检测耗时较长,而且全局特征稳定性不好,这就造成算法的运行速度慢和匹配准确率低,达不到令人满意的匹配效果.在尺度不变特征变换（SIFT）的基础上,通过引入稀疏结构的概念,提出了一种基于稀疏结构的图像特征匹配算法（SSM）.通过稀疏度函数获得像素点的稀疏度值,筛选出稀疏度高的像素点所在的区域,并对该区域进行SIFT特征点检测,通过最佳描述子实现特征匹配.将SSM算法与几种经典算法相比,实验结果表明,本文算法在特征匹配速度和匹配准确率上相比于原算法都有较明显的提高,能够用于目标实时跟踪、图像检索和全景图像拼接等领域.     

盲环境下稀疏编码监控视频图像降噪仿真

针对盲环境监控视频图像降噪问题,以及当前图像降噪方法中存在的运行效率较低、降噪图像失真度较高等不足之处,结合稀疏编码技术,提出盲环境下稀疏编码监控视频图像降噪方法。根据稀疏表示理论,将其扩展应用到监控视频图像中,利用正交匹配追踪算法对待处理图像进行稀疏编码;采用自适应方式从含噪图像块样本中获取字典,结合自变量分解及拉格朗日算法进行相关问题求解,并据此对图像稀疏编码系数进行优化;结合噪声模型与图像系统的观察模型,对待处理图像进行噪声估计,根据全部噪声估计均值进行图像降噪处理。仿真结果表明,所提盲环境下稀疏编码监控视频图像降噪方法的图像降噪效果优于实验对比方法,且降噪处理时间更短,具有较好的鲁棒性。     

面向视频语义分析的局部敏感的可鉴别稀疏表示

视频语义分析已经成为人们研究的热点。在传统稀疏表示方法中,相似视频特征未必能产生相近稀疏表示结果。在基于稀疏表示的视频语义分析中,假定相似的视频数据样本的稀疏表示也相似,即两个相似视频特征的稀疏系数之间的距离较小。为了提高视频语义分析的准确性,基于该假设提出一种面向视频语义分析的局部敏感的可鉴别稀疏表示方法。该方法在局部敏感稀疏表示中引入基于稀疏系数的鉴别损失函数,优化构建稀疏表示的字典,使稀疏表示特征满足类内离散度小、类间离散度大的Fisher准则,并建立可鉴别稀疏模型。为验证所提方法的有效性,在相关视频数据库中将其与多种算法进行对比,实验结果表明,该方法显著地提高了视频特征稀疏表示的鉴别性,有效地提高了视频语义分析的准确性。     

哈希编码结合空间金字塔的图像分类

目的 稀疏编码是当前广泛使用的一种图像表示方法,针对稀疏编码及其改进算法计算过程复杂、费时等问题,提出一种哈希编码结合空间金字塔的图像分类算法。方法 首先,提取图像的局部特征点,构成局部特征点描述集。其次,学习自编码哈希函数,将局部特征点表示为二进制哈希编码。然后,在二进制哈希编码的基础上进行K均值聚类生成二进制视觉词典。最后,结合空间金字塔模型,将图像表示为空间金字塔直方图向量,并应用于图像分类。结果 在常用的Caltech-101和Scene-15数据集上进行实验验证,并和目前与稀疏编码相关的算法进行实验对比。与稀疏编码相关的算法相比,本文算法词典学习时间缩短了50%,在线编码速度提高了1.3～12.4倍,分类正确率提高了1%～5%。结论 提出了一种哈希编码结合空间金字塔的图像分类算法,利用哈希编码代替稀疏编码对局部特征点进行编码,并结合空间金字塔模型用于图像分类。实验结果表明,本文算法词典学习时间更短、编码速度更快,适用于在线词典学习和应用。     

加权最小二乘法与卡尔曼滤波实时稳像技术

无人机和车辆行驶等情况下拍摄的视频受外界影响会造成视频抖动。通过对比现有的电子稳像技术,提出了利用FAST获取特征点的位置信息,再通过光流法结合NCC匹配得到参考帧特征点在当前帧的位置信息,在此基础上,结合RANSAC算法剔除错误匹配的特征点对的改进算法。为了提高运动矢量估计的精度,应用加权最小二乘法得到相邻帧间的刚性变换矩阵,并经过卡尔曼滤波进行运动平滑得到扫描运动矢量并补偿,最终得到实时的稳定视频。实验表明,视频序列稳像后的帧间变换保真度有所提高,并且能够达到实时处理速度。     

融合局部性和非负性的Laplacian稀疏编码的图像分类*

稀疏编码在编码过程中忽略特征之间的局部关系,使编码不稳定,并且优化问题中的减法运算可能会导致特征之间相互抵消.针对上述2个问题,文中提出融合局部性和非负性的Laplacian稀疏编码的图像分类方法.引入局部特征附近的基约束编码,利用非负矩阵分解将非负性加到Laplacian稀疏编码中,利用空间金字塔划分和最大值融合表示最终的图像,并采用多类线性SVM分类图像.本文方法保留特征之间的局部信息,避免特征之间相互抵消,保留更多的特征,从而改善编码的不稳定性.在4个公共数据集上的实验表明,相比其它现有算法,本文方法分类准确率更高.     

End-to-End Trained Sparse Coding Network with Spatial Pyramid Pooling for Image Classification

Neural Processing Letters - Spatial pyramid matching using sparse coding (ScSPM) has become an efficient method and a benchmark in image classification. However, since it is unsupervised, the...     

Structured Sparse Coding With the Group Log-regularizer for Key Frame Extraction

Key frame extraction based on sparse coding can reduce the redundancy of continuous frames and concisely express the entire video. However, how to develop a key frame extraction algorithm that can automatically extract a few frames with a low reconstruction error remains a challenge. In this paper, we propose a novel model of structured sparse-coding-based key frame extraction, wherein a nonconvex group log-regularizer is used with strong sparsity and a low reconstruction error. To automatically extract key frames, a decomposition scheme is designed to separate the sparse coefficient matrix by rows. The rows enforced by the nonconvex group log-regularizer become zero or nonzero, leading to the learning of the structured sparse coefficient matrix. To solve the nonconvex problems due to the log-regularizer, the difference of convex algorithm (DCA) is employed to decompose the log-regularizer into the difference of two convex functions related to the l₁ norm, which can be directly obtained through the proximal operator. Therefore, an efficient structured sparse coding algorithm with the group log-regularizer for key frame extraction is developed, which can automatically extract a few frames directly from the video to represent the entire video with a low reconstruction error. Experimental results demonstrate that the proposed algorithm can extract more accurate key frames from most SumMe videos compared to the state-of-the-art methods. Furthermore, the proposed algorithm can obtain a higher compression with a nearly 18% increase compared to sparse modeling representation selection (SMRS) and an 8% increase compared to SC-det on the VSUMM dataset.      

结合稀疏表示与拓扑相似性的图像匹配算法

为了解决图像匹配算法中存在的匹配效率低、时间复杂度与计算量高等问题,通过结合稀疏表示和拓扑相似性,提出了一种图像匹配算法。该算法先对图像进行特征检测,计算轮廓相似度,找到待匹配图像中相似的最大轮廓区域,用稀疏编码对轮廓内特征进行稀疏表示,建立稀疏模型,将复杂特征变得单一化,但又不影响特征的分类方式,将相同类别或者相同属性的特征归为同一特征集,结合稀疏表示和邻域互信息的类属属性学习。计算得到变换矩阵,用以表示图像。利用结构化的拓扑相似性,对轮廓内外相关联的点进行优化。最后,分别从主观评价和客观评价两个方面对算法进行分析,结果表明提出的新算法与其他图像匹配算法相比较,具有明显匹配精度与效果,提出的算法在提高匹配效率及复杂度等方面具有较好优势。     

一种基于小波和MP变换的细粒度视频编码算法

针对目前的细粒度算法的计算复杂度大(如Matching Pursuit编码，简称MP编码)或者视频质量有各种效应(如离散小波变换编码DWT)的缺点，提出了一种基于小波变换和MP变换联合的细粒度视频编码算法。对连续的8帧视频采用一维小波变换，然后对变换后第1帧低频图像用二维小波变换，其它7帧高频图像信息采用MP变换编码，并采用基于能量的原子搜索与基于人眼视觉特性的分配策略。实验表明，该细粒度算法对帧间运动较小的视频应用，有较高的恢复质量。