基于UMV的重构图像扩展算法及VLSI实现

在AVS视频解码系统中,针对运动补偿所需的参考宏块出界导致视频解码效率降低的问题,提出一种新型图像边界扩展算法重构了出界参考宏块,以获得相应运动向量进行完善的运动补偿。该算法基于视频解码系统流水线设计要求,同时考虑消除中间存储的需求,对图像数据进行分析,依据图像数据的不同类型和位置进行边界宏块像素的有序扩展,并采用二维存储机制提高效率,使得在运动补偿中实现了图像无限制运动向量(UMV),优化了图像运动补偿效果,提高了视频的解码效率。该算法采用Verilog HDL语言描述,经EDA软件仿真、综合及FPGA验证表明:该算法能够在图像运动补偿中获得出界参考宏块的运动向量,实现图像运动补偿的优化,本模块打开UMV后综合的芯片面积仅增加面积1.5%,而AVS视频解码系统采用UMV比不采用UMV解码效率明显提高。     

一种压缩域中的快速运动目标提取算法

论文提出了一种工作于MPEG压缩域的快速运动目标提取算法。算法以通过部分解码得到的运动向量和亮度分量的直流DCT系数作为输入,提取P帧的运动目标。首先采用鲁棒性回归分析估计全局运动,标记出与全局运动不一致的宏块,得到运动块的分布;然后将运动向量场插值作为时间域的特征,将重构的直流图像转换到LUV颜色空间作为空间域的特征,采用快速平均移聚类找到时间和空间特征具有相似性的区域,得到细化的区域边界;最后结合运动块分布和聚类分析的结果,通过基于马尔可夫随机场的统计标号方法进行背景分离,得到运动目标的掩模。实验结果表明该算法可以有效地消除运动向量噪声的影响,并有很高的处理速度,对于CIF格式的视频码流,每秒可以处理约50帧。     

一种基于SoC平台设计的AVS解码器软硬件分区结构

视频解码芯片的结构因硬件强大的处理能力和软件灵活的可编程功能从硬件转向软硬件分区结构。该文针对AVS标准的算法和解码实现复杂程度,根据软硬件协同设计思想提出了一种结构划分合理的AVS高清视频解码器软硬件分区结构。根据AVS算法的特点该结构将宏块层以上部分的元素解析划归到软件解码中,将宏块层解码划为硬件处理。经验证,该结构设计可实现AVS高清码流解码,并在C语言编写的硬件平台仿真程序中得以实现。     

基于多块模式决策的边信息生成方法

分布式视频编码中边信息的质量决定了系统的率失真性能,边信息质量越高,则率失真性能越好。针对视频序列中对象运动的不均匀特性,结合MCTI技术,本文提出了一种新的边信息生成算法。其基本思想是在编码端利用多块模式算法对帧中宏块进行划分,将宏块分为运动缓慢块和运动剧烈块;在解码端,对运动缓慢块直接由MCTI算法生成边信息,而运动剧烈块的边信息要经过后处理进行优化得到。仿真实验表明与直接由MCTI生成边信息方法相比,本文算法可以使生成边信息的峰值信噪比(PSNR)比原有的算法提高0.8dB-1.2dB左右,有效提高了边信息的质量。     

一种MPEG压缩域的运动对象快速提取算法

针对目前压缩域直接得到的运动矢量过于稀疏且不可靠,导致运动对象分割精度不高等问题,提出一种适合于MPEG视频流的压缩域运动对象提取算法。它先对MPEG码流进行熵解码得到的运动矢量场进行可靠性度量校正、置密和滤波处理,并采用基于块的区域增长算法得到每个对象的大致运动区域;然后解码属于运动区域的块,并把被还原的每个位置的像素值分布视为高斯分布,用统计的方法建立其高斯模型,通过阈值判断可靠地提取出最终具有像素精度运动对象。仿真实验表明,该算法可以有效地去除运动矢量噪声的影响,分割精度显著提高,并且具有较高的处理速度。对于QCIF 格式的视频码流, 每秒可以处理约50帧。     

基于图割的压缩域运动对象提取

随着在视频监控等方面的应用,视频数据量不断增加,如何快速有效地处理和分析视频内容仍然是一个亟待解决的问题。目前的运动对象提取通常采用像素域的分析方法,虽然有较好的主客观效果,但由于计算复杂度高,在实际应用中有诸多限制。因此,提出了一种基于图割的压缩域运动对象提取算法。该算法基于4×4分块的高斯背景建模,得到视频帧中各子块的初始概率,结合运动矢量（Motion Vector）信息构造压缩域图割能量函数,利用图割算法对前景区域进行修正,从而实现对运动对象的快速提取。与其他运动区域提取算法的对比实验表明,该算法具有较高的准确率和较低的计算复杂度,具有较高的实际使用价值。     

面向小运动目标的压缩域跟踪方法

压缩域跟踪是直接从压缩码流中提取运动矢量和块编码模式来实现目标对象的跟踪.针对现有压缩域跟踪方法对小运动目标跟踪性能较差的问题,本文提出了一种面向小运动目标的压缩域跟踪算法.在分析现有算法不足原因的基础上,本文从起始帧掩模的获取、离群值边界的设置和预测跟踪小目标的边缘控制三个方面提升小目标跟踪的性能,并通过数据驱动的方法寻找到块编码感知的系统参数优化.所提算法在三个小目标视频序列上进行了测试,实验结果表明,与其它压缩域跟踪算法相比,本文算法可以有效地提高小运动目标跟踪的准确率和F度量.     

面向动摄像机的高速运动目标检测

目的为解决动摄像机中高速运动目标检测复杂度高的问题,提出一种基于压缩视频运动矢量的高速运动目标检测新方法。方法该方法首先分析监控视频的码流格式和解码特点;然后从视频流中直接提取运动矢量;接着进行运动矢量规范化,并根据3σ准则提取场景的全局运动参数;最后通过对运动矢量统计特征的分析,实现面向动摄像机的高速运动目标快速检测。结果仿真实验表明,该方法在经典和自建数据库上目标提取效率较现有算法均有较大提高。结论本文方法充分利用了压缩视频数据中蕴含的运动信息,极大降低运动目标检测的复杂度,可以有效提取动摄像机成像画面中的高速运动目标,在经典和自建数据库上的目标提取效率较现有算法均有较大提高。     

基于压缩感知的视频双水印算法研究

针对数字视频的内容保护与帧内、帧间篡改检测的难题,采用压缩感知理论提取视频的内容特征作为水印,提出一种双水印的视频保护和篡改检测算法。首先,利用压缩感知过程提取I帧宏块的内容特征,生成半脆弱的内容认证水印;然后,对帧序号进行二值运算,生成完整性水印;最后,利用压缩感知信号重构OMP(Orthogonal Matching Pursuit)算法把生成的双水印嵌入到I帧和P帧相应宏块的DCT高频系数的压缩测量值中,以此提高视频水印的抗攻击能力,并实现对视频篡改的检测。仿真实验表明,所提算法对视频帧内篡改具有精确定位到子块的检测能力;同时对帧插入、帧删除、帧交换等类型的视频帧间篡改具有很强的检测能力。     

基于AVS-P2的自适应时空域错误隐藏方法

错误隐藏技术是视频传输中保证重建质量的重要技术,可以有效恢复传输过程中因传输环境恶劣等原因造成的信息丢失和错误,为了增强AVS-P2的抗传输差错能力,提出了一种基于冗余运动矢量的自适应时空域错误隐藏算法。对I帧中的受损宏块采用空域错误隐藏方法,利用受损宏块周围已正确解码像素值进行加权插值来恢复;而对非I帧中的受损宏块则采用时域错误隐藏方法,根据宏块的运动剧烈程度分别选择AVS-P2中通用的错误隐藏方法和基于冗余运动矢量的错误隐藏方法。最后,在AVS-P2 RM52_20080721平台上实现了该算法,大量仿真实验结果表明,所提方法相比原有方法,解码视频图像的客观质量和主观效果均得到了一定提升。因此,所提方法可以有效保证AVS-P2解码端接收视频的主观质量,增强了其抗传输差错能力。     

基于高斯混合模型的空间域背景

运动检测和背景分离技术是智能视频监控系统中的一项关键技术。由于目前广泛使用的高斯混合模型背景分离法是在像素域的时间尺度上对像素进行分类,因此常常造成误判,且无法解决阴影问题。为解决此问题,提出了一种空间域上的背景分离法。该方法首先将像素检测从像素域拓展至空间域的局部窗口内;然后在得到前景点集后,再将此空间域检测思想结合像素亮度特征运用到阴影消除中;最后,对经典模型的部分参数估计方法进行了修改。相关的实验结果证明,该方法可用于提高背景分离的检测精度和实现运动物体阴影消除。     

AVS分数像素插值算法的VLSI实现

基于AVS运动补偿分数像素插值算法,提出了一种新的VLSI结构,满足了AVS基准档次6.2级别(1920×1080,4:2:2,30f/s)高清视频实时解码的要求。介绍了AVS分数像素插值算法,采用一种新的基于移位寄存器的寄存器文件作为内部像素存储器,提高了并行处理效率,并将脉动阵列应用到AVS插值滤波器中,有效提高了运动补偿插值运算的速度。     

一种AVS亚像素运动估计快速算法

为提高图像的质量和压缩率,AVS视频标准中的运动补偿精确到了1/4像素,但采用亚像素全搜索算法的计算量太大,导致整个编码器的编码速率很低。针对该问题,提出一种新的亚像素运动估计快速算法,在保证图像质量的同时,使亚像素搜索点数减少53.0%~ 76.5%,视频序列总编码时间节省了23%~33%。     

基于特征建模的H.264到AVS-S2监控视频转码快速帧间模式选择算法研究

针对监控视频从H.264到AVS-S2转码中的高计算复杂度问题进行了研究,提出了一种基于特征建模的快速帧间模式选择算法。首先对少量视频序列通过级联方式转码,根据提取的H.264运动特征和AVS-S2最优模式在线训练建立转码模型,再对后续序列根据模型快速选择转码后的帧间预测候选模式,并基于宏块的前景背景特性进一步减少背景宏块的候选模式数目。实验结果表明算法有效地降低了转码复杂度。由于算法在转码过程中实时训练更新转码模型,因此与传统的模式映射算法相比改善了转码图像质量、降低了转码码率。     

Background modeling using Object-based Selective Updating and Correntropy adaptation

Background modeling is widely used in visual surveillance systems aiming to facilitate analysis of real-world video scenes. The goal is to discriminate between pixels from foreground objects and those ones from the background. However, real-world scenarios tend to have time and spatial non-stationary variations, being difficult to reveal the foreground and background entities from video data. Here, we propose a novel adaptive background modeling, termed Object-based Selective Updating with Correntropy (OSUC), to support video-based surveillance systems. Our approach that is developed within an adaptive learning framework unveils existing spatio-temporal pixel relationships, making use of a single Gaussian for the model representation stage. Moreover, we introduce a background updating scheme composed of an updating rule that is based on the stochastic gradient algorithm and Correntropy cost function. As a result, this scheme can extract the temporal statistical pixel distribution, at the same time, dealing with non-stationary pixel value fluctuations that affect the background model. Here, an automatic tuning strategy of the cost function bandwidth parameter is carried out that can handle both Gaussian and non-Gaussian noise environments. Besides, to include pixel spatial relationships in the background modeling processing, we introduce an object-based selective learning rate strategy for enhancing the background modeling accuracy. Particularly, an object motion analysis stage is presented to detect and track foreground entities based on pixel intensities and motion direction attained via optical flow computation. Testing is provided on well-known datasets for discriminating between foreground and background that include stationary and non-stationary behaviors. Achieved results show that the OSUC outperforms, in most of the considered cases, the-state-of-the-art approaches with an affordable computational cost. Therefore, the proposed approach is suitable for supporting real-world video-based surveillance systems.     

基于CHMM的背景差算法

为了解决背景差算法在前景提取的过程中对光照变化的敏感性和提取的前景中容易产生椒盐噪声的问题,提出了一种基于耦合隐马尔科夫模型的背景差方法.对像素的马尔科夫性进行了分析,并对像素建立耦合隐马尔科夫模型,通过时间统计的方法统计了像素隐含状态的转移概率,通过实验的方法选取了合适的前景标准差和背景标准差,利用Viterbi算法来求解耦合隐马尔科夫模型的最优隐含状态问题,运用该算法对一段交通监控视频进行分析,表明了该算法能够有效的抑制光照变化的影响,并且能够在一定程度上抑制前景噪声的出现.     

Key observation selection-based effective video synopsis for camera network

Nowadays, tremendous amount of video is captured endlessly from increased numbers of video cameras distributed around the world. Since needless information is abundant in the raw videos, making video browsing and retrieval is inefficient and time consuming. Video synopsis is an effective way to browse and index such video, by producing a short video representation, while keeping the essential activities of the original video. However, video synopsis for single camera is limited in its view scope, while understanding and monitoring overall activity for large scenarios is valuable and demanding. To solve the above issues, we propose a novel video synopsis algorithm for partially overlapping camera network. Our main contributions reside in three aspects: First, our algorithm can generate video synopsis for large scenarios, which can facilitate understanding overall activities. Second, for generating overall activity, we adopt a novel unsupervised graph matching algorithm to associate trajectories across cameras. Third, a novel multiple kernel similarity is adopted in selecting key observations for eliminating content redundancy in video synopsis. We have demonstrated the effectiveness of our approach on real surveillance videos captured by our camera network.     

Preserving interactions among moving objects in surveillance video synopsis

Video synopsis is an effective solution for fast browsing and retrieval of long surveillance videos. It aims to shorten long video sequences into its equivalent compact video representation by rearranging the video events in the temporal domain and/or spatial domain. Conventional video synopsis methods focus on reducing the collisions between tubes and maintaining their chronological order, which may alter the original interactions between tubes due to improper tube rearrangement. In this paper, we present an approach to preserve the relationships among tubes (tracks of moving objects) of the original video in the synopsis video. First, a recursive tube-grouping algorithm is proposed to determine the behavior interactions among tubes in a video and group the related tubes together to form tube sets. Second, to preserve the discovered relationships, a spatio-temporal cube voting algorithm is proposed. This cube voting method optimally rearranges the tube sets in the synopsis video, minimizing false collisions between tubes. Third, a method to estimate the duration of the synopsis video is proposed based on an entropy measure of tube collisions. The extensive experimental results demonstrate that the proposed video synopsis framework condenses videos by preserving the original tube interactions and reducing false tube collisions.

     

一种SoC架构的AVS硬件解码器设计方案

根据AVS音视频解码标准提出的算法设计了一种SoC架构的AVS解码芯片设计方案。该方案能够有效的减小纯硬件实现AVS硬件解码器的复杂度。采用软硬件协同设计的思想,降低解码器设计的难度,同时提高解码的灵活性。     

一种SoC架构的AVS硬件解码器设计方案

根据AVS音视频解码标准提出的算法设计了一种SoC架构的AVS解码芯片设计方案。该方案能够有效的减小纯硬件实现AVS硬件解码器的复杂度。采用软硬件协同设计的思想,降低解码器设计的难度,同时提高解码的灵活性。