高清晰度电视芯片中视频和音频同步的异步实现

高清晰度电视的传输流采用了MPEG－2系统层标准ISO／IEC 13818－1。阐述了高清晰度电视（HDTV）传送流中时间信息码在视频和音频同步中的作用，分析了信源解码器中视频和音频同步的原理。就实际芯片中系统时钟的恢复，视频和音频的跳帧等机制进行了讨论，并提出了一种非锁相异步全数字视音同步实现方案。该方案采用了直接置数法恢复系统时钟,滞后跳帧法实现视频与系统时钟的同步，数字锁相法控制音频与系统时钟同步，最后，对视频帧率和音频PCM时钟的偏差等问题作了进一步的探讨。     

VCD播放机的原理和改装——第四章VCD图像和伴音的编码和解码原理(续)

MPEG—1的图像信号和声音信号是分别按照不同的方法进行压缩处理的,而且由于图像的数据量远大于声音的数据量,因而它们传送的数据码率显然不相等。前面我们提到过每传送14或15个视频数据封包才传送一个音频数据封包,而在播放时又要求图像和声音的内容必须同步,才能保证节目效果,因此在编码时必须考虑视频和音频的同步问题。     

一种基于数字水印的音视频同步传输方法

由于网络带宽的变化和延迟抖动等因素的影响,使得音视频在线播放时容易发生不同步的现象,影响媒体呈现效果.对此,文中设计了一种基于数字水印的音视频同步编码传输方法,该方法将音频数按一定的对应关系嵌入到视频块的Q-DCT系数中传输;在接收端再从视频中提取音频数据并重建音频信号,从而达到音视频混合同步压缩传输的目的.实验表明:该方法在对图像质量影响很小的情况下,很好地实现了音视频的同步播放.     

一种以音频为基准的视频捕获丢帧补偿算法的研究

针对视音频捕获回放过程中视频超前、音频滞后的现象,提出了一种以音频为基准的视频捕获丢帧补偿算法,其利用稳定的音频数据作为同步基准,在视频帧数据写入流媒体文件时进行丢帧补偿处理,从而保证视音频捕获的同步.本算法已在西安交通大学网络教育示范系统中得到了应用.应用表明,本算法较好地解决了视音频捕获同步问题.     

一种以音频为基准的视频捕获丢帧补偿算法的研究

针对视音频捕获回放过程中视频超前、音频滞后的现象 ,提出了一种以音频为基准的视频捕获丢帧补偿算法 ,其利用稳定的音频数据作为同步基准 ,在视频帧数据写入流媒体文件时进行丢帧补偿处理 ,从而保证视音频捕获的同步。本算法已在西安交通大学网络教育示范系统中得到了应用。应用表明 ,本算法较好地解决了视音频捕获同步问题     

一种以音频为基准的视频捕获丢帧补偿算法的研究

针对视音频捕获回放过程中视频超前、音频滞后的现象，提出了一种以音频为基准的视频捕获丢帧补偿算法，其利用稳定的音频数据作为同步基准，在视频帧数据写入流媒体文件时进行丢帧补偿处理，从而保证视音频捕获的同步。本算法已在西安交通大学网络教育示范系统中得到了应用。应用表明，本算法较好地解决了视音频捕获同步问题。     

引入注意力机制的视频声源定位

在日常生活中视觉事件通常伴随着声音的产生。这表明视频流与音频之间存在某种潜在的联系,本文称之为音视频同步的联合表达。本文将视频流与音频融合并通过训练所设计的神经网络预测视频流和音频是否在时间上同步来学习这种联合表达。与传统音视频信息融合方法不同,本文引入注意力机制,利用视频特征与音频特征的皮尔森相关系数在时间维度和空间维度同时对视频流加权,使视频流与音频关联更加紧密。基于学习到的音视频同步的联合表达,本文进一步利用类激活图方法进行视频声源定位。实验结果表明,所提出的引入注意力机制的音视频同步检测模型可以更好地判定给定视频的音视频是否同步,即更好地学习到音视频同步的联合表达,从而也可以有效地定位视频声源。      

声卡延迟测试方案及分析

针对不同声卡之间因运算能力差异导致音频信号处理、传送存在延迟的问题，本文提出一种多声卡延迟测试方案。通过多个实验比较内置声卡和外置声卡在延迟方面的差异，，在不同声卡的不同通道中分配不同频率的音频信号，同步播放后利用人工头录音，分析频谱差异计算出不同频率信号之间的时间差，从而得出各通道音频信号的延迟。实验结果表明在频率范围400-4000Hz范围内，对于同一块声卡，通道间基本无延迟，但是外置声卡声音延迟比内置声高，平均延迟约50ms。     

基于通用型DSP的前端音频信号的处理方案

在多媒体系统设计和实现中,需对音频进行采集。但在对音频进行采集的同时也要对视频信号进行处理,因音频的数据量少,又要求连续采集,故在两者的协调性和保证数据完整性方面存在难度。就此提出一种基于通用型DSP芯片的前端音频信号的处理方案,利用视频的采集间隙,储存音频数据,以实现在视频和音频的采集不同步的情况下,利用最少的资源,实现其在保证数据采集完整性的同时不与视频采集冲突。     

一种直通音频与视频重同步的设计与应用

数字电视处理前端的转码系统一般由解码系统和编码系统组成.解码系统和编码系统都有各自的音频处理规格.但随着新的音频格式与标准的推出,原转码系统无法支持这些新的音频规格.因此提出一种音频直通方案,对原转码系统无法支持的音频实施直通,并与转码后的视频进行同步,从而使原转码系统轻松实现音频格式的扩展升级.     

MPEG-2解码器中视频、音频同步的实现

本文分析了理想的MPEG－2信源解码器中视频、音频同步实现的关键，给出了实际的解码器中实现视频、音频同步会遇到的问题和解决的方法。实践证明，这些方法是有效的，已用于我们的MPEG-2信源解码器中。     

一种基于音频的节目信号同步检测方法

节目信号通过不同链路进行传输时,由于信源、信宿、传输干扰等因素,为了保障传输的安全性,需要对信号的同步性进行检测。基于音频进行同步检测具有处理数据量较小、信号变化复杂度低、检测处理的实时性较好等优点,通过对音频信号进行去噪、线性比预估、配准点搜索、配准点校验和容错同步性检测提出了一种基于音频信号的同步检测方法,实验结果验证了方法的可行性和有效性。     

无线传感器网络高精度时间同步机制

无线传感器网络中,发送节点和接收节点间的延时包括发送延迟、访问延迟、传输延迟、传播延迟、接收延迟和接收处理延迟。传统的泛洪式时间同步算法在传感器节点上实现时一般选择在MAC层打时标来避免发送延迟和接收处理延迟。但是由于CC2530节点在发送消息前会进行空闲信道评估,那么信道的访问延迟是不能忽略的。文中提出了一种基于SFD硬件捕获机制的泛洪式时间同步机制,该同步机制避免了访问延迟对时间同步精度的影响,使同步精度保持在微秒级。     

模数混合环境下的定时和同步

本文首先回顾了模拟视频的同步,详细介绍了标清数字视频的定时基准信号,重点分析了数字视频系统定时的测量和调整方法,对音频的同步也作了简要分析。     

模数混合环境下的定时和同步

回顾了模拟视频的同步，详细介绍了标清数字视频的定时基准信号，重点分析了数字视频系统定时的测量和调整方法，对音频的同步也作了简要分析。     

基于ACR的多屏同步互动应用技术浅析

近年来,以家庭融合网络和智能终端为载体,联通网络虚拟社会和现实生活环境,面向家庭提供文化娱乐、生活消费、社区公益等综合服务的数字家庭服务形态成为了焦点。本文重点分析了数字家庭服务中的多屏同步互动应用技术,包括系统总体架构,基于云的平台架构,音频水印、视频水印、音频指纹、视频指纹四种ACR技术以及相关应用业务,并对多屏同步互动应用的趋势和发展进行了探讨,为日后基于自动内容识别技术的多屏同步互动应用实现与改进提供了参考。     

视频信号分配器引发播出故障的分析与处理

故障现象:多媒体中控计算机播放节目时,显示器及视频同步延时器输出的图像出现杂乱无规律的纹波干扰,音频信号正常.     

基于H.264/AVC的音视频同步压缩方法

利用H.264/AVC标准中DCT系数的奇偶特性.在编码端将音频比特流嵌入到视频DCT系数中一起压缩传输,在解码端解出视频同时根据相应算法提取出音频信息,从而实现音视频的同步压缩.实验表明该方法在不增加数据量的前提下,可以无失真地还原出音频信号,对视频质量影响很小.     

流媒体技术(10)

第十章流服务器　第一节概述　流服务器在提供流服务中起着关键的作用.为了提供高质量的流服务,要求流服务器在定时限制下处理多媒体数据,以便在客户播放期间不会出现人为失真（例如视频运动的抖动和音频的爆裂声）.此外,流服务器必须支持类似VCR的控制功能,如停止、暂停/重新开始、快进和快退等.而且,流服务器必须以同步方式读取各媒体内容.例如,读取一个演讲图像,需要把视频和音频与演讲幻灯片同步.     

数字电视系统中唇音同步问题的探讨

分析了在数字电视中由干制作、传输系统对声音、图像信号的延时不同有可能会造成音频与动态视频不同步现象的原因,对传输系统作了初步的探讨和测试.