面向多模态自监督特征融合的音视频对抗对比学习

目的 同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法 提出了面向多模态自监督特征融合的音视频对抗对比学习方法：1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果 本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination...     

基于3G网络的车辆定位与视频监控系统设计

针对新一代无线车辆监控系统需要传输车辆定位和视频等宽带信息的需求,使用具有宽带传输能力的3G移动通信网络传输;介绍了监控系统的总体设计方案,并着重分析了车载移动监控终端的硬件结构、软件设计、视频的编解码标准、信息传输方案;系统视频方案由于采用了具有我国独立知识产权的AVS标准,规避了国际专利追偿风险,同时,3G网络的传输能力确保了监控质量;试验表明,系统能实现最大分辨率为VGA的动态视频监控,车辆定位精度(≤)10m.     

接电话前请先“摇”一下 JAWBONE ERA蓝牙耳机

好像总有人觉得使用蓝牙耳机的行为有些“装”,但是我倒是很习惯用蓝牙耳机接打电话．解放双手的通话确实给我的日常生活带来了一些方便。不过绝大多数情况下,既使使用蓝牙耳机．我们也需要一个接听的操作．例如按下蓝牙耳机上的某个按键才能接听电话,这样的设计多少也是一点麻烦,毕竟耳机本身的设计很小巧．而且佩戴在耳朵上的时候无法看到．盲目寻找接听键多少有些困难。     

Android通话拦截和强插应用研究

该文先简要介绍了Android平台和Android平台的下的开发,并针对通话拦截和强插所需要的两个知识Broadcast Receiver和Telephony Manager类进行说明,再介绍如何通过AIDL及JAVA反射机制,使用隐藏的ITelephony接口,并研究了通话拦截和强插技术在Android下的实现,最后总结全文,并引出对Android权限管理的一些思考。     

基于OpenMP的AVS并行编码算法研究与实现

为了提高新一代音视频编解码技术标准AVS的编码速度,利用OpenMP在多核处理器平台上研究并实现了AVS的GOP级、条带级,帧级和基于任务队列模型的帧级并行编码算法.对CIF格式的视频序列进行了测试,在四核处理器平台上加速比最高能达到3.82x.另外,基于任务队列模型的帧级并行算法在保持图像质量不变的基础上解决了帧级并行算法加速比偏低的缺点.实验结果表明,OpenMP是一种简单而有效的并行化编程工具,基于OpenMP的各个AVS并行编码算法与原串行算法相比,编码速度都有显著提高.     

网络通话 一机足矣——华为Smakit S7

每次出门之前,我都要检查自己随身携带的那些设备：手机——保持电能充足,除了短信通话之外还得挂上QQ;iPod touch——有音乐,有相声,还得有游戏。当然有人会说：“你背个笔记本不成啊？”还真不成,那个大家伙背着多麻烦！     

基于SIP音视频通信软件的设计

本文利用SIP协议在Win2K系统平台上设计实现了一个音视频通信方案。该方案利用开源协议栈oSIP／eXosip实现信令的交换,利用jrtp协议栈实现音视频数据的封装和发送,最后使用了多线程技术设计。     

AVS解码器中帧内预测模块的设计与实现

阐述了AVS视频解码器的总体框架,详细分析了帧内预测的原理与算法,提出了一种可行的帧内预测解码器的硬件设计,给出了每一模块的功能和结构的详细介绍,并建立了一种高效的存储机制。通过FPGA平台的验证,表明本设计完全满足AVS标清视频的实时解码要求。     

矿用带式输送机扩音电话系统研制

针对现有矿用带式输送机监控系统的语音报警声音在胶带沿线不能扩音播放的问题,研制了一种矿用带式输送机扩音电话系统。该系统具有语音报警、半双工通话和打点联络功能,声音清晰度好且音量高达100dB,能够满足煤矿复杂环境的使用要求。     

让字幕与音视频同步

CFan第6期《不怕听力差老外说话能"看"懂》一文中,提到如何将国外无字幕视频通过电脑自带的软件录制音频,并通过国外音频转化网站转成文本。思路确实不错,但实践中有诸多的难点,比如,识别出的文本与视频是不同步的,这会造成理解上的困难,而且也无法在手机、平板上使用。