视频处理器软硬件协同设计

为了提高视频图像处理速度与硬件资源利用,针对一种基于精简指令集处理器与数字信号处理器（RISC/DSP）混合体系结构的媒体处理器：浙大数芯（MD32）,给出了一种软硬件协同设计策略.所给策略结合视频处理核心算法,研究分析MPEG视频编码标准的处理过程,进行了视频处理指令扩展设计,提高了数据的并行处理能力,利用了指令内并行执行特性.为有效实现扩展指令,处理器执行级采用了可扩展流水级技术.实验结果表明,指令扩展硬件成本仅占MD32的2.7%,逆离散余弦变换实现性能比MMX/SSE指令集实现的性能分别提高31%和23%,运动补偿性能比MMX指令集实现的性能提高了40%.     

基于引导调制的彩色点云无参考质量评价方法

彩色点云(color point cloud, CPC)作为三维场景和对象的有效描述形式,在虚拟现实、增强现实等许多领域得到重要应用。CPC在其采集、压缩、传输、重建等过程中会引入相应的失真,需要设计有效的评价方法对失真CPC质量进行评测。本文提出一种基于引导调制的CPC无参考质量评价方法。考虑到几何信息与彩色纹理信息的联合失真,利用引导调制的方法联立两者,以综合考虑几何失真、彩色纹理失真、联合失真。结合人眼的多通道性,利用剪切波变换提取特征。最后,将所有特征构成的特征向量输入到支持向量回归模型(support vector regression, SVR)学习预测点云质量。实验结果表明,所提出的方法与人类主观感知具有很好的一致性。     

一种水声声速的时频测量综合算法研究

针对飞行时间测量法中信号起振点难以检测而导致的测量误差问题,提出了一种基于时频的综合测量算法,以获得高精度超声波声速。首先运用信号时域互相关法,测量声波飞行的整周期时间;再利用信号频域信息中相位差,获得超声传播群延时信息;最终通过时域与频域综合信息获得高精度的飞行时间测量,从而提高声速的测量精度。声速测量平台采用“FPGA+微处理器”架构,对提出的方法进行验证,实测数据结果表明该声速时频测量算法有效,并具有较好的实用价值。     

虚拟现实中视觉诱发晕动症时空多特征评价

沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness, VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。     

基于混合离散粒子群算法的MPRM电路延时和面积综合优化

Polarity optimization for mixed polarity Reed-Muller(MPRM) circuits is a combinatorial issue.Based on the study on discrete particle swarm optimization(DPSO) and mixed polarity,the corresponding relation between particle and mixed polarity is established,and the delay-area trade-off of large-scale MPRM circuits is proposed. Firstly,mutation operation and elitist strategy in genetic algorithm are incorporated into DPSO to further develop a hybrid DPSO(HDPSO).Then the best polarity for delay and area trade-off is searched for large-scale MPRM circuits by combining the HDPSO and a delay estimation model.Finally,the proposed algorithm is testified by MCNC Benchmarks.Experimental results show that HDPSO achieves a better convergence than DPSO in terms of search capability for large-scale MPRM circuits.     

蓝牙Mesh自组网芯片CSR1024的智能门锁设计

本文设计了一种基于蓝牙的物联网智能门锁.该智能门锁以蓝牙芯片 CSR1024为核心,扩展专用外围触摸芯片和语音芯片,并给出了详细的电池使用时限估计方法.同时给出了基于 CSR Mesh蓝牙自组网技术的智能楼宇物联网控制系统的架构,详细描述了该智能门锁 Mesh组网、数据报收发以及手机端直连控制等功能.该智能门锁能够实现密码分发、各种状态上报以及低电告警等功能,在各类公寓系统应用中取得显著的效果.     

采用SJND模型的动态点云感知编码方法

动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion, SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的SJND模型,应用于纹理图编码过程中的DCT系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与V-PCC标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。     

一种多媒体系统芯片M-SoC的总线调度策略

多媒体系统芯片(M-SoC)是一种典型的多任务系统芯片.芯片内部众多的数据请求源都要通过总线访问单一的片外存储器,合理调度这些总线请求成为系统设计的关键.本文通过详细分析总线上片内外数据通道的特点和数据流量,给出了一种基于多通道DMA的总线调度策略,并将该策略成功运用于单芯片音视频解码系统芯片的总线设计中.该策略有效地融合了DMA请求和总线总裁问题,普遍适用于片级总线多请求的多媒体系统芯片.     

面向媒体DSP系统的DMA控制器设计

通过比较MD16和MD32两个DSP的DMA控制器设计，在软件层而和硬件层面，通过软、硬件结合以系统的观点提出了如何设计基于DSP系统的DMAC，给出了MD16和MD32的DMAC设计结果。     

基于H．264的立体视频右图像整帧丢失错误隐藏算法

当H．264编码立体视频流在Internet上传输时，由于信道错误所引起的数据丢失常常会造成整帧图像的丢失。为了恢复丢失的整帧立体视频右图像，提出了一种基于H．264的立体视频右图像整帧丢失错误隐藏算法，该算法依据立体视频编码特点进行相关性分析，首先确定丢失帧中每个宏块的预测方式，然后采用运动补偿或视差补偿对其进行恢复，进而重现丢失帧。实验结果表明，该算法能够在较低的计算复杂度下，获得较高质量的立体视频图像。