全景视频基于纬度分段映射算法

在全景视频映射过程中,局部区域往往存在严重过采样或欠采样的问题。针对该问题,提出一种基于纬度分段映射算法(Latitude-Based Segmentation Mapping, LBSM)。用4条纬线将包含全景的球面切分为5个部分,并分别对这5部分用不同的方式进行采样;将所有采样后的像素排布为一整个紧凑的矩形以便于编码;通过扩边方法消除编码过程中产生的痕迹,以此提升视频的主观质量。实验表明,与经纬图映射算法(ERM)、双环带映射算法(DRM)、二十面体映射算法(ISM)相比,LBSM算法能够节省更多码率。与基准算法ERM相比,在使用SPSNR和WSPSNR代替PSNR的情况下,码率分别平均降低11.39%和11.76%,压缩效果显著提升。     

全景视频双环带映射算法

针对全景视频映射过程中局部区域变形过大、冗余数据量极高的问题,提出了一种双环带映射算法（DRP）。首先,根据球面视频的几何特点,结合人眼视度（HVS）这一视觉特性,用两个相互正交的环形区域,将球面视频分割成14个大小相近的区域;然后根据空域采样定理,采用兰索斯插值法,将这14个区域对应的球面视频内容映射为14个大小相等的矩形视频;最后,根据最新视频编码标准的特点,重新排列这14个矩形视频,得到符合编码器标准的紧凑的全景视频。实验结果表明,与经纬图映射算法（ERP）、八面体映射算法（OHP）、二十面体映射算法（ISP）相比,DRP算法在视频压缩性能方面有良好的表现;其中同最流行的ERP算法相比,码率平均降低8.61%,明显提升了视频编码效率。     

全景视频信息空间模型

全景视频是一种以３６０度实景全景图像为基础来构造虚拟环境的技术，本文讨论了利用它来建立一个可操作、可漫游的虚拟信息空间，并就如何建立该空间模型进行研究。该空间具有立体显示和三维虚拟声音，能够组织、存取、操作和表现多媒体空间数据。     

全景视频最小变形双极方形映射研究

球面全景视频映射为矩形视频后才能使用现有编码标准进行编码.针对映射过程中存在内容变形和数据冗余的问题,提出一种最小变形双极方形映射(Minimize Deformation Bipolar Square Projection,MDBSP)算法.算法分三步:将球面按纬度展开成一个等面积的、边界与纬度呈余弦关系的平面图形;用两个三角形和一个矩形组成的多边形近似该平面图形,并使变形度最小;将多边形内像素重排列成一个矩形.实验结果表明,MDBSP算法能有效解决内容变形和数据冗余的问题,压缩效率比经纬图映射提高17.48％.     

基于视点预测的全景视频码率自适应策略

为解决全景视频传输中存在的视频卡顿多、用户体验质量（quality of experience,QoE）低等问题,研究当前主流的视点自适应传输方案,提出一种基于视点预测的码率自适应策略（VPBAS）。首先,构建了一种基于长短期记忆网络和全卷积网络的视点预测模型,模型将视点数据和视频显著性信息进行特征融合,实现不同模态数据的相互补充和修正,提高视点预测的准确率;然后,客户端采用随机森林算法预测当前的可用带宽,并根据视点预测结果和可用带宽信息为视频分块选择码率。最后,客户端把选择的码率信息定期发送给服务器,服务器根据反馈的信息向客户端推送最佳码率的全景视频流,这种交互过程在视频播放期间不断地重复,直至客户端观看完毕。实验结果表明,与现有传输方案相比,VPBAS能有效提高带宽受限情况下的视频观看体验。     

360度视频与视口预测方法综述

360度视频是获取沉浸式虚拟现实体验的便捷媒介之一,近年来受到了广泛关注。视口预测技术是缓解360度视频高网络带宽要求的重要手段。聚焦视口预测技术,首先介绍360度视频的基本概念、背景和360度视频流式框架,对比常用的球面到平面投影方法、视频编解码标准;分析360度视频高网络资源消耗的原因,体现视口预测技术对360度视频流式的重要作用;介绍360度注意力数据集,总结主流公开数据集;将现有的视口预测方法,分为基于用户历史轨迹的方法和基于视频内容的方法,进行系统性的综述,梳理视口预测方法的发展脉络,介绍视口预测方法的最新工作,比较不同方法的特点、优势和不足,并简略介绍了360度显著性检测,360度显著性检测是基于视频内容的视口预测方法中的重点。最后进行总结,分析了现阶段视口预测方法面临的问题,展望了包括视口预测方法在内的360度视频相关技术的未来发展趋势。     

基于实时流媒体技术的全景视频系统

将实时视频采集和虚拟现实技术相结合,探索出一种利用相对经济的采集设备,生成高信息量、强沉浸感的数字媒体的方案。文中介绍了软件系统的设计和实现,并详细说明了系统实现使用的关键技术和相应算法,解决了将流媒体技术与虚拟现实技术相结合的多个难点。全景视频系统系统基于C/S结构在Windows平台上实现,主要利用微软的DirectShow和D3D的开发包,为以后视频会议、数字媒体系统等提供了新的应用前景。     

全景视频的信息组织和实现方法

全景视频不是一般意义的虚拟现实，它提供了一种新型的时空信息组织形式。这种基于实景图像的全景视频，具有广阔的应、用前景和研究价值．本文介绍了全景视频的概念和表现方式，以及利用全景视频技术来构造虚拟现实环境的方法，并提出了实现全景视频的具体方法步骤。     

全景微课视频的设计与制作

现阶段以微视频为主要载体的在线教育模式虽然极大地改变了学生获取知识的方法和途径,但是仍然存在视频表现形式单一、学生体验差的情况,而虚拟现实技术的迅猛发展可以大大改善用户的体验.本文尝试把虚拟现实技术应用于微课视频的制作,通过探讨全景视频的拍摄方法,提出沉浸式的全景微课视频的通用制作步骤,可以大大提高微课视频的表现形式,提高学生的学习兴趣和学习效果.     

全景视频为VR/AR带来的技术挑战

全景视频是一种采用3D投影技术进行360度全方位拍摄的视频,其作为一种新型拍摄技术并不是新技术,相反,该项技术很早就已经提出,只是未引起很大反响,直至最近几年技术才发展成熟.全景视频的发展主要集中在某一个时间段内,可以对该场景和时间段内的事物进行详细的记录,并逐一展现出来.     

Research and realization of panoramic space generation technology

This paper proposed a generation technology of virtual panoramic space. This technology captured multi-channel video images from several camera heads, combined these images real-timely into 360 degree panoramic images and composed a virtual panoramic space with a series of panoramic images.     

一种基于TCP的实时视频传输延时预测模型*

针对TCP重传易导致延时抖动大、降低流媒体播放质量的问题,提出了使用TCP传输实时视频时,播放质量不受TCP重传影响的必要条件,即视频帧发送延时、播放缓冲区延时与网络往返时间需要满足一定的关系式。建立了视频帧发送延时的预测模型,该模型通过输入视频帧长度、丢包率、网络往返时间、TCP拥塞窗口大小与TCP超时重传时间,预测视频帧的发送延时。NS2模拟结果表明,可以通过发送延时的预测值来判断视频帧是否适合采用TCP传输。     

支持QoS的无线视频传感器网络传输模型的研究

无线视频传感器网络(WVSNs)集成了视频传感器、计算机、通信三大技术,是当前国际上的一个研究热点。介绍了WVSNs的结构,并针对网络的QoS问题进行了分析,随后针对网络的QoS需求,综合考虑传感器节点能量、输出码率、传输时延、信道差错率和数据失真等因素,设计了一个提供QoS保证的传输模型,并对常见的QoS路由协议进行了比较。     

边缘加强的超高清视频质量评估

目的 随着网络和电视技术的飞速发展,观看4 K(3840×2160像素)超高清视频成为趋势。然而,由于超高清视频分辨率高、边缘与细节信息丰富、数据量巨大,在采集、压缩、传输和存储的过程中更容易引入失真。因此,超高清视频质量评估成为当今广播电视技术的重要研究内容。本文提出了一种边缘加强的超高清视频质量评估方法。方法 对输入视频的每一帧进行拆分处理,利用边缘检测算子对R、G、B三通道的图像分别进行边缘检测,合并R、G、B三通道的边缘信息得到视频帧的边缘图像。设计边缘掩蔽、内容依赖和时域记忆3个网络模块分别提取相应的特征,将特征输入到全连接层中进行降维处理后获得质量特征,基于质量特征计算输入视频的视频质量分数。由于超高清视频具有丰富的边缘,边缘细节清晰度极高,因此在边缘处引入的失真通常较为明显,而本文提出的边缘加强方法特别适用超高清视频的质量评估。同时由于提出的方法引入了内容依赖和时域迟滞特性,因此也同时适用其他野生视频的质量评估。结果 实验在包括超高清在内的4个视频质量评估数据集上进行,与5种主流方法进行比较,结果表明提出的方法性能优越。在KoNViD-1K、DVL2021、LIVE-Qualcomm、LSVQ据集上,与当前性能最好的方法相比,SROCC(Spearman rank-order correlation coefficient)指标分别提升了3.9%、4.2%、10.0%和0.6%,PLCC(Pearson’s linear correlation coefficient)指标分别提升了3.9%、2.2%、10.1%和0.1%。结论 本文方法结合超高清视频的特点,更好地拟合了人眼视觉特性,获得了当前最好的性能;同时由于未使用光流方法,大幅减少了计算量,获得了很好的泛化能力。     

虚拟现实图像客观质量评价研究进展

随着科学技术的发展,虚拟现实(virtual reality, VR)技术逐渐渗透到医疗、教育、军事和娱乐等众多领域,并凭借在各个领域广阔的应用前景而受到广泛关注。鉴于视觉质量是决定VR技术能否成功应用的关键,且图像是VR应用最基础和最重要的视觉信息载体,VR图像质量评价已经成为质量评价领域的重要前沿性研究方向。与传统图像质量评价类似,VR图像质量评价可以分为主观质量评价和客观质量评价。由于客观质量评价相比主观质量评价具有成本低、稳定性高和应用范围广等优点,对VR图像客观质量评价的研究受到了国内外学者的高度重视。目前,关于VR图像客观质量评价的研究已经取得了一定进展,但是文献中缺少对该方向相关研究方法的综述。基于此,本文针对VR图像客观质量评价的研究进行概述。首先,对VR图像质量评价的研究现状进行分析。然后,重点对现有的VR图像客观质量评价模型进行综述。具体地,根据模型是否需要使用原始无失真图像信息作为参考,将现有的VR图像客观质量评价模型划分为全参考型和无参考型两大类。其中,全参考型方法进一步划分为基于峰值信噪比/结构相似度的方法和基于传统机器学习的方法。根据特征表达空间的不同,无参...     

图像与视频质量评价综述

图像/视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,图像/视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量图像/视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。图像/视频质量评价研究取得了长足的发展,为计算机视觉领域中其他任务提供了一定的便利。本文在广泛调研前人研究的基础上,回顾了整个图像/视频质量评价领域的发展历程,分别列举了传统方法和深度学习方法中一些具有里程碑意义的算法和影响力较大的算法,然后从全参考、半参考和无参考3个方面分别对图像/视频质量评价领域的一些文献进行了综述,具体涉及的方法包含基于结构信息、基于人类视觉系统和基于自然图像统计的方法等;在LIVE(laboratory for image&video engineering)、CSIQ(categorical subjective image quality database)、T...     

相位一致性指导的全参考全景图像质量评价

目的 全景图像的质量评价和传输、处理过程并不是在同一个空间进行的,传统的评价算法无法准确地反映用户在观察球面场景时产生的真实感受,针对观察空间与处理空间不一致的问题,本文提出一种基于相位一致性的全参考全景图像质量评价模型。方法 将平面图像进行全景加权,使得平面上的特征能准确反映球面空间质量畸变。采用相位一致性互信息的相似度获取参考图像和失真图像的结构相似度。接着,利用相位一致性局部熵的相似度反映参考图像和失真图像的纹理相似度。将两部分相似度融合可得全景图像的客观质量分数。结果 实验在全景质量评价数据集OIQA（omnidirectional image quality assessment）上进行,在原始图像中引入4种不同类型的失真,将提出的算法与6种主流算法进行性能对比,比较了基于相位信息的一致性互信息和一致性局部熵,以及评价标准依据4项指标。实验结果表明,相比于现有的6种全景图像质量评估算法,该算法在PLCC（Pearson linear correlation coefficient）和SRCC（Spearman rank order correlation coefficient）指标上比WS-SSIM（weighted-to-spherically-uniform structural similarity）算法高出0.4左右,并且在RMSE（root of mean square error）上低0.9左右,4项指标最优,能够获得更好的拟合效果。结论 本文算法解决了观察空间和映射空间不一致的问题,并且融合了基于人眼感知的多尺度互信息相似度和局部熵相似度,获得与人眼感知更为一致的客观分数,评价效果更为准确,更加符合人眼视觉特征。     

一种基于全景视频的6自由度野外虚拟环境快速构建方法

野外环境的虚拟化是一个具有重要意义的研究领域,关于如何更高效、更便捷地构建野外虚拟环境,以及如何在构建的虚拟环境中获得更高的交互自由度与更好的沉浸式体验,是值得思考的重要问题。因此,提出了一种基于全景视频的6自由度野外虚拟环境快速构建方法,通过对从中提取的全景影像进行深度估计、摄影建模等处理,得到划分为不同远近层次的重建场景;并根据用户的漫游位置实现了近远景的实时动态匹配融合,最终获得了支持一定范围内6自由度漫游的沉浸式野外虚拟环境;通过图像质量的客观指标进行了量化分析验证,并实现了从构建到使用完整流程的野外虚拟环境原型系统作为应用。结果表明,该方法有着高效地使用方式与优良的应用效果,在虚拟化野外地质实习教学等方面有着良好的前景。