基于特征点匹配的多视图像校正

多视图像的校正是提高3DTV观看质量的关键步骤之一。现有的图像校正算法大多是双目或三目相机校正,对于平行或弧形相机阵列的多视图像校正的研究较少,而且受相机标定参数和相机间距的影响较大。文章提出了一种对未标定的多目相机图像进行校正的方法,通过寻找匹配特征点,依据匹配点垂直视差的关系计算校正变换矩阵,用以对原图像进行校正变换。实验结果显示,图像间的垂直失配大为减少,校正后的图像能够提供良好的立体视觉主观测试效果。     

基于公共点提取的多视图像校正

自由视点立体视频既可以给观看者强烈的立体感,又可以为用户同时呈现不同角度的视点画面。但是垂直视差的存在,会影响合成立体图像的质量,出现图像的模糊,严重的垂直视差会使图像出现“跳跃”现象,甚至不能观看。因此,多视点图像的校正是提高3DTV观看质量的重要步骤之一。现阶段关于双视点图像校正技术的研究已较多,但多视点图像校正研究却需深入。其中,基于多相机标定参数的校正算法需要提供预先的标定数据,应用不便。本文提出了一种在无多摄像机标定参数情况下,消除垂直视差的校正方法。首先,使用SIFT算法提取图像特征点。然后,利用多视点图像公共点的匹配关系,选取唯一基准视点图像平面计算各视点校正矩阵。实验结果表明,该方法有效降低了垂直视差,限制了校正误差的传播,从而保持了校正后图像质量的一致性。      

基于三维集成成像相机阵列获取的元素图像校正

利用相机阵列获取三维信息实现三维集成成像与显示时,为消除相机阵列空间位置偏差对元素图像阵列的影响,提高再现三维图像的质量,以相机阵列记录系统为基础提出了一种元素图像阵列校正方法。通过特征点位置坐标以及相机位置平移误差和旋转误差的计算,分析了相机阵列位置平移误差和旋转误差与元素图像间的关系,以及校正算法的精度。利用光学实验对该算法进行了验证,结果表明,此方法可有效消除相机阵列位置偏差对元素图像阵列的影响,并且校正后再现三维图像质量明显优于误差图像,峰值信噪比提高了33.6%,实现了基于三维集成成像相机阵列获取的元素图像校正,满足了集成成像的显示要求。     

基于立体图像对的体视显示新算法研究与实现

研究了由带有视差的图像对恢复摄像机矩阵和空间物体的三维几何形状这一多视图三维重构问题,结合Hartley和Rorther等人提出的基于无穷远平面诱导的单应进行射影重构算法,提出了根据图像间的对应关系确定插补图像像素的位置和灰度的新算法,通过这种新算法输出符合双眼特性的体视图像,试验证明插补后体视图像效果较好,速度快。     

一种基于小波-Contourlet变换的多聚焦图像融合算法

利用小波-Contourlet变换良好的多尺度性和多方向性特征,提出一种基于小波-Contourlet变换的多聚焦图像融合算法,引入Cycle Spinning来有效地消除由于小波-Contourlet变换缺乏平移不变性而产生的图像失真.实验结果表明,与其他基于多分辨率分析的多聚焦图像融合算法相比,该算法显著减小了融合图像的RMSE值,提高了融合图像的视觉效果.     

立体图像对校正技术在三维显示中的应用

基于相机阵列的立体视差图像获取是3D立体显示技术的关键步骤之一,它为立体显示提供了丰富多彩的图像源;由于平行摆放的阵列相机拍摄得到的视差图像没有梯形失真和垂直视差,经3D显示设备后不会使观众产生视疲劳,因此,人们在视差图像获取时常采用时平行摆放的相机阵列.然而,在实际的操作中是很难达到这样理想的条件;本文针对常用的非平行摆放的双相机,经由图像校正的处理方法,来获得相同条件下平行式相机拍摄的效果;通过实验表明,该方案简单易行,效果良好,经3D自由立体显示后,观看的舒适度得到了提高.     

一种多摄像机全景视频图像快速拼接算法

针对多摄像机全景成像系统在近距离观测时全景图像存在视差失真和拼接费时的问题,提出了一种自适应调整相邻图像间变换矩阵的快速拼接算法。算法根据相邻图像重叠区域的匹配程度,采用快速自适应优化调整算法确定最佳变换矩阵参数,从而实现全景视频图像的无缝拼接。实验结果表明:本文提出的算法可以快速实现多摄像机全景视频图像的光滑拼接,满足近距离全景视频观测的实际要求。     

零视差点重组在三维图像数字水印中的应用

在基于深度图像渲染（DIBR）水印方案中,利用深度图像和中央彩色图像通过像素平移渲染出左眼视图和右眼视图,嵌入到中央图像的水印信息会受到严重破坏,无法在左眼视图和右眼视图中正确提取水印信息。本文提出一种DIBR中零视差点的三维图像数字水印方法,利用深度值确定视差值,标定视差为零的点,重新组合成新的载体图像,进行水印嵌入。由于视差为零的像素点在生成左右眼视图时没有发生水平移动,所以此方法克服了DIBR过程中的像素平移带来的攻击。实验证明此方法能得到和二维水印一致的效果并且对于高斯噪声和JPEG压缩都具有良好的鲁棒性。      

基于视差场校正和区域分割的中间视图像生成与内插方法

针对中间视图像生成依赖于精确稠密视差场估计以及遮挡区域检测的问题,提出了利用被编码传输的视差场进行中间视生成与内插算法,避免了复杂的视差场估计。本文算法将区域分割与视差场校正相结合,可对原有的误匹配视差进行校正。在中间视内插中,使用区域分割技术来对具有遮挡和模糊区域的内容进行判断,最后根据视差场的特性进行填充。实验结果表明生成的中间视图像具有良好的视觉效果。     

基于视差估计的中间视合成

提出了一种基于视觉估计的中间视合成方法.为了生成高质量的中间视图,在视差估计中提出了一种新的基于自适应权值的方法,并在匹配的代价函数中引入视差平滑性约束项.在获得可靠密集视差图后,通过寻找中间视图中像素点在左、右图像中的对应点来合成中间视.实验结果表明,本算法可以获得很好的视差图,合成的中间视图具有较高的质量.     

基于虚拟曝光图像的立体高动态范围图像合成算法

本文提出基于多视点多曝光图像的立体高动态范围图像合成算法。首 先,考虑多视点多曝光 图像以及相机响应函数曲线的特性,提出一种虚拟曝光图像绘制算法,将不同曝光的图像绘 制到同一视点;然后, 为了使绘制曝光图像保留更多细节和结构,需要对绘制虚拟曝光图像进行空洞填补及边缘修 复,故引入了边缘差值 掩膜图,对图像边缘信息进行校正平滑处理;最后利用绘制的虚拟曝光图像合成立体高动态 范围图像。实验结果表 明,获得的绘制曝光图像与参考曝光视点图像之间的结构相似性高达0.99以上,且合成的 高动态范围图像质量高。     

Color correction algorithm based on camera characteristics for multi-view video coding

Various types of multi-view camera systems have been proposed for capturing three dimensional scenes. Yet, color distributions among multi-view images remain inconsistent in most cases, degrading multi-view video coding performance. In this paper, we propose a color correction algorithm based on the camera characteristics to effectively solve such a problem. Initially, we model camera characteristics and estimate their coefficients by means of correspondences between views. To consider occlusion in multi-view images, correspondences are extracted via feature-based matching. During coefficient estimation with nonlinear regression, we remove outliers in the extracted correspondences. Consecutively, we generate lookup tables for each camera using the model and estimated coefficients. Such tables are employed for fast color converting in the final color correction process. The experimental results show that our algorithm enhances coding efficiency with gains of up to 0.9 and 0.8 dB for luminance and chrominance components, respectively. Further, the method also improves subjective viewing quality and reduces color distance between views.     

Multi-view video coding with view interpolation prediction for 2D camera arrays

An efficient compression algorithm for multi-view video sequences, which are captured by two-dimensional (2D) camera arrays, is proposed in this work. First, we propose a novel prediction structure, called three-dimensional hierarchical B prediction (3DHBP), which can efficiently reduce horizontal inter-view redundancies, vertical inter-view redundancies, and temporal redundancies in multi-view videos. Second, we develop a view interpolation scheme based on the bilateral disparity estimation. The interpolation scheme yields high quality view frames by adapting disparity estimation and compensation procedures using the information in neighboring frames. Simulation results demonstrate that the proposed multi-view video coding algorithm provides significantly better rate–distortion (R–D) performance than the conventional algorithm, by employing the 3DHBP structure and using interpolated view frames as additional reference frames.     

基于联合相机路径的红外视频稳像算法

针对由于视差变化而导致的红外视频稳像技术难题,文中提出了一种基于联合相机路径的红外视频稳像算法,该算法主要包括:预处理、联合相机路径求解、多路径优化、运动补偿四个步骤。首先,要对红外图像进行直方图均衡化、特征点提取和匹配处理、预映射。接着,要将每帧图像分为m×n个网格单元,利用基于网格的映射运动表征,将每一帧中对应网格得到的局部单应性矩阵进行相乘得到联合相机路径。然后,对联合相机路径采用“多路径优化”策略进行平滑处理。最后,利用平滑后路径进行运动补偿稳定视频。实验结果表明,该方法能有效地处理由于视差而引起的非线性运动,相比传统的稳像算法效果更好,当特征点存在部分遮挡时,也能取得不错的稳像效果。     

Efficient disparity vector prediction schemes with modified P frame for 2D camera arrays

An efficient disparity estimation algorithm for multi-view video sequences, recorded by a two-dimensional camera array in which the cameras are spaced equidistantly, is presented. Because of the strong geometrical relationship among views, the disparity vectors of a certain view can for most blocks be derived from the disparity vectors of other views. A frame constructed using that idea is called a D frame in this work. Three new prediction schemes which contain D frames are proposed for encoding 5 × 3 multi-view video sequences. The schemes are applied to several multi-view image sequences taken from a camera-array and they are compared in terms of quality, bit-rate and complexity. The experimental results show that the proposed prediction schemes significantly decrease the complexity of the encoder at a very low cost of quality and/or bit-rate.     

基于3DGMM的多视点视频直方图颜色校正

多视点视频在采集过程中,由于受到摄像机所处位置以及摄像机自身的参数设置等因素的影响,会造成视点间颜色的不一致,针对这一情况,提出基于三维高斯混合模型的多视点视频直方图颜色校正算法。算法首先获取源图像以及目标图像的直方图并检测直方图的峰值个数,然后结合三维高斯混合模型对源图像以及目标图像进行聚类分析,获取中心矢量,最后计算两图像中像素点距离中心矢量的最小欧几里得距离并分割图像,对源图像和目标图像的匹配区域进行直方图匹配校正。实验结果表明,该算法与传统直方图匹配算法相比,避免了校正过度的影响,校正效果较好。     

Multiview Image Acquisition and Projection

A solution for describing both the multiview image set, obtained with a parallel camera layout, and the perceived image in a projection-type full parallax multiview imaging system with a parallel projector layout, is derived. This is done with the use of 4times4 homogenous matrices to quantitatively analyze the image quality in the system. The solution provides a means of finding properties and/or behavior of the perceived image changes depending on the viewer's position in the system. The solution can analytically describe the appearance of three-dimensional images in the space generated by the multiview image set displayed on a projection screen     

基于3D ResNet-LSTM的多视角人体动作识别方法

在基于视频图像的动作识别中,由于固定视角相机所获取的不同动作视频存在视角差异,会造成识别准确率降低等问题。使用多视角视频图像是提高识别准确率的方法之一,提出基于三维残差网络（3D Residual Network,3D ResNet）和长短时记忆（Long Short-term Memory,LSTM）网络的多视角人体动作识别算法,通过3D ResNet学习各视角动作序列的融合时空特征,利用多层LSTM网络继续学习视频流中的长期活动序列表示并深度挖掘视频帧序列之间的时序信息。在NTU RGB+D 120数据集上的实验结果表明,该模型对多视角视频序列动作识别的准确率可达83.2%。     

基于多视点伪序列的光场图像压缩

近年来，作为一种能够提供更富有沉浸感的多媒体媒质，光场图像（Light Field Image，LFI）引起广泛的关注。针对光场图像数据量巨大的问题，本文提出了一种基于多视点伪序列的光场图像高效压缩方案。在编码端，所提方法首先将光场相机捕获得到的原始光场图像根据相机的微透镜阵列分解成子孔径图像。接着根据子孔径图像存在较强视点内和视点间相关性，选取部分子孔径图像进行多视点伪序列构建，基于MV-HEVC设计适用于多视点伪序列的预测编码结构进行编码。在解码端，所提方法基于已解码多视点伪序列通过视频帧插值方法重建出未编码传输的子孔径视图，从而重建出全部光场图像。实验结果表明本文所提算法优于现有基于视差引导稀疏编码的光场图像压缩方法，BD-rate平均节约18.5%，BD-PSNR平均提高1.28dB。