2D-3D视频转换技术研究(3)

菜单

ATTEST项目比之前关于三维电视系统的方案有很大的进步：一方面，它可以兼容现在的数字电视系统，二维视频仍然可以利用现在的数字视频广播（digital video broadcast,DVB）系统定义的MPEG视频编码工具进行编码，而附加的深度信息可以利用新的编码标准比如MPEG H.264/AVC进行编码，这种三维电视方案，相对于传统的二维数字广播系统传输开销仅仅增加了10%~20%；另一方面，立体图像是在接收端通过渲染技术得到的，这样深度范围可以根据三维显示器、观看条件和用户个人喜好的不同进行调整。二维视频加深度的数据表示形式也被普遍认为是未来三维电视系统的基础。论文网

在ATTEST项目的基础上，研究者们又提出了一种更高级的3DTV系统方案，作为ATTEST项目的扩展。其中，3D内同的获取有多重方式，比如：采用立体相机获取两路视频流，采用深度摄像机获取视频加深度的数据流，采用摄像机阵列获取多路视频流，或者将传统的二维视频转换为三维数据格式。相比于ATTEST项目采用的“一路视频+深度图序列”的数据表示方法，这种方案可以获得“N路视频+深度图序列”（N≧1）的数据流，其中N取决于3D内容的产生过程；在接收端，利用DIBR方法可以将经过编码和传输后的数据流转换成M路视点的视频流。

由N路采集视频流到M路显示视频流的转换可以适应不同的显示器的要求，比如传统的兼容DVB系统的显示器只需要两路固定视频的视频流，单用户头部跟踪的自动立体显示器根据头部位置的不同视点的两路视频流，多用户多视点的自动立体显示器需要多于两路的视频流。

1.2 研究意义

从三维电视系统的法阵过程可以看出，无论是ATTEST项目，还是更高级的ATTEST项目的扩展，都把2D-3D视频转换看作3D内容获取的一个重要方式。这是因为，任何3DTV系统的成功在很大程度上取决于是否存在大量生动有趣的三维视频资源。充足的三维视频内容可以使人们愿意花钱国脉比普通显示器昂贵的三维显示器或3DTV系统服务，尤其是在3DTV普及的早期阶段。

采用深度摄像机或摄像机阵列录制大量新的三维视频内容不仅需要花费大量的金钱，还需要一定的时间，这会限制3DTV系统的发展和普及。将现在已有的二维视频转换为三维视频尅弥补目前三维片源不足的问题。而且，将二维视频转换为三维视频不仅可以丰富三维视频资源，促进3DTV产业的发展，另一方面，它还可以使人们以三维的形式重温经典的二维视频资源。

1.3 2D-3D片源转换技术热点发展现状

1.3.1 基于双目视差的深度图像提取

1.3.2 基于运动视差的深度图提取

1.3.3 基于线性透视的深度图像提取

1.3.4 综合深度图像提取

1.4 论文的章节安排

本论文的主要研究内容分为四个章节，安排如下：

第一张为绪论，介绍了课题的研究背景和研究意义，总结了目前2D-3D的热点方法，并给出了论文章节安排。

第二章详细介绍了立体视觉的基本原理和基于不用类型的线索二提出的2D-3D的转换方法。

第三章介绍了块匹配法的基本原理，并给出了通过块匹配法获得深度图的一种搜索算法。

第四章给出了算法的详细步骤以及通过该算法得到的实验结果。

2 2D-3D转换方法简介

传统的2D视频只有水平和垂直方向的信息，而3D视频还包含了深度信息。因此，要实现2D-3D的转换，就必须从原有的2D视频中根据一些线索提取出深度信息。这些线索包括双目视差，运动视差、散焦、聚焦、轮廓、几何透视、图案纹理、大气散射、阴影、遮挡等，不同类型的视频可选用不同的线索来获取深度信息。3D渲染原理基本可以分为2大类：第一类是采用了双目立体技术的渲染（binocular stereoscopic rendering, BSR），它十分类似于传统的2D电影的渲染方式，通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一类是基于深度图的渲染（depth image-based rendering, DIBR），其转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端将其输出，并将其转换为双目立体视频。