光场深度信息提取及渲染质量研究

发布时间：2020-06-08 16:51

【摘要】：近年来,光场成像技术的发展打破了传统相机的限制,给计算机视觉和虚拟现实技术带来新的思路。光场成像技术被应用到虚拟现实,自动驾驶以及人脸识别等领域中,在这些领域中,深度估计技术至关重要。深度估计是一种能够分析场景中物体和理解物体的技术,我们可以利用深度信息进行插值渲染合成新视角图像。对于三个自由度加视频来说,任意视角的深度估计结果都同等重要,该结果决定渲染图像的质量进而影响用户的体验。当前大部分算法研究的是中央子孔径的深度估计,并没有考虑非中央子孔径深度估计的准确性。因此,对适用于任意角度子孔径的深度估计算法的研究是十分必要的。深度图的准确性不单单受深度估计算法的影响,光场数据的质量也会影响其准确性。在实际情况中,光场数据量是十分庞大的,如果直接对光场原画进行传输,对带宽要求是十分高的,因此,一般在传输前对光场数据进行压缩。从客观数据差异和主观用户角度出发分析光场质量对深度估计和渲染结果的影响,该分析结果对算法优化具有十分重要的指导意义。基于此背景下,本文提出任意角度子孔径图像的深度估计算法,同时设计并实现压缩光场渲染系统,在该系统上进行主观和客观质量分析。为了提高光场所有子孔径深度估计的准确性,本文提出了任意角度子孔径图像的旋转平行四边形算法。任意角度子孔径图像的旋转平行四边形算法根据角采样图像的成像是否具有一致性来检测遮挡。非遮挡点直接用相应的中央子孔径图像的结果填补,遮挡像素点用自适应旋转中心的旋转平行四边形算子求取。在此基础上,设计了可信度矩阵来衡量不同方向极平面图像所得到的直方图距离,通过直方图距离可信度加权和的方式减少遮挡的影响。最后对不同的场景提出不同的深度图优化方法。实验结果表明,在不同场景中,本文算法在非中央子孔径的深度估计结果都优于原始算法。为了分析光场质量对深度估计算法和渲染算法的影响,本文设计并实现压缩光场的渲染系统,该系统包括光场压缩数据的解码、光场渲染和渲染图像的虚拟现实显示三部分,其中光场渲染是利用深度信息进行插值。该系统完成不同光场质量的深度估计及渲染的功能。在压缩光场的渲染系统上进行主观和客观质量分析,分析光场质量对深度估计和渲染的影响。实验结果证明,本文的算法对光场质量具有一定的鲁棒性,当光场压缩率在一定的范围内,其性能保持良好。同时在不同的压缩率下,本算法性能始终优于原始算法。
【图文】：

二维图像,微透镜,图像,子孔径

其微透镜图像包含了场景相应区域的纹理；对于处于主透镜焦平面的物体，在微透镜图像中呈现同一的颜色。图2.11 微透镜图像2. 子孔径图像从微透镜图像中提取同一角度不同位置的像素点，可以组成某一视角中场景的成像，即子孔径图像* *,I ( , )u vs t 。子孔径图像个数和宏像素块中的像素个数相同。每个子孔径等效为相机阵列采集方式中某个方向拍摄场景得到的图片，且每个子孔径之间存在一定的视差，图 2.12 为一个微透镜图像中所有的子孔径图像。由于光场图像同时记录了多个视角的图像信息，受传感器数量的影响，子孔径图像的分辨率比传统二维图像的分辨率小。3. 极平面图像极平面图像（Epipolar Plane Image，EPI）可以看作是对四维光场数据的二维切片。光场 L ( s , t , u , v )如果固定坐标* *( t , v )，改变 ( s , u )

子孔径,图像,像点坐标

子孔径图像
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;O439

【相似文献】