结合深度信息的多视点视频编码快速模式选择算法

多视点视频加深度(MVD,multi-view video plus depth)的编码格式包含多个纹理视频序列及其对应的深度图,深度图与对应的纹理视频具有相似的边缘信息。传统的编码模式不考虑两者的联系,单独编码导致复杂度高、编码时间过长。因此,合理利用深度图与纹理图的相似性进行编码,可以有效降低编码复杂度,同时应该确保编码质量不受影响。本文利用深度图的这一特点辅助纹理视频的编码,提出一种帧间快速模式选择算法,充分利用深度图与纹理图之间的相似性,建立一种联合复杂度模型,根据模型得到每个宏块的复杂度。对于复杂度低的宏块,在计算率失真代价之前跳过编码中一些不必要的模式,从而降低编码复杂度。实验表明,本文提出的快速模式选择算法,在保证率失真性能基本不变的情况下,能减少60.57%的编码复杂度,并最高能减少80.64%的编码时间。     

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄 像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的 深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重 要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时 域一致性。理 想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同, 这将严重影 响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以 通过对纹理图 的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出 一种基于 自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值 不连续的错误,产生 更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

基于边缘增强的深度图超分辨率重建

准确的深度图像获取是计算机视觉中的一个难题 。传统的立体匹配得到深度的方法不仅计算量大,而且在纹理稀疏与重复区域往往存在较大 的误差。主动式深度传感器虽然解决了这些问题, 但其获取的深度图存在着分辨率低和易受噪声干扰的问题。因此,本文提出一种结合彩色图 像信息 的深度图超分辨率(SR)重建方法来提高深度图的质量与分辨率。首先运用自回归(AR)模型 下的非局部均值(NLM)算 法获取初始的上采样深度图;然后利用边缘提取与边缘修复算法优化深度图。实验结果表 明,本文提出的方法能够生成误差更小、主观质量更好的高分辨率深度图。     

基于图割的高质量深度图获取方法

3DTV作为下一代视频广播系统,还有许多技术难点有待解决,其中深度估计是3DTV的关键技术之一。为了获取高质量的深度图,提出基于图割(graph cut)的深度估计方法。该算法在构建能量函数的数据项时,通过对窗口内各个像素赋予自适应权重,引入梯度信息以抑制因亮度差异导致的误匹配问题并保护边缘信息。然后,经过交叉检测将深度图像素分为可靠点与不可靠点两类。对检测后的深度图进行后处理迭代优化,从而提高所获取深度值的可靠性。实验表明此算法估计出的深度图用VSRS绘制虚拟合成视时比标准的深度估计软件DERS5.1可有效提高虚拟视质量。     

飞行时间深度相机和彩色相机的联合标定

飞行时间（TOF）深度相机等深度传感器可以实时、准确地获取深度信息,在计算机视觉领域受到广泛关注。本文以获取同一视野下场景的纹理信息和深度信息为目的,在传统的棋盘格标定方法基础上,针对TOF深度相机的低分辨率和较大的径向畸变的特点,采用角点稀疏的棋盘格作为标定板以提高角点检测的精度,提出一种TOF深度相机和彩色相机的联合标定方法。首先对彩色相机和深度相机单独标定,使用传统的棋盘格标定方法获得彩色相机的内部参数,对使用深度相机所拍的强度图进行畸变校正后再求得深度相机的内部参数。然后,固定两相机内参,多次实验获得两相机之间的相对位置关系,并使用最小二乘法进行优化。实验结果表明,该方法标定精度高,彩色相机的重投影误差最多可减小0.15个像素,深度相机的重投影误差最多可减少0.09个像素,根据标定结果将深度相机所得的深度图投影到彩色相机的视野下所得的投影深度图能和彩色图像精确对齐。      

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时域一致性。理想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同,这将严重影响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以通过对纹理图的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出一种基于自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值不连续的错误,产生更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。