面向编码和绘制的多视点图像深度估计

针对自由视点三维电视系统中深度估计不准确将给后续多视点深度编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点图像深度估计算法。首先对初始深度进行一致性检查,并采用自适应匹配误差策略删除不可靠的匹配以减小初始深度的误匹配。然后根据融合准则将多幅参考深度图合成为一幅深度图以提高深度图的精度。最后,采用多边滤波...     

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。     

基于卷积神经网络的虚拟视点空洞填补

为了提高虚拟视点绘制中空洞填补的质量,本文提 出一种基于卷积神经网络的虚拟视点空洞填补算 法,包括图像预处理、特征提取和空洞填补三部分。首先,对双视点虚拟视点图像进行预处 理,即利用深 度图像绘制(Depth Image Based Rendering,DIBR)技术得到空洞填补前的图像和空洞掩膜 ;然后,通过卷积 神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络 ;最后,利用 提取的特征填补虚拟视点中的空洞。实验结果表明,本文算法能较好地保持虚拟视点图像前 景和背景的锐 利边缘,主观视觉感知效果佳,同时,对不同场景测试序列的客观评价指标PS NR和SSIM都能取得满意结果,该方法能有效地填补虚拟视点中的空洞。     

易错网络中面向虚拟视点绘制的宏块模型

为了降低传输失真对自由视点视频虚拟视点质量 的影响,提出了一种同时适用于彩色图及深度 图的宏块区分模型。模型主要包括两部分:首先结合立体视频时空域的相关性,在 考虑错误扩散 的基础上,提出一个递归形式的宏块级传输失真模型;之后分别讨论彩色图失真和深度图失 真对虚拟视点 质量的影响,进而提出了一个低复杂度的基于绘制失真分析的重要性模型。实验结果表明, 与随机丢包相比, 本文算法能在不改变丢包率(PLR)的情况下大幅提高虚拟视 点的客观 质量,在PLR为20%时,平均峰值信噪 比(PSNR)最大能提 高15.65dB,且主观质量接近零传输失真情况。     

数字机顶盒技术概述

有线广播电视网正向数字化、网络化、产业化方向发展 ,最终建成宽带综合信息网。依托有线广播电视网提供综合信息业务的关键设备之一是用户终端设备数字机顶盒 (ＳＴＢ)。下面介绍数字机顶盒定义、功能及分类 ,并重点介绍目前数字机顶盒的关键技术。1　机顶盒的定义对于机顶盒 ,目前没有标准的定义 ,传统的说法是 :“置于电视机顶上的盒子。”它是利用有线电视网络作为传输平台 ,电视机作为用户终端 ,以提高现有电视机的性能或增加其功能。由于功能和用途不同 ,使得“机顶盒”这个概念有些模糊不清 ,如早期的增补频道机顶盒、图文电视机顶盒…     

双向电缆电视

本文介绍了双向电缆电视的概念，进而讨论了双向电缆电视的信息交换形式，双向系统的分析，设计和其它技术问题，最后指出了双向电缆电视的发展方向－－宽带综合信息网。     

高质量的虚拟视点图像的绘制方法

针对应用深度图像的绘制(DIBR)技术生成的虚拟视点图像中存在的空洞问题,提出了一种基于DIBR的高质量的虚拟视点图像绘制算法.先由多幅参考图像分别生成同一虚拟视点位置的多幅目标图像,将这些虚拟视点目标图像融合为含有少量空洞的目标图像.然后采用逆映射的方法在多幅参考图像中找到这些剩余少量空洞的对应内容并填充空洞,从而生成高质量的虚拟视点图像.实验结果表明最后生成的虚拟视点图像具有良好的视觉效果.     

基于几何模型的高质量虚拟视点绘制

该研究主要完成用kineet获得的“单路纹理+深度图像”来生成新的虚拟视点图像.针对深度图像的虚拟视点绘制技术(Depth Image Based Rendering,DIBR)生成的虚拟图像空洞问题,利用高斯混合模型分离前背景,背景空洞采用背景值填充,前景空洞采用改进的图像修复技术方法来填充.实验证明生成的虚拟视点图像具有较好的视觉效果.     

基于多视点视频的虚拟会议显示与合成

构造能够支持与会者群组间自然方式交流与交互的虚拟会议人机交互环境是虚拟会议要解决的核心问题.本文介绍了建立半沉浸的投影显示设备构造虚拟环境的方法,能够实现与会者之间空间位置的重构;提出了基于水线的视频对象分割算法,能够稳定地从虚拟会议静态背景环境实时提取与会者对象,以及基于位置的多视点视频重构合成方法.     

面向光场显示的虚拟视点生成技术进展

随着元宇宙产业的发展,光场显示技术因其可以将数字世界与物理世界完美融合,已经成为信息显示技术领域的研究热点,并呈现出视点数量更多、视点密度更大、渲染速度更快的发展趋势。然而,现有的光场显示技术面临着分辨率低、深度受限、视疲劳等多种挑战。本文从人眼立体视觉感知原理出发,对现有的双视点、多视点和超多视点光场显示技术的成像原理和典型方案进行整理和总结。同时,对现有基于单信源和多信源虚拟视点生成技术进行归纳对比,着重分析各项技术在虚拟视点生成质量和渲染速度等方面的可行性和实现效率,并对光场显示技术的未来发展方向进行了展望。     

自由视点视频系统中虚拟视合成及校正方法

根据多视点视频中的几何约束关系,提出了一种基于图像的新视点重建方法,能够根据所选择方位重建虚拟视;针对虚拟视中合成误差,提出了基于平面扫描的校正方法,最终获得了主观质量和客观质量均优于传统方法的虚拟视。     

面向六自由度视频应用的多视点视频码率分配

六自由度(Six Degree of Freedom,6DoF)视频系 统允许用户从全方位、以任意视角身 临其境地体验场景,是沉浸式视频技术的发展方向。根据6DoF视频系统中用户观看位置的变 化,对多视点彩色与深度视频的码率分配是高质量场景生成的关键。本文从虚拟视点的失真 出发,提出一种基于虚拟视点质量预测 (Quality prediction model of virtual view,QP MVV)模型的视点级码率分配方法。首先理论分析了彩色和深度视频编码失真和虚拟视点失 真的关系,然后通过实验统计分析了虚拟视点质量与彩色和深度视频编码量化参数的关系, 建立了多视点彩色和深度视频的QPMVV模型,最后推导出多视点彩色和深度视频的相关视点 的码率分配比例。实验表明,与平均分配的方法相比,本文码率分配方法能显著提升虚拟视 点的主观和客观质量。虚拟视点越偏离中心位置,质量改善越明显。     

基于空洞填补的虚拟视点绘制方法

针对虚拟视点绘制过程中出现的空洞问题,提出一种改进的虚拟视点绘制方法.首先通过自适应中值滤波消除虚拟视点图像中细小的空洞,其次通过双向映射对两幅虚拟视点图像进行融合来填补较大的空洞.实验结果表明,该方法绘制出的虚拟视点图像无明显空洞.     

多视点快门眼镜式3D电视系统

改进了现有的快门眼镜式3D电视系统,解除了眼镜式3D电视只能观看两个视点图像的限制.系统在电视屏幕上交替显示多个视点的3D图像,借助快门眼镜与屏幕显示的精确配合,使观众在屏幕前的不同位置看到不同视角的3D图像.以4视点系统为例,对系统构成、功能机制、工作流程、可行性等方面进行了阐述.     

一种基于虚拟视点合成的快速深度图编码方法

为了降低深度图编码复杂度并保证虚拟视点主观质量基本不变的情况下,本文面向三维视频系统采用最大可容忍深度失真(Maximum Tolerated Depth Distortions,MTDD)模型,并设计提出一种基于虚拟视点合成的快速深度图编码方案,它包括1)基于MTDD的LCU四叉树提前决策、2)检测是否对绘制失真敏感的竖直边缘区域等2个算法。首先,根据MTDD的可容忍性不同,给出应用于不同类型深度范围提前决策算法;然后,检测是否对绘制失真敏感的竖直边缘区域,根据不同的策略进行模式选择搜索;最后,融合这两个算法进一步降低视频编码的复杂度。实验结果表明,所提出的算法在不降低绘制视点质量和编码码率基本不变的情况下,降低了-68.844%编码时间。     

基于三维感知的立体虚拟视点图像质量评价方法

为了评价立体虚拟视点图像的质量,提出了一种基 于三维感知的客观评价方法。综合考虑了立体虚拟视点图像两大最主要失真类型:单视点绘 制失真和立体视点不匹配失真。针对单视点绘制失真,先提取 当前视点失真图与无失真图的差异性区域,再针对该差异性区域计算平均结构相似度(MSSIM ),最后将左 右视点平均池化作为单目纹理特征值;针对立体视点不匹配失真,先对左右视点失真图分别 进行视差映射, 再提取映射图与该视点失真图的差异区域作为双目不匹配区域,然后针对不匹配区域计算MS SIM 值,最 后将左右视点平均池化作为双目竞争特征值;最终将两个特征值幂次融合,作为最终的立体 虚拟视点图像 质量评价客观指标。实验结果表明本方法有效匹配主观打分的DMOS值,皮尔森线性相关系数 和斯皮尔曼 秩相关系数分别为0.911和0.900,正确反映了 立体虚拟视点图像质量。     

基于3D-HEVC的多视点纹理加深度的联合比特分配算法

首先依据视频序列的统计特性,建立纹理 比特率和深度 图比特率与虚拟视点失真之间模型;然后分别建立拉格朗日算子与纹理、深度图比特率的对 应关系,在前 两步的基础上构建由虚拟视点失真模型和拉格朗日算子的代价方程,为了保证目标 码率与输出码 率在一定的误差范围内,建立纹理比特率和深度比特率的受限约束方程;最后利用目标码率 的约束方程,求解 出最优的纹理比特率和深度图比特率。实验结果表明,提出的算法与目前流行的多视点纹理 加深度的算法 相比,在相同的编码比特率情况下,虚拟视点和基本视点客观质量平均提高0.15dB,因此具有更高的编码效率。     

基于光栅的手机多视点立体显示技术研究

研究了基于多视点立体视频处理系统的手机客户终端显示技术。针对现有的8视点光栅立体手机显示技术的缺陷,在原有8视点立体图像合成算法的基础上,研究视差原理及校正方法和视点配对原理,采用调整视点间视差和减少视点数两种解决方案,并提出将两种方案进行结合的方法。经实验验证,本文提出的两种方法在保证原有立体显示效果的基础上,大幅度提高了立体显示的舒适度。     

基于虚拟视点绘制失真估计的深度图帧内编码

该文针对目前压缩深度图时很少考虑直接地减少绘制失真的问题,探索一种以绘制视点为最小化失真的方法来压缩深度图,建立由有损深度编码引起深度变化造成的绘制视失真(不是由绘制方法引起)的估计模型.首先推导由深度编码造成每个像素深度变化在绘制上的影响,然后计入由视频的局部特性对绘制失真的影响因素,提出一种精确的基于区域特性的绘制...