基于生成模型的视频图像重建方法综述

基于像素相关性的传统视频压缩技术性能提升空间受限,语义压缩成为视频压缩编码的新方向,视频图像重建是语义压缩编码的关键环节。首先介绍了针对传统编码优化的视频图像重建方法,包括如何利用深度学习提升预测精度和利用超分辨率技术增强重建质量;其次讨论了基于变分自编码器、基于生成对抗网络、基于自回归模型和基于Transformer模型的视频图像重建方法,并根据图像的不同语义表征对模型进行分类,对比了各类方法的优缺点及其适用场景;最后总结了现有视频图像重建存在的问题,并进一步展望研究方向。     

基于图像块码本模型的监控视频背景参考帧生成方法

为解决背景参考帧受前景污染严重，以及传输背景参考帧导致的码率突增等问题，针对背景较稳定的监控视频，提出一种以图像块为基本单元的渐进式背景参考帧生成方法。所提方法建立了基于聚类的图像块码本模型，利用基于感知哈希的码元匹配，将视频序列中处于同一位置的图像块进行聚类；利用背景图像区域特性准确检测背景码元；利用码本模型从不同帧中检测出背景图像块生成完整的背景参考帧。实验结果表明，所提方法编码效率相比标准HM16.20在亮度分量上提升17.89%，有效提升了背景参考帧生成质量，且时间复杂度满足视频实时性需求。