多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

基于视频对象的自适应去帧/插帧视频处理

提出一种降低视频传输比特率的视频编(解)码的预(后)处理方法．该方法通过对视频对象做真实运动估值，把估值低于某一阈值的帧删去而不被传输，仅把被删去帧在序列中的序号传输。在解码后，根据所接收的序列号用相应的参考帧来恢复(替代)被删去的帧。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

基于条件生成对抗网络的稀疏样本回归预测模型

自生成对抗网络提出以来，基于生成对抗网络的拓展模型在图像处理等领域均有显著成效，但其在回归预测问题上的应用较少.在概率回归过程中，通过构建条件概率分布模拟特征与实际目标之间的潜在关系是一种常用方法，但在实际问题中条件概率分布过于复杂，似然估计难以捕捉.为此，首先分析高斯过程回归在稀疏样本回归预测中的预测精度，将其作为稀疏样本回归预测的基准线.通过分析条件生成对抗网络的构造，提出利用条件生成对抗网络解决稀疏样本回归预测问题.最终通过对比分析4种非线性模拟数据回归预测结果，发现提出的条件生成对抗网络模型相较基于Matern32核函数的高斯过程回归具有更好的预测精度.     

生成式对抗网络的应用综述

生成式对抗网络(GAN)是一种优秀的生成式模型,能够不依赖任何先验假设,学习到高维复杂的数据分布。这一强大的性能使得它成为近年来研究的热点,并在诸多应用领域取得了显著的研究成果。首先介绍了生成式对抗网络的基本原理,各种目标函数以及常用的模型结构。然后,详细分析了生成式对抗网络在条件限制下生成图片的各种演进方法。此外,介绍了生成式对抗网络在不同领域的应用,包括高分辨率图像生成、小目标检测、非图像数据生成、医学图像分割等方面的最新研究进展。最后,总结了生成式对抗网络训练过程中的优化技巧。旨在通俗地阐明GAN的基础理论以及发展历程,并从应用角度对未来工作进行了展望。     

帧间差分法在视频监控中的应用研究

分析了现有人工视频监控的不足和智能视频监控的优越性,提出了检测视频中可疑情形的可行方法。为了能够在长时间不间断视频中稳定快速准确地识别出当前监控所遇到的情形,提出了基于视频帧间差分的视频监控处理技术;同时对视频处理进行了区域分割,提高对视频中可疑情况的识别率。实验在Matlab环境下对于录制的视频进行处理,利用改进的帧间差分法检测到视频中的异常情形,得到监控视频中有异常情况的画面,验证了方法的可行性和有效性。     

基于帧间运动的视频分割

视频分割是视频结构化和检索的重要技术 ,目前主要通过镜头分割得到。但许多应用需要对镜头根据摄像机运动作分割 ,现有技术不能满足应用实时需要。提出了一种对P帧运动向量稳健分析计算帧间运动并进行分割的方法。与传统光流法、M估计法比较 ,该算法只在压缩域上进行 ,不需迭代 ,具较强实时性。文中阐述了方法的基本思想、理论依据与实现 ,实验表明 :该方法具有很好的效果     

基于自适应帧采样的视频拼接

针对视频拼接计算量过大的问题,提出了一种分层式自适应帧采样的视频拼接方法。两层帧采样环节分别采用了不同的策略:第1层建立了帧间重叠率和帧间隔的分段线性模型,通过"预测-检验-修正"环节不断的更新采样帧间隔来自适应抽取到满足一定重叠率的准关键帧;第2层在第1层采样的基础上,利用逐帧检测的方法从准关键帧中抽取到满足一定条件的最终关键帧。最后对关键帧进行全景图拼接。与用所有视频帧进行拼接的方法相比,该方法用极少的场景信息损失换取了拼接效率的大幅提高。实验结果表明:该方法对于一般实验场景均能鲁棒地抽取到可靠关键帧,在大幅度降低计算负荷的同时得到高质量的视频全景图。     

基于帧长的巨帧网络时延测量方法

随着千兆网的发展,巨帧技术得到了广泛应用.为准确测量巨帧的传输特性,提出了基于帧长的巨帧网络时延测量算法,修正了Jacobson算法的超时定时器参数,对不同帧长的往返时延序列进行合理分离.实验测量结果发现,与Jacobson算法比对,基于帧长的定时器超时算法得到的时延比较准确,增强了测量过程的时延抖动适应性.     

基于运动估值的视频帧处理方案

提出一种视频帧处理方案，通过这种处理可以有效降低视频传输比特率和改善视觉效果。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

非线性编辑中视频采集的丢帧

视频采集是非线性编辑的一个重要环节,是数字视频加工处理的基础.采集所生成的视频信号品质的好坏将会直接影响整个后期制作质量,而丢帧问题恰恰是影响视频采集的一个重要因素.针对这一问题,从系统硬件的性能、视频采集板卡组件的兼容性和软件使用等几方面进行分析,并提出解决的措施,有效地避免丢帧.     

视频帧插值篡改的被动检测综述

视频帧插值是指利用运动补偿插值或者基于深度学习的视频帧合成并且插入到视频，属于视频特有的时域操作.传统的视频帧插值和深度视频帧插值都可以用于提升视频帧率上转，也可能用于提升虚假的视频码率，以吸引用户访问.系统地综述视频帧插值的被动检测技术.首先，分析视频帧插值技术的帧合成机理，尤其突出深度视频帧插值技术，包括其采用的深度网络模型及其特点，以挖掘遗留的细微痕迹.然后，从篡改手段和遗留痕迹的角度，总结基于手工特征和基于深度学习的视频帧插值被动检测的典型方法，并且从采用的特征和优缺点的角度进行比较.最后，指出视频帧插值篡改检测领域在深度学习时代存在的技术挑战和未来的发展趋势.     

基于视频的改进帧差法在车流量检测中的应用

如何有效去除背景、消除按车道开固定窗检测车辆的方法中,由于车辆换道或相邻车道的车辆部分覆盖了被检测车道检测窗而引起的误检,是车辆检测系统需要解决的一大难题.针对上述问题提出了一种基于视频的改进的帧差法,在检测带内由车辆信息生成数据流,根据数据流的变化进行车辆检测、计数并估计平均车速.从而实现对过往车辆的准确计数,更可靠地收集各车道的车流信息,为智能交通提供实时交通参数.     

基于主动丢帧的实时视频自适应传输

网络传输过程中的丢包现象会对接收端的视频回放质量产生严重的不利影响.为了尽量消除丢包对视频回放质量的影响,提出一种主动丢帧策略,即在视频数据发送之前根据当时的网络状态,选择性的丢弃部分不太重要的帧.仿真结果表明,这一策略显著改善了视频的回放质量,并有效地降低了网络发生拥塞的可能性.     

基于动态帧的视频关键帧提取算法研究

针对基于内容的视频检索系统,提出了一种关键帧提取算法.为了提高算法的保真度和压缩比,首先构造了动态帧,它的每个像素对应一个像素代表灰度集合,该集合中的元素可以最大限度地代表镜头中相应像素的灰度值,然后根据镜头中每一帧与该镜头动态帧之间的距离来确定关键帧.为了验证本算法的有效性,选取了大量视频与TMOF算法及SKF算法进行比较.结果表明:该算法具有较高的准确性和可靠性,保真度和压缩比均高于其他两种算法.     

九宫图格式视频的帧内优化编码

提出一种基于3DTV九宫图格式视频的帧内优化编码算法,充分利用帧内图像所特有的相关性,极大地减小了编码码率。针对九宫图格式的视频预处理,提出了一种适合该特殊格式视频显示的图像下采样方法,实验证明该方法能进一步减小码率,并且能使图像质量改善。整个编码算法完全基于最新的HEVC视频编码标准平台进行实现。在相同PSNR的情况下,相比传统的九宫图视频帧内编码算法,本文算法可以有效地减小码率。     

基于分块帧差的视频图像运动检测

在常用的图像运动检测方法基础上提出了一种改进的运动目标检测算法,即将连续2帧差图像和背景差图像直接相乘,再将相乘的结果进行二值化处理得到运动检测结果,从而将运动目标从背景图像中分离出来,最终得到视频序列图像中运动存在与否的一个二值运动模板,提高了运动检测的效果。     

光流估计补偿结合生成对抗网络提高视频超分辨率感知质量

视频超分辨率(VSR)的任务是利用序列视频帧具有的时间连续性和空间相似性提高视频的分辨率。主流的VSR方法利用像素损失优化网络,导致生成的超分辨率(SR)重建结果边缘模糊、细节平滑。为此,提出了一个新的引入时空特征补偿和多特征鉴别器的端到端的VSR网络框架MC-PETGAN。该框架包括光流估计补偿网络和多特征鉴别生成对抗网络。光流估计补偿网络利用相邻视频帧之间的短时连续和内容相似性特征为多特征鉴别生成对抗网络提供有效丰富的细节信息;生成器与包括像素、边缘和纹理鉴别器的多特征鉴别器的对抗训练促使SR帧与高分辨率(HR)帧的像素、边缘和纹理趋于一致。大量公共数据集和监控视频数据的实验结果表明,该文方法能够有效提高视频SR结果的像素精度,并恢复出清晰的边缘和纹理,而且视觉感受愉快,感知指标有竞争力。     

实时视频传输的帧级别前向纠错信道编码

针对5G通信中低时延、高可靠传输需求,在视频编码传输系统中,给定传输带宽的条件下,提出了视频帧级别的应用层前向纠错(FEC)信道编码的优化方案.联合考虑视频有损压缩失真和信道丢包,选取量化参数(QP)和视频帧FEC码率,优化压缩和FEC编码的冗余分配,改进视频重构效果.又因视频重构图像组(GOP)中,帧内编码(I帧)和靠近它的帧间编码(P帧)具有相似的重要性,所以在给定QP后进一步提出帧级别的动态FEC方案,动态分配I帧和P帧的冗余.随机丢包的仿真传输系统结果表明:1)QP分别为25,30和40时,视频重构在QP为30时效果最好;2)当QP为30,丢包率(PLR)为5%时,相比于传统FEC方案,帧间动态FEC方案可有效提高视频峰值信噪比(PSNR);3)在实际高清需求中通过端到端传输的5G远程驾驶,表明所提出的动态FEC方案可保证路况视频的实时传输.     

基于TCS-LBP算子的视频帧复制篡改检测算法

针对监控视频帧复制篡改,提出一种基于时空域特征的篡改检测算法.受空域局部二值模式(LBP)算子设计的启发,设计一种时域TCS-LBP算子,反映当前视频帧与其前后若干帧在同一空间位置像素之间的关系;然后在当前图像上逐点计算TCS-LBP特征值,构造能同时反映当前视频帧时域和空域特征的特征图像;利用特征图像,逐帧检测是否存在帧复制;对于初步检测到的篡改区域,再进行虚警和漏检的修正以及篡改边界的精确定位.实验结果表明,文中算法具有良好的性能,与现有的2种同类算法相比,性能明显提升.