应用于视频编码的实时多测度联合突变场景切换检测算法

提出一种与视频编码器共用运动搜索模块的实时场景切换检测算法.通过分析原始图像与其运动补偿图像的一阶与二阶差值信号统计特性,分别构造对应于不同场景切换类型的两种测度函数,并联合使用该测度函数检测突变场景切换,同时自适应调节每个测度函数输出值的判决门限.分析和实验结果表明,该算法在视频编码位移估值基础上只增加少量的计算,而对视频序列中的突变场景切换检测的查全率和查准率均优于已有的几种实时检测算法.     

结合SIFT算法的视频场景突变检测

视频场景变化检测对于视频的标注以及语义检索具有非常重要的作用。本文提出了一种结合SIFT(Scale Invariant Feature Transformation)特征点提取的场景变化检测算法。首先利用SIFT算法分别提取出视频前后帧的特征点并分别统计其数量,然后对视频前后帧进行图像匹配,统计匹配上的特征点数量,最后将该帧的匹配特征点数量与该帧前一帧的特征点数量做比值,从而通过该比值判断场景变化情况。实验结果表明,视频场景突变检测率平均可以达到95.79%。本算法可以在视频帧进行图像匹配的过程中对场景的变化情况进行判断,因此该算法不仅应用范围较广,还可以保证场景变化检测的精度,仿真结果证明了算法的有效性。     

应用于多视点视频编码的基于深度特征的图像区域分割与区域视差估计

基于多视点视图深度特征,提出一种通过简单块匹配运算划分多视点视图区域并估计区域视差的算法.首先基于深度对象的概念确定图像中具有不同深度的区域数量以及这些区域对应的区域视差,再根据误差最小化准则初步确定每个图像块所属区域.当区域中图像块数量小于某个阈值时,采用区域合并算法将该区域中的每个图像块合并到与它的视差最为接近的其它图像区域,通过迭代形成最终的有效图像区域划分.实验表明,该算法能够以图像块为基本单元有效地划分各深度层区域,并准确估计对应的区域视差.     

利用反向投影的flash场景自适应视频编码算法

针对闪光造成的光照变化会导致视频帧之间巨大的强度差异问题,提出利用反向投影的flash场景自适应视频编码算法。根据直方图差异提取闪光和非闪光帧,相应地为每个帧分配适当的编码类型,并在加权预测(WP)参数集确定中采用运动向量导数,通过反向投影保证flash场景的全局一致性。实验结果表明,相比其他几种加权预测算法,本文算法在峰值信噪比(PSNR)及计算复杂度方面获得了更加优越的编码性能。     

基于帧的多描述视频编码及其错误隐藏

为了解决视频流在不可靠网络上的错误传播问题,使用基于帧的多描述视频编码,提出采用预测的预处理和后处理过程方案,实现了描述间的冗余插入|实现了几种不同复杂度,不同性能的错误掩盖算法以适应多样化的网络传输环境.仿真实验结果表明,这种编码系统能有效控制视频流的错误传播,并且编码后的数据流更能适应各种网络传输状况.     

基于帧的多描述视频编码及其错误隐藏

为了解决视频流在不可靠网络上的错误传播问题,使用基于帧的多描述视频编码,提出采用预测的预处理和后处理过程方案,实现了描述间的冗余插入;实现了几种不同复杂度,不同性能的错误掩盖算法以适应多样化的网络传输环境.仿真实验结果表明,这种编码系统能有效控制视频流的错误传播,并且编码后的数据流更能适应各种网络传输状况.     

基于改进Mean Shift算法的实时视频目标跟踪

设计了一套嵌入式平台上实现的视频目标跟踪系统.该系统采用CMOS图像传感器获取视频信号,利用Z228多媒体芯片自带的ARM9处理器完成视频信号的控制,并通过MPEG-4硬件编码器实现视频信号的压缩.用Mean Shift算法跟踪运动目标,针对其收敛的局限性设置多个搜索点来提高其跟踪效果.通过减少采样点和标记已计算点来提高代码运行速度,增强了跟踪的实时性.实验结果表明,本系统能以27 fps速率连续稳定地实现视频目标的跟踪.     

基于模式相关性的多视点视频编码宏块模式快速选择算法

针对多视点视频编码计算量大的问题,提出了一种多视点视频编码快速宏块模式选择算法.详细分析了多视点视频编码校验模型的宏块模式选择结果的分布特性以及率失真特性,提出了宏块模式相关性和模式聚集度的概念.对测试序列的宏块模式相关性分析表明当前宏块的最优模式和大多数相邻宏块的最优模式相同.从相邻宏块区域聚集度的角度分析了当前宏块模式预测准确度.在算法实现中采用相邻宏块的率失真代价均值形成的阈值条件决定是否进行全搜索.实验结果表明该算法在保持编码率失真性能的基础上,能提高多视点视频编码的速度2.43～4.08倍.     

基于改进Mean Shift算法的实时视频目标跟踪

设计了一套嵌入式平台上实现的视频目标跟踪系统.该系统采用CMOS图像传感器获取视频信号,利用Z228多媒体芯片自带的ARM9处理器完成视频信号的控制,并通过MPEG-4硬件编码器实现视频信号的压缩.用Mean Shift算法跟踪运动目标,针对其收敛的局限性设置多个搜索点来提高其跟踪效果.通过减少采样点和标记已计算点来提高代码运行速度,增强了跟踪的实时性.实验结果表明,本系统能以27 fps速率连续稳定地实现视频目标的跟踪.     

基于多描述编码的视频组播网络带宽优化分配算法

为了最大限度的满足各种类型视频应用的带宽要求,提高不同类型视频用户的满意度,解决不同类型应用的视频流对网络带宽的需求差异很大的问题,该文提出了一个基于多描述编码的带宽分配模拟退火算法;实验表明,该算法比其他带宽分配算法更能充分利用带宽资源且能有效提高网络视频用户的整体满意度。     

Real-Time Generation of Dynamic Infrared Scene

Although many models have been put forward to realize static infrared scene, they could not generate dynamic infrared scene real time in interactive way. In this paper a new method is proposed to solve the problem. We first model the targets and background of infrared scene based on the hybrid way of geometry and multi-spectral texture images. Then considering the attenuation effect of atmosphere and the noise mechanic of infrared image sensor, we present an infrared depth image model to generate dynamic images of the objects in the scene from different viewpoint. The complexity of infrared dynamic scene is thus reduced greatly and the reality of infrared scene is improved. Finally, real-time walkthrough for infrared scene is successfully realized and the average walkthrough speed is larger than 25 frames per second.     

微光景像匹配实时图模拟生成技术研究

景像匹配实时图模拟生成是导弹制导系统仿真和景像匹配算法验证的关键技术。研究了光照条件、气象条件、像增强型电荷耦合器(ICCD)相机特性以及地面光谱反射特性等因素对微光成像的影响,建立了微光视景像生成的数学模型,包括:地面反射特性模型、像增强型电荷耦合器相机特性模型、大气传输模型和噪声模型,研究了白天与夜间地面反射特性造成的日光图像与微光图像的衬比度差异,提出了微光景像匹配实时图仿真方案,并在此基础上研制了一个完整的蕴含LOWTRAN7计算内核和像增强型电荷耦合器后段仿真的微光景像匹配实时图生成系统。仿真实验结果说明了该方案的有效性。     

无线视频传感阵列低复杂度多视点视频编码方案

基于网络中心节点的运动矢量外推技术,提出了一种无线视频传感阵列的低复杂度多视点视频编码方法。该方法考虑到密集型视频传感阵列各视点间通信复杂、布线繁重、且位于各相机节点内的编码器由于计算能力、功耗等限制难以完成复杂的编码过程等特点,利用运动矢量外推逼近技术将大量的运动估计运算从视频编码端移到了网络中心节点,使得新编解码框架下编码器的运动估计的计算复杂度只有传统全搜索运动估计运算的0.3%,降低了系统传感阵列编码端功耗。实验结果表明,该方法的率失真性能比H.264-I帧高出4 dB以上,接近H.264-P帧编码,优于基于Wyner-Ziv理论的分布式多视点视频编码方法。     

An Unsupervised Video Stabilization Algorithm Based on Key Point Detection

In recent years, video stabilization has improved significantly in simple scenes, but is not as effective as it could be in complex scenes. In this study, we built an unsupervised video stabilization model. In order to improve the accurate distribution of key points in the full frame, a DNN-based key-point detector was introduced to generate rich key points and optimize the key points and the optical flow in the largest area of the untextured region. Furthermore, for complex scenes with moving foreground targets, we used a foreground and background separation-based approach to obtain unstable motion trajectories, which were then smoothed. For the generated frames, adaptive cropping was conducted to completely remove the black edges while maintaining the maximum detail of the original frame. The results of public benchmark tests showed that this method resulted in less visual distortion than current state-of-the-art video stabilization methods, while retaining greater detail in the original stable frames and completely removing black edges. It also outperformed current stabilization models in terms of both quantitative and operational speed.     

基于脊波变换的渐变镜头转场检测算法

分析了脊波变换在处理含“线奇异”信号上的优势.提出用脊波变换后的各高频系数和作为图像的特征量.渐变镜头脊波变换的实现分两步：首先,对图像帧进行一定方向参量的Radon变换;其次,对Radon变换得到各数组进行Haar小波二级分解,采用分解后的高频系数和描述图像.在检测窗内,计算连续帧间脊波变换系数和之间的欧式距离判别渐变转场的边界.     

MPEG-4视频中运动背景下的目标检测算法

针对由运动摄像机捕获的MPEG-4视频流中的运动目标检测问题,提出了一种直接利用压缩视频码流进行全局运动估计的新算法.算法从全局运动估计的基础出发,利用背景宏块运动相似性的特点快速建立背景宏块集合并采用常用的四参数全局运动估计模型估计运动参数.最后,计算运动矢量残差,通过对运动矢量残差的筛选检测运动日标.算法利用MPEG-4码流中蕴含的运动信息.不需要对压缩流完全解码,较大地提高了检测效率;进一步改善了检测效果.实验验证了提出的全局运动估计算法的检测效率和检测效果.     

一种复杂背景下红外目标提取的实时性算法

由于自然环境及成像条件的影响,红外目标提取常受到背景干扰的影响。针对复杂背景下的红外目标提取提出了一种算法,该算法采用预处理去除大量的灰度较低的背景和杂波,利用形态学滤波进一步去除部分背景和杂波,通过自动阈值分割最终将目标提取出来。该算法既克服了背景干扰,又保证了目标提取的效果,且算法实时性强。通过仿真对比证明,该算法对于复杂背景下的红外目标提取效果良好。     

干涉多光谱卫星图像序列编码

星载干涉多光谱图像序列通过图像匹配实行定位形成光谱序列,相邻图像之间具有很强的相关性,与一般图像序列不同的是,相邻图像之间具有明显的平移特点。为了充分利用这一特点实现有效的图像压缩,同时减少编码系统复杂度,提出了一种新的图像序列编码方法,通过小波域系数匹配算法检测出相邻图像之间的相对位移量,然后对差值图像进行类似于单幅图像的编码,从而提高了总体编码效率。本算法具有与相同单幅图像编码算法相当的低复杂度特点,只需要对单幅图像与模板的差值进行基于小波变换的编码,从而避免了基于三维小波变换的编码算法对系统存储量要求大以及编码延时大的缺陷。仿真结果表明,本算法比基于三维小波变换的编码算法效果更好。