基于特征点匹配的电子稳像技术

为获得高质量视频输出序列,电子稳像技术常被用来去除成像设备所摄取的图像序列中的随机抖动。本文首先介绍了电子稳像的国内外发展现状。然后,从电子稳像技术中的运动估计模块出发,描述了国内外近年来出现的直接求取运动估计算法以及各种基于特征点匹配的运动估计方法,并对运动校正和运动补偿模块的算法进行了评述。最后综合分析了稳像算法的难点以及未来发展趋势,提出基于特征匹配的电子稳像技术的发展方向。     

基于最小生成树与改进卡尔曼滤波器的实时电子稳像方法

为解决稳像过程中局部运动分量导致的全局运动估计不准确问题,提出了一种实时电子稳像方法.该方法提出基于最小生成树的特征点迭代筛选算法,采用相邻帧图像特征点最小生成树的相似度衡量特征点匹配精度,剔除错误匹配的特征点和局部运动前景上的特征点,避免了局部运动分量的影响.采用自适应加权法修正相邻帧之间的仿射变换矩阵,解决由于运动前景遮挡造成的背景特征点数量稀少进而导致的稳像晃动问题.针对相机跟拍与随机抖动分量混合问题,提出基于运动矢量队列的双卡尔曼滤波器,自适应地修正卡尔曼滤波器的测量噪声协方差,动态调整滤波平滑性能,有效处理同时包含相机跟拍运动与随机抖动分量的视频,保留相机跟拍分量.实验表明,该方法对于视频图像中包含局部前景运动和相机跟拍运动的情况,对比其他3种方法,仍可以保持良好的稳像效果;在Intel Core i53.30GHz CPU下,对于640×360分辨率的彩色图像序列可达到40FPS的稳像帧率,并且运算过程中无需利用下一帧图像信息,具有实时稳像的优点.     

电子稳像的特征点跟踪算法

提出一种利用特征跟踪进行电子稳像的算法,该算法具有计算量小,精度高,有鲁棒性等优点。算法由两部分构成:(1)基于特征点集二维运动模型进行全局运动估计。提取图像的特征点,以其为中心建立特征窗进行块匹配,得到匹配特征点集,根据特征点集内具有稳定相对位置的结构特征,提出距离不变准则,对特征匹配进行验证,以保证各点的局部运动具有良好的全局一致性,从而形成特征点集的全局运动矢量;(2)利用自适应均值滤波去除摄像机抖动。均值滤波器可以有效平滑摄像机的高频抖动,同时滤波器尺寸自适应地根据抖动频率来调整大小,能够防止过稳或欠稳。实验结果表明,该算法能够有效减轻摄像机的旋转和平移抖动。     

基于角点特征的机载摄像系统电子稳像算法

为了消除载体姿态变化和振动造成的视频抖动,提出了一种机载摄像系统的电子稳像算法。将图像分为若干个块,每个块中取一个点作为特征点,采用块匹配算法在局部区域进行特征点匹配,然后利用改进的随机一致性检测算法剔除误匹配的特征点,最后采用卡尔曼滤波算法对图像的运动参数进行滤波,得到稳定后的视频图像。该算法时间复杂度和空间复杂度低,便于在硬件平台上实现,实验结果表明,该算法稳像精度高,精度达到1个像素,适应性好,能较好地实现图像序列稳定。     

一种补偿平移与旋转运动的快速电子稳像算法

针对视频图像序列的非稳特性,研究了电子稳像算法中灰度投影算法和块匹配算法各自的不足之处,提出了一种快速补偿视频图像序列间平移及旋转运动的稳定成像算法.该算法先采用灰度投影算法估计并补偿视频图像序列间的平移运动,再利用拉普拉斯变换在靠近图像的边缘区域选取几个具有明显特征的小块,运用块匹配算法进行匹配,计算并补偿其旋转运动量,以得到稳定的视频图像序列.通过理论分析和实验验证,表明这种稳像算法具有速度快、准确度高的特点.     

高精度全景补偿电子稳像

针对摄像机拍摄目标过程中自身的随机抖动造成的视频序列不稳定,以及稳像补偿过程中边缘信息的丢失,提出了基于SURF（Speed-up Robust Feature）算法的全景电子稳像方法。首先,运用SURF算法提取当前帧图像和参考帧图像的兴趣点,将两幅图像的兴趣点进行匹配,建立两帧的对应关系。针对兴趣点数目较少及场景中部分区域特征相似的情况,引入了兴趣点位移一致性抑制策略,改进了RANSAC（RANdom SAmple Consensus）误匹配的剔除算法,使得运动矢量的精确度小于1 pixel。然后,判定参考帧的更新策略,获取平滑的运动变量。最后,进行运动补偿,运用图像镶嵌技术对丢失的边缘区域信息进行全景补偿,得到了高精度的全景稳像结果,实验得到的输出视频峰值信噪比（PSNR）提高了33.1%。     

基于特征匹配的电子稳像优化技术

针对特征匹配的电子稳像算法存在特征点提取耗时多、准确度不高以及特征点误匹配等问题,从特征点提取及特征点匹配两个方面采取了优化措施,采用基于快速分割特征点提取算法更快地提取特征点,并把特征点定位准确度提高到亚像素级;引入随机采样一致性算法消除误匹配的特征点对,减少场景中局部运动的影响,提高了全局运动参量的估计准确性.实验结果表明,经优化技术处理后,视频稳像准确度高、速度快,能够在存在平移、缩放、旋转及局部有相对运动等情况时保持良好的视频稳像效果.     

基于特征匹配的电子稳像优化技术

针对特征匹配的电子稳像算法存在特征点提取耗时多、准确度不高以及特征点误匹配等问题,从特征点提取及特征点匹配两个方面采取了优化措施,采用基于快速分割特征点提取算法更快地提取特征点,并把特征点定位准确度提高到亚像素级;引入随机采样一致性算法消除误匹配的特征点对,减少场景中局部运动的影响,提高了全局运动参量的估计准确性.实验结果表明,经优化技术处理后,视频稳像准确度高、速度快,能够在存在平移、缩放、旋转及局部有相对运动等情况时保持良好的视频稳像效果.     

基于灰度信息的动场景视频序列中运动对象的提取

提出了一种基于视频序列灰度信息的运动对象提取方法。该方法采用改进的Sobel算子提取边缘图像,依据边缘信息将视频图像分割为不同的灰度连续区域。在各灰度连续区域中,选取特征点进行匹配获得特征点对。根据特征点对合并灰度连续区域,获得全局运动参数。采用具有自适应帧间隔的帧差交集法,获得图像中运动对象区域。结合灰度信息和运动信息,分割出运动对象。实验结果表明,该算法可以有效地将运动对象从视频序列中提取出来。     

基于角点匹配的电子稳像算法

提出了一种基于角点匹配的电子稳像算法。分析了Harris角点检测的原理。获得角点后,根据相邻帧对应角点的坐标分布,建立当前帧与参考帧的映射关系,并运用仿射变换模型,以最小二乘解的形式获得帧间全局运动估计矢量。最后,采用Kalman滤波器对运动估计矢量作低通滤波,平滑运动参数,获得运动补偿矢量,实现视频序列的实时稳像。实验表明该算法较好地去除了视频序列的高频抖动,同时保留了摄像机的主动运动,稳像后视频序列的峰值信噪比明显提高。     

基于时空域的自动视频对象分割算法

提出一种在视频序列中从背景里分离出运动对象的方法.使用全局运动估计和补偿进行预处理后,对视频序列中相邻帧进行连续两次差分,利用自适应滤波滤除噪声,并进行形态学处理,差分交集技术消除覆盖、显露的背景及部分噪声,最后模板匹配和更新,不仅能够得到快速变化的对象,而且能够得到视频对象暂时停止运动的部分.实验结果表明,该方法能够自动从视频序列中较好地提取出运动对象,具有较强的鲁棒性.     

基于Harris角点全局运动估计的场景锁定算法

场景锁定技术是视频跟踪领域的一个关键技术,需要对图像的全局运动进行估计,常用的运动估计算法由于计算量大、对噪声敏感等因素很难得到实际应用。为了减少运动估计的计算量,提高全局运动估计的精度,提出了一种基于Harris角点全局运动估计的场景锁定方法。将图像分成4×4的16个块,选取每个块中响应值最大的角点,以参考图像角点周围矩形块与待匹配图像进行匹配,然后利用RANSAC算法对角点进行一致性检测,利用最小二乘法解算全局运动参数,最后计算图像之间的累积运动。实验结果表明,该算法运动估计精度高,稳定性好,能较好地实现场景锁定。     

基于时间序列预测的电子稳像算法研究

块匹配电子稳像算法是一种稳定性好、准确度高的电子稳像算法.块匹配算法在目标区域中从起始点到匹配点进行搜索时,需要对图像块进行反复匹配,计算量大、实时性差成为限制其应用的主要问题.本文从缩小块匹配算法搜索范围的思想出发,提出了一种利用时间序列预测来确定最优搜索起始点的电子稳像算法.根据图像序列全局运动矢量的内部统计特性,选择合适的时间序列模型;采用AIC准则和Durbin-Levinson递推算法估计模型的阶次和参量,并通过残差检验对模型进行检验和更新.利用建立的时间序列模型和历史数据对当前时刻全局运动矢量进行最优预测,并将其作为搜索起点来进行下一步精确搜索.实验结果证明,时间序列预测方法有效缩小了块匹配算法的搜索范围,使计算速度得到较大幅度的提高,并可直接推广到其它电子稳像算法中.     

Human detection based on motion object extraction and head–shoulder feature

Aimed at the shortcomings of the traditional video monitoring system, human detection method in intelligent video monitoring system was researched. This paper proposed a human detection method based on motion object extraction and head–shoulder feature to complete human detection and statistics in video image sequences. Firstly, background subtraction based on adaptive threshold was used to extract foreground moving object information, then image erosion and image dilation were used to bypass the object shade and remove false object in order to optimize the results of motion object extraction. And finally, for realizing human moving object detection, we proposed the object discrimination algorithm based on human head–shoulder feature to complete human detection and statistics. Experimental results show that the method can successfully realize human detection and statistics. The method is highly accurate and has good real-time and extensive applications. The identification rate is 86% through human video sequences to test. This method can detect human automatically and provide the theoretical and technological base for object detection in the intelligent surveillance system.     

红外序列图像中运动弱小目标检测

为检测红外序列图像中的运动弱小目标,分析了目标在序列图像中的运动特性和概率分布特性,以及目标和噪声在序列中的能量分布特性。提出连续M帧高阶累积方法来增强运动弱目标能量,用假设检验对目标和背景进行分割,通过搜寻序列运动能量中心来实现目标的多帧关联检测。通过仿真实验证明了算法对红外弱小目标检测有效性。     

基于稀疏光流法的ORB特征匹配优化

针对图像特征误匹配数量大的问题，提出一种基于稀疏光流法的ORB图像特征点匹配算法。对特征点进行暴力匹配得到初始匹配点集，利用稀疏光流法计算特征点运动向量，估计出特征点在待匹配图像中的二维坐标位置，剔除偏离估计位置较远的特征点匹配对，最后利用随机抽样一致算法进行几何校验进一步优化匹配结果，达到剔除误匹配的效果。实验结果表明:该算法相较于ORB算子、SIFT算子、SURF算子准确率平均提升了21.6%，较RANSAC-ORB算法准确率平均提升了2%，且该算法对图像光照变换、视角变换、模糊变换、旋转和缩放变换和光照变化具有较好的通用性。     

基于特征匹配和校验的鲁棒实时电子稳像

提出了一种基于特征点匹配和校验的鲁棒实时电子稳像算法.首先利用Kanade-Lucas-Tomasi角点检测器提取参考帧和当前帧的特征点,并用绝对误差和准则进行特征点匹配|在校验阶段,提出一种能够有效剔除前景运动物体特征点和错误匹配点的空间位置不变准则|最后,在相似运动模型下,利用最小二乘法求解全局运动矢量进行运动补偿.实验证明:该算法满足实时性要求,对视频的平移、旋转、缩放运动都有较好的稳像效果,并对运动物体具有鲁棒性.     

基于感兴趣区域的幅型比变换新方法

基于人类视觉系统对运动目标比较敏感的特性,提出了一种新的幅型比变换方法.综合时空信息提取视频序列中的运动目标,利用图像修复技术对被提取运动目标后的视频图像进行背景修补.采用插值算法以不同的方式分别缩放运动目标和修复后的背景,并将变换后的运动目标与背景相叠加合成相应幅型比的视频图像.实验结果表明：此方法避免了已有幅型比变换方法的缺陷,保证了变换后运动目标的无失真性,与人类的视觉感知有较好的一致性.