一种基于区域生长的红外与可见光的图像融合方法

针对目前红外与可见光目标跟踪的视频序列融合难以满足实时性问题，利用红外图像目标与背景显著的灰度差异特征，结合目标跟踪中目标分割时常用到的区域生长法，通过区域生长方法从红外图像中提取目标区域，再将得到的红外目标区域与已经过图像配准的可见光图像的背景区域进行融合处理，最终得到既具有红外图像较好的目标指示特性又具有可见光图像清晰场景信息的融合图像。实验表明：该算法不仅简单易行，而且所得到的融合图像视觉效果优于其他融合算法得到的图像。     

舰船小目标图像配准算法

当舰船目标距离红外/可见光复合导引头较远的时候,红外与可见光图像中的目标信息微弱,可供提取的特征较少且差异较大,传统的图像配准算法很难适用.针对该问题,本文提出一种基于传感器参量的图像配准算法,首先根据红外与可见光传感器的成像模型将图像配准分解简化为视场配准与平移配准两个相对分离的步骤;然后利用传感器参量进行图像的视场配准;最后基于海天线和水平高通能量分布确定匹配点完成平移配准.仿真实验结果表明,该算法具有较高的配准准确度,可以应用于实际远距离海上舰船的红外和可见光图像配准.     

基于马尔算法的高速公路视频监控图像能见度研究

根据高速公路沿线的监控摄像机,对监控视频画面中的图像进行采集,通过对视频图像特征的分析处理,建立图像与真实场景之间的关系,根据图像特征随着真实场景的变化,运用图像处理的方法如：灰度变换、图像分割和特征提取等对图像进行图像处理,提出运用马尔算法,分别提取出目标物与背景,并将其逐一进行背景差计算,能够准确的监控图像中汽车的位置变化,确定目标物的位置,进而判别出能见度的大小。     

基于相机阵列的红外光场成像

光场成像作为一种应用广泛的计算成像方法,其研究仍局限于电磁波谱中的可见光波段。因此,提出基于相机阵列的红外光场成像方法。首先利用单台被动红外相机移动到同一平面的不同位置分别对同一静态目标场景成像,获取原始红外图像序列,经平移视差校正后生成红外光场数据库;然后基于光场渲染理论,获得重采样图像。与只记录二维位置信息的传统红外成像比较,红外光场成像能够记录包含位置和方向的四维信息。实验结果表明,该法能够融合多幅低信噪比的图像获得一幅信噪比提高的重采样图像,通过孔径叠加平均可实现穿透遮挡物成像,通过选取不同深度值进行重采样可实现红外场景不同深度的数字重聚焦,使红外成像在军事和民用领域更有应用价值。     

基于像素序列形态的适应性背景重构算法

背景重构是视频图像处理领域的支撑性工作之一.针对传统的背景重构算法运算复杂、背景图像失真等不足,本文提出了一种像素序列形态适应性背景重构算法.该算法通过提取像素序列形态特征进行分类处理,不同形态适用独立的背景提取策略、背景更新时刻和背景更新策略.实验结果验证表明:该算法无需对视频场景中的背景和运动目标建立模型,可直接从一组含有运动前景的视频图像中准确地重构背景,并有效避免混合现象|背景缓慢变化和突变时,亦可快速有效地完成背景重构.     

图-谱结合的压缩感知高光谱视频图像复原

针对液晶可调滤波片高光谱成像系统记录动态场景的成像特点,提出一种图-谱结合的压缩感知高光谱视频图像复原方法。首先,通过前景目标检测获得运动前景目标的高光谱图像,实现运动前景目标与背景区域分离,并根据前景目标检测结果将背景区域划分为运动区域(被前景目标遮挡区域)与静止区域(未被前景目标遮挡区域)。然后,基于高光谱图像空间维、光谱维相关性,对静止区域进行字典学习获得稀疏先验信息,结合压缩感知理论用于运动区域恢复,得到完整的背景区域高光谱图像。最后,将运动前景目标高光谱图像与背景区域高光谱图像相结合,得到高光谱视频图像。实验结果表明:本文提出的高光谱视频图像复原方法在峰值信噪比和视觉效果上都要优于现有算法,峰值信噪比平均提高5 d B以上。     

基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.     

穿透毛玻璃的可见光成像系统

透过复杂介质获取目标物体图像精细信息的能力是光电图像采集处理的一大难点, 选用CMOS光电图像传感器, 设计了CMOS成像系统以及后端读取和处理电路, 透过毛玻璃对目标物体成像, 将采集的图像信息传送到计算机中进行处理。该系统按照相机光学成像系统原理制作, 采用通用CMOS图像传感器芯片完成电路设计, 加之红外激光辅助照明拍摄采集图像, 由远及近不同距离分别对同一目标物成像, 对成像图像进行迭代图像增强算法优化, 可以解决毛玻璃非匀质问题, 使光源重建精度大大提高, 得到的可见光图像轮廓清晰, 与一般CCD成像系统相比, 识别率超过95%, 远大于一般成像系统, 且成像性能良好。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于多滤波算法融合的红外小目标检测

针对海天背景下红外视频图像序列中小目标检测的精度问题,提出一种基于多滤波融合的算法。通过分析红外小目标及背景噪声的成像特征与时空特性,将Tophat算法与改进的Robinson guard滤波器相结合,有效抑制背景、突显目标;采用自适应阈值分割提取候选目标,并使用Unger平滑滤波以及多目标关联滤波剔除噪声和伪目标。多组红外小目标图像序列的检测实验结果表明,提出的算法平均检测率高达99%,在不同场景下均有较高的检测精度。     

热成像模式及其图像处理技术的研究与应用

热成像技术具有广泛的应用领域,随着红外焦平面探测器及数字图像处理技术的发展,新型热成像模式及其图像处理技术成为国内外发展的重要方向。介绍了近年来研究的几个典型进展,其中改进的基于场景特征的时域高通与空域低通滤波结合的非均匀性校正方法能够有效滤除制冷热成像系统观察低温天空场景时的水波纹固定图案噪声,并在FPGA硬件平台上实现了算法移植;研制出红外分焦平面偏振片阵列,实现了中波制冷和长波非制冷红外焦平面探测器的耦合成像,并通过考虑偏振片效应的偏振成像模型,滤除光路中偏振片的辐射影响;研制出基于常规制冷长波红外焦平面探测器的超频高动态热成像系统,在FPGA实现了多积分时间图像融合-细节增强级联的HDR图像融合方法,实现了对高动态场景的实时成像;研究了“田”字型四孔径和“十”字型四/五孔径等三类紧凑型视场部分重叠仿生复眼热成像模式,研制了2套实验系统来验证该方法的有效性;提出一种基于双生成对抗网络的非配对热红外-可见光图像转换算法TIV-Net,该方法能够将热图像有效地转化为类彩色可见光图像,并在无人机等平台实现了不低于20 Hz的实时处理。以上具有创新性的技术突破或已获得应用或展现良好的应用...     

近红外与可见光双通道传感器信息融合的去雾技术

为了对雾霾天气下的图像进行去雾处理,多幅图像去雾算法是常用的方法之一。多幅图像去雾算法也有多种形式,部分算法面临硬件实现困难、获取途径受限或者可实施性弱等问题,而且多幅图像比对处理时常常涉及图像配准,造成算法的实时性差、计算复杂度高等问题。针对以上问题,提出的算法为多幅图像去雾提供了新的思路,基于双目传感器硬件架构能够同时捕获近红外和可见光图像,将近红外传感器图像作为新的数据源,近红外传感器能够在一定程度上穿透雾霾,在雾天捕获可见光传感器无法捕获的图像细节,而且硬件实现简单。可见光图像的颜色信息较丰富,近红外传感器图像对近处场景细节的描述能力较好,捕获的图像稍加校正就能实现完全配准,将近红外图像与可见光图像进行融合,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,得到边缘、轮廓等细节信息更加丰富的去雾图像。基于上述思路,借助近红外传感器对边缘细节的描述能力和可见光传感器对颜色信息的反映能力,提出了一种基于近红外与可见光双通道传感器图像融合的去雾算法。首先,将彩色可见光图像转换到HIS彩色空间,分别得到亮度通道图像、色调通道图像和饱和度通道图像。先将其亮度通道图与近红外图像进行融合去雾处理。采用非下采样Shearlet变换（NSST）进行分解,对得到的高频系数进行双指数边缘平滑滤波器保边滤波处理,对低频系数进行反锐化掩蔽处理,通过融合规则和反向变换得到新的亮度通道图像。然后,在对可见光图像的色彩处理中,建立饱和度图的退化模型,采用暗原色原理对参数进行估计,得到估计的饱和度图。最后,将新的亮度通道图像,估计的饱和度图像和原色调图像反映射到RGB空间得到去雾图像。为了验证新算法的有效性,特选取四组雾天拍摄的真实近红外图像与可见光图像进行融合去雾处理,将融合结果与其他两种去雾方法对于彩色可见光图像的去雾效果进行比较。实验结果表明,该算法在提高图像的边缘对比度和视觉清晰度上有较好的效果。并提出将近红外传感器图像作为新的数据源,采用双通道图像融合方法进行去雾处理,为图像去雾提供的新的技术思路是可行的。该算法的优势在于：首先提出将图像融合方法与去雾算法相结合,得到了新的去雾算法的思路。将彩色可见光图像转换到HSI色彩空间,将其亮度通道图与近红外图像采用非下采样Shearlet变换方法进行融合处理,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,使得去雾图像中的边缘、轮廓等细节信息更加丰富。其次,提出了在图像去雾算法中采用新的数据源--近红外传感器图像,从图像处理的角度,近红外传感器能够在一定程度上穿透雾霾,对于近处场景细节的描述能力较好,而且硬件实现简单,捕获的图像稍加校正就能实现完全配准,为后续的融合去雾算法带来了便利,为图像去雾提供了新的技术途径和路线。再次,采用的是多幅图像去雾算法,该算法基于双目传感器获取图像,可见光图像的颜色信息较丰富,近红外图像对于近处场景细节的描述能力较好,相对于单幅图像去雾算法,有更好的效果。最后,将可见光传感器图像映射到其他色彩空间,对于每个通道的图像根据其特征有针对性地进行处理。可见光图像的亮度通道图和近红外图像的处理采用了图像融合和增强处理,对于可见光图像饱和度通道的处理采用了图像复原算法,可以从整体上提升去雾效果,对细节特征有了进一步增强。该算法为图像去雾提供了新的技术途径和路线。     

基于嵌入式GPU的红外弱小目标检测算法

红外弱小目标的目标像素少,目标对比度低,成像帧率高,图像数据量大,检测实时性强。针对红外弱小目标检测算法适合于GPU并行计算的特点,对其在嵌入式GPU平台Jetson TX2上进行了并行优化实现。在检测算法设计、内存访问、调试优化3个方面进行了优化设计。实验结果表明,对640×480像素分辨率的红外视频,并行优化后的目标检测算法能够在10 ms内完成计算,满足实时处理需求。     

基于图像融合的动态轮廓线跟踪新方法

红外与可见光传感器是目标跟踪识别系统中常用的两种传感器,对这两种传感器图像进行融合能有效提高系统跟踪检测的准确性。将动态轮廓线模型与图像融合结合,在特征搜索过程中利用特征点准确地完成了图像配准,同时使用了一种新的特征级融合方法,将两种图像中目标轮廓的B样条曲线控制点进行实时微分耦合。这种耦合将Curwen提出的微分耦合机制作了改进,利用图像配准把刚性硬模板改变为实时的变换模板并推导了融合后动态轮廓线的新的动力学方程。这种融合利用了红外图像目标轮廓信息约束可见光图像中动态轮廓线的收敛形状,有效地提高了可见光图像目标跟踪的准确性。对运动人手序列图像的对比跟踪实验表明,这种融合使得可见光图像中动态轮廓线平均跟踪误差减小了60．25％。     

基于色彩传递的单波段热图像彩色化处理算法

研究基于色彩传递的单波段热成像自然感彩色化处理算法,提出一种应用伪彩色编码突出显示热目标的方法.方法首先选定适当的参考图像并对亮度通道做线性变换,然后基于通道间相关性很小的lαβ颜色空间,利用图像像素邻域亮度通道的均值和标准差进行像素间的相互匹配,将参考图像的色彩传递给单波段红外图像,最后寻找色彩传递结果图像中亮度接近最大值的像素,将它们的颜色映射到彩虹编码的高温端,以红色凋突出显示.算法用于几种场景类型的单波段红外图像,得到了色彩自然感较好的彩色化热图像,能够避免长时间观察热图像造成视觉疲劳的问题;突出场景热目标,在保留背景深度感的基础上,可有效提升观察者的目标识别能力.     

基于颜色传递的双波段目标跟踪算法研究

针对复杂背景下Camshift算法容易丢失目标的情况,提出一种基于YCBCR空间将红外与可见光融合图像与彩色参考图像进行颜色传递后,采用Camshift进行目标跟踪的算法。该算法在颜色传递时充分利用双波段图像信息,得到的目标对比度高并且颜色空间较其周围背景突出,增强了目标的颜色概率图,提高了Camshift算法效率。实验表明,通过对可见光图像、经颜色传递后的红外图像以及传统颜色传递方法得到的图像采用相同跟踪算法进行定性分析,在该算法得到的图像中,跟踪窗口中心相对于目标质心仅有3个像素的误差,跟踪精度远远优于对比实验图像的跟踪结果,并且算法的跟踪时间为每帧20.6 ms,达到了实时性的要求。     

基于结构张量分析的弱小目标单帧检测

针对复杂场景图像由于背景边缘干扰和噪声导致弱小目标检测困难的问题,提出了一种基于结构张量分析的弱小目标单帧检测方法.利用结构张量对不同局部结构的表示特性,通过计算结构张量特征值矩阵和均值滤波得到点状和矩形状目标的结构张量响应图;采用高斯差分带通滤波器计算灰度差分图;通过归一化融合处理得到最终响应图;采用自适应阈值分割得到目标位置.采用该方法对天空、海面等多种场景的红外图像和可见光图像进行实验,并与典型方法对比,结果表明该方法能够有效地抑制背景干扰和噪声、快速且准确地检测目标.     

畸变校正与帧差法相结合的运动目标检测

提出了一种图像畸变校正与帧差法相结合的运动目标检测方法。首先利用实验测量和曲线拟合的方法对光学成像系统的畸变进行测量校正,以满足运动目标检测的精度要求;然后将畸变校正方法应用在实时获取的视频图像帧中,利用帧差法实现光学成像系统旋转运动时的运动目标检测。实验表明,该算法可行、抗噪性好,能够满足实时性需求。     

时空上下文学习长时目标跟踪

针对在线学习跟踪算法中目标模型更新错误而导致跟踪漂移的问题,提出了一种简单但高效的解决方案。在目标区域均匀采样点跟踪器,基于纹理描述对前后两帧点跟踪器进行置信度评估并以此完成目标初步定位,由多维特征时空上下文模型输出目标位置置信图以完成目标精确定位,同时结合置信图决定模型更新速率并给出了一种多尺度更新机制。实验表明,该方法在背景干扰、快速运动、遮挡、光照变化及尺度变化下均能完成稳健跟踪,在320 pixel×240 pixel的视频序列中平均跟踪速度为55.1 frame/s,可以满足实时应用的需求。     

基于稳定矩阵的动态图像运动目标检测

为了对视频序列中的运动目标进行快速、准确地提取,提出了一种自适应背景模型估计方法.利用背景与前景图像在时域中不同的变化特性,构造图像的稳定矩阵函数,通过稳定矩阵元素的变化自动区分背景点和前景点,并对稳定矩阵设置上、下饱和值,使算法能在短时间内自动感知背景的突变,从而快速地建立背景图像模型并对其实时更新.同时还分析了动态图像序列的配准问题,选取局部特征模板图像,采用投影匹配原理简化计算,快速估计出全局运动矢量.实验证明,背景估计算法收敛速度快,只需10 frame图像即可建立稳定背景,对于500 pixel×200 pixel动态图像序列,整个算法时间只需35 ms,完全满足工程上25 frame/s处理能力的要求.