红外与可见光融合图像的质量评价

为了提高融合图像质量评价中评价结果与人眼视觉特性的一致性,分析了现有融合图像质量评价方法,提出了一种基于图像结构信息复数表示的融合图像质量评价方法,通过计算图像亮度分量的梯度,构成了一种表征图像结构信息的梯度复数矩阵,用该矩阵表征图像的结构信息。考虑到复数无法计算互信息等参数,将分块奇异值分解后得到的矩阵作为度量矩阵,采用该矩阵计算了两种融合图像质量评价方法。实验结果表明,该方法提高了评价结果与人眼视觉特性的一致性,对于融合效果较好的金字塔和小波方法给出了3.748 5和3.722 2的评价结果,与人眼视觉特性的一致性优于传统方法。     

一种基于小波变换的红外偏振融合算法

针对红外偏振图像可以较好地抑制背景噪声,对目标边缘信息比较敏感的特点,提出一种基于小波变换的红外偏振融合算法,它主要用于红外辐射强度图像和偏振度图像融合,增加图像的信息量。首先采用小波变换对参与融合的每幅图像分别进行各尺度分解,得到各尺度小波系数,然后针对不同尺度小波系数,采用邻域平均梯度为判据进行融合,得到融合后的各尺度小波系数,最后通过小波逆变换进行图像重构,得到融合图像。融合前后的图像对比表明融合图像在保留辐射强度图像的清晰度的同时,突出了目标的边缘、轮廓信息。相对于辐射强度图像,融合图像的梯度均值提高了112%,相对于偏振度图像,融合图像的标准差提高了151%,信息熵提高了38%。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

基于目标提取与引导滤波增强的红外与可见光图像融合EI北大核心CSCD

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

基于目标提取与引导滤波增强的红外与可见光图像融合

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

高动态范围红外图像的显示与细节增强

针对高动态范围的红外图像动态范围压缩和细节增强问题,文中采用基于基层-细节分层处理融合的增强框架,提出基于拉普拉斯滤波器的基层处理方法,将高动态红外图像的动态范围压缩到可显示的低动态范围图像,同时保留图像局部对比度。针对图像中的细节分量,提出对原始输入高动态范围红外图像提取梯度信息并做非线性增强,然后将低动态范围图像与增强的梯度信息通过优化融合重建,得到细节增强的红外图像。实验结果表明,新算法有效地提高了红外图像的整体对比度,保留图像的细节信息,有较佳的图像视觉表现。     

真彩色传递双波段图像融合

针对基于颜色传递的双波段（中波红外、可见光）图像融合时,由于参考图像选择不当,造成的彩色融合图像对比度差、图像边缘细节下降等问题,提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解,每一级按照不同的融合规则进行融合,以重构后的灰度融合图像作为融合结构的亮度分量Y,将可见光与红外图像的差值图像作为U分量,以红外图像为V分量。在颜色传递公式中,加入可调的比例系数,通过适当调节比例系数可调节融合图像的对比度。实验结果表明,获得的融合图像较好地保留了可见光图像的细节,既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明,融合图像的均值、方差、熵等评价指标均得到较大提高。     

火焰温度场测量中的图像重建算法融合技术

稀疏角度下图像重建算法的研究是发射光谱层析技术在场分布测量方面应用的关键问题。代数重建算法、同时迭代重建算法以及联合代数重建算法是其中应用较为广泛的迭代类图像重建算法。以蜡烛火焰为重建对象,利用均方差、峰值信噪比、结构相似性和图像平均梯度等图像质量评价指标来分析评价不同算法的图像重建效果,并发展了一种多指标优化算法融合的技术,充分利用三种算法的恢复重建优势,实现了火焰三维温度场的分区重建,重建温度误差在5%以内。实验结果证明,所发展的算法融合技术适用于火焰三维温度场的高质量重建。     

基于引导滤波的自适应红外图像增强改进算法

在红外图像处理中,细节增强和噪声抑制尤为重要,重点在于将高动态范围的红外图像压缩至低动态范围的同时保留细节信息、抑制图像噪声。以引导滤波的自适应红外图像增强算法为基础,提出一种基于引导滤波的自适应红外图像增强改进算法。通过引导滤波平滑初始输入图像,将初始输入图像与平滑后的图像做差获得包含大动态温度信息的基础层图像和小动态温度信息的细节层图像,分别对基础层图像、细节层图像进行压缩处理和噪声抑制;以不同的融合比例将处理后的基础层图像、细节层图像进行融合获得输出图像。为了减少算法运算时间、突出图像细节信息的同时减小细节层噪声对输出图像的影响且达到自适应场景的效果,利用可用于筛选有效灰度值的自适应门限参数和直方图分布信息设计出一维压缩数组对图像进行压缩,并将图像融合中的定值比例系数更改为自适应融合比例系数。通过直方图分布信息中的最大值、最小值确定自适应门限参数,同时利用直方图分布信息设计出一维压缩数组对图像进行压缩;获取直方图中有效灰度值个数,通过有效灰度值个数与总灰度值个数之间的比值对图像的场景信息进行判断,根据不同的场景信息确定基础层图像与细节层图像的自适应融合比例系数,实现图像融合。实验结果分别与直方图均衡算法、基于引导滤波的高动态红外图像增强算法、基于引导滤波的自适应红外图像增强算法进行比较,选用四种不同的场景从主观、客观两种层面进行分析。对比结果从主观分析得出该算法处理后的图像可突出细节轮廓信息、减少细节层噪声对融合后输出图像的影响。从客观评价得出该算法在四种场景下的平均计算时间为0.753 5 s,低于对比算法计算时间;并且使基础层图像和细节层图像的融合比例系数达到自适应场景的效果。     

一种红外偏振图像的二次融合方法

根据红外偏振特性图像的冗余性与互补性,提出了一种基于梯度特征和支持度变换的二次融合方法。利用提出的方法先对红外偏振度与偏振角图像进行梯度特征融合,然后利用支持度变换对梯度特征融合图像和合成强度图像进行二次融合,得到了边缘突出、轮廓清晰、对比度高的的融合图像。实验结果表明:融合图像与偏振角图像、偏振度图像、合成强度图像相比局部方差分别提高23.02%、176.9%、148.2%;对比度分别提高67.84%、196.5%、49.39%;平均梯度分别提高46.09%、164.1%、214.5%。     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于shearlet域和邻域结构特征的红外与可见光图像融合

针对传统融合方法融合后目标轮廓模糊和细节不突出的问题,本文提出了一种在shearlet框架下基于邻域结构特征的红外与可见光图像融合方法。首先,通过shearlet变换对源图像进行分解得到与源图像同尺寸的高频和低频子带系数;其次,为防止融合后图像边缘模糊,在低频子带系数上采用几何距离与能量距离加权的融合规则,同时对高频子带系数采用灰度差异与梯度距离加权的融合规则来更好地保留源图像的细节信息;最后经过shearlet逆变换得到融合后图像。通过实验对比发现,在视觉效果方面,本文方法能有效地提取红外目标信息和保持可见光图像信息。实验结果表明,本文方法在保留图像轮廓信息的基础上,凸显了目标信息,有效提高了融合效果。     

基于时空双流卷积神经网络的红外行为识别

针对红外视频人体行为识别问题,提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段,然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络,空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息,再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络,融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和,从而得到最终的视频分类结果。实验中,采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别,正确识别率为92.0%。结果表明,该算法可以有效地对红外视频行为进行准确识别。     

利用目标和大气偏振信息的雾天图像重构方法

结合目标偏振信息和大气偏振信息的差异, 提出了一种利用目标和大气偏振信息的雾天图像重构方法。首先, 从光强图像中分离大气光图像和目标光图像, 分别解析大气光偏振信息和目标光偏振信息, 构建偏振去雾模型。然后, 采用融合图像梯度信息的高斯滤波方法估算大气光强和目标光强, 并分别计算大气光偏振度和目标光偏振度。采用3σ法则阈值分割方法, 在大气光图像空间内估算无穷远处大气光强。最后, 重构出目标图像。在不同天气环境下开展外场实验, 结果表明, 该方法在雾霾、雨、雪天气下能够较好地恢复出目标信息, 重构后图像的信息熵提升约40%, 灰度标准差提升了约90%, 平均梯度和边缘强度提高了3倍。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

红外CCD在线温度场测量误差分析

红外CCD是通过采集高于绝对零度物体发出红外线并转化为图像来进行在线温度场测量的,得到的图像与物体的本身有一定的对应关系.由于受到很多干扰因素的影响,得到的温度场信息并不完全准确.造成的误差有很多,包括光学系统的误差、CCD器件本身带来的误差,还有就是红外辐射的干扰.对于前两者通过图像处理方法可以消除一部分误差,而红外辐射的干扰随机性比较大,利用一般的图像处理不能够完全解决.采用预埋热电偶的方法实时监测几个固定点的温度,然后利用这几个点的温度与CCD测的温度相比较,从而实时来校准系统的发射率.并利用修正后的系统发射率来计算被测物体的温度场分布,为了防止温度只是由于突然改变的系统的发射率发生突变.由此设计了温度场实时校准数学模型和修正系统,消除了部分温度场在线测量误差和突变,实现了红外CCD在线温度场的准确测量.实验结果表明,利用温度场实时修正系统来消除红外CCD温度场实时测量误差是可行的.     

红外和可见光图像泊松融合算法

针对已有红外和可见光图像融合算法存在的复杂度高、实时性差、输入参量多和融合模型受先验知识影响等问题,提出了红外和可见光图像泊松融合算法.算法采用绝对值最大规则融合源图像的梯度得到泊松融合图像的期望梯度,将平均融合图像分解,分别作为迭代的初始值和边界条件,利用雅可比迭代求解泊松方程重建泊松融合图像.通过实验分别确定了最佳迭代次数以满足高质量和高实时性两种融合需求.与经典融合算法相比,该算法在质量优先或速度优先的图像融合应用方面性能更优.     

基于特征融合的红外图像增强算法

在红外图像处理过程中,提高图像的对比度,抑制噪声以及突出图像细节尤为重要,针对这些问题,提出了基于特征融合的红外图像增强算法.以引导滤波为基础对图像进行平滑分层,得到基本层和细节层,基本层采用CLA-HE算法扩展低频分量的范围,而对于细节层采用Log算子与Laplace算子分别处理,依据梯度因子的权重信息获得融合细节层...     

FABEMD和改进局部能量窗口的红外中波和长波图像融合

针对探测波段为3.7～4.8 μm的中波红外图像和探测波段为8～14 μm长波红外图像融合过程中存在场景对比度低,显著性目标不够凸出,伪影引入严重的问题,采用快速自适应二维经验模态分解（FABEMD)对红外中波和长波图像进行多尺度分解以得到二维内蕴模函数(BIMFs)和残余分量(Residual)。对于每一层内蕴模函数选用改进的局部能量窗口融合规则,首先配置好加权算子以增加区域窗口中心像素的能量占比;选用不同的加权算子,经实验验证能有效突出红外中波和长波图像的能量特征信息;其次充分利用内蕴模函数的相位信息,当相位相反时,采用能量加权平均的方式,以解决融合系数的正负符号极性难以确定的问题;当相位相同时,判断二者的能量差距并依据差距大小选择设定的融合规则,融合规则基于红外中波和长波图像的灰度差异特性设定。对于残余分量则利用红外中波图像和改进区域能量窗口的最大对称环绕显著性权重图指导基础层系数的融合,自适应的局部环绕窗口充分利用了低频显著性信息,对无用背景的抑制效果也相当出色,能够在复杂背景图像中突出显著性对象,最终得到细节信息丰富,对比度明显的指导图像。最后通过FABEMD的逆变化重构过程得到融合图像,对4组不同背景、不同大小的红外中长波图像进行主观和客观性能评价,4组图像均来自多波段红外采集系统且都经过严格配准并和7种相关算法进行对比实验,在主观性能上显著性对象突出、清晰度度高;客观性能上在平均梯度和空间频率这两个评价指标上性能优异,验证了该算法的有效性。     

基于剪切波变换和邻域结构特征的红外与可见光图像融合

针对传统融合方法融合后目标轮廓模糊和细节不突出等问题,提出一种在剪切波框架下基于邻域结构特征的红外与可见光图像融合算法。通过剪切波变换对源图像进行分解得到与源图像同尺寸的高频和低频子带系数;为防止融合后图像边缘模糊,对低频子带系数采用几何距离与能量距离加权的融合规则,对高频子带系数采用灰度差异与梯度距离加权的融合规则来更好地保留源图像的细节信息;经剪切波逆变换得到融合后图像。结果表明,本文算法能有效地提取红外目标信息和保持可见光图像信息;在保留图像轮廓信息的基础上,凸显目标信息,有效地改善图像融合效果。