基于NSST与改进PCNN的红外与可见光图像融合方法

针对目标红外图像与可见光图像信息优势互补的需 求,引入改进的脉冲耦合神经网络,提出一种新颖的基于非下采样 剪切波变换的红外与可见光图像融合算法。首先选取非下采样剪切波变换将图像进行分解, 获得高低频分量;其次低频分量的 融合是利用改进空间频率作用脉冲耦合神经网络输入激励,且其链接强度由表征图像信息的 平均梯度自适应调整;而高频分量 处理方法是利用局部平均梯度与区域方差自适应加权融合;最后,对分别处理后的低高频分 量经过非下采样剪切波变换可逆变 换获取融合图像。实验结果表明,该算法可以有效综合图像的优势信息,融合结果在主观与 客观评价上比经典算法更好。     

基于NSST与IFCNN的红外可见光图像融合算法

针对在图像融合中存在边缘细节保留不够理想的问题,提出一种基于非下采样剪切波变换(NSST)与卷积神经网络图像融合框架(IFCNN)的红外可见光图像融合算法.首先将红外和可见光图像进行NSST分解.然后为了使低频子带图像更好地突出轮廓信息,使用相似性匹配的融合规则对图像进行融合;对高频子带图像使用IFCNN提取特征层,特征层通过L2正则化、卷积运算和最大选择策略处理可以得到最大权重图,根据最大权重图来确定高频融合规则.最后使用NSST逆变换得到最终的融合图像.实验结果表明,所提算法很好地保留图像的边缘及纹理等细节信息,减少伪影和噪声,具有良好的视觉效果.     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

边缘和对比度增强的NSST域红外与可见光图像融合

为了将红外图像的全局信息与可见光图像的细节信息进行有效结合,进一步提高融合后图像的质量,提出了一种同时增强图像边缘细节和对比度的非下采样剪切波变换(NSST)域红外和可见光图像融合方法.首先,通过平移不变剪切波将图像分解成为低频子带与高频子带,通过全局显著性图分析图像的对比度信息;利用改进型局部显著度图分析图像局部边缘信息.针对不同频带系数,结合边缘信息和对比度信息对频带系数进行融合,最后,利用逆变换得到最终的融合图像.大量实验结果表明,本文方法在提高图像整体对比度的同时增强了图像的边缘细节表现能力,优于现有的基于小波变换,非下采样轮廓波变换(NSCT)和显著度图等几种图像融合方法.     

改进快速NSST的热烟羽红外与可见光图像融合

针对非下采样剪切波变换逐步划分子带过程中迭代滤波运算效率不高的问题,提出一种非下采样剪切波变换的快速分解重构方法。改进的分解方法根据分解的尺度卷积非下采样金字塔滤波器组中相应的滤波器,用卷积结果对源图像进行滤波,直接生成子带图像,在提高图像分解速度的同时,也相应减少分解迭代滤波的运算量。本文采用一种基于标准差的区域特性量测方法用于低频系数融合,突出低频系数中的轮廓信息;最高频系数融合采用能量取大的融合规则,其余高频系数通过结合改进的拉普拉斯能量和与梯度特性进行融合,使目标烟羽的边缘信息更加清晰。实验结果表明,融合后热烟羽图像目标细节清晰突出;综合客观评价指标来看,本文方法优于一些常用的红外与可见光图像融合方法。     

一种改进的SAR与可见光图像融合算法

针对现有SAR与可见光遥感影像融合算法的计算复杂度较高,细节信息保留较差等问题,提出了一种NSST-IHS结合自适应PCNN改进的融合算法。该方法先利用IHS 变换提取可见光图像的亮度分量I,并将得到的亮度分量I与SAR图像分别进行NSST变换;然后,针对低频子带分量采用方向信息即空间频率和平均梯度自适应调整PCNN的外部刺激与链接强度;高频子带分量上运用改进的拉普拉斯能量和(SML)的融合规则;最后,运用逆 NSST变换和逆IHS变换得到最终融合图像。实验表明,本文算法所得融合图像比传统算法在视觉效果方面提升明显,光谱信息及线性结构特征得到更多保留、各类评价指标上比传统算法要更好。     

基于MSPCNN与FCM的红外与可见光图像融合

针对红外和可见光图像融合存在的轮廓信息不全、边缘及纹理细节信息缺失等问题,提出一种改进简化脉冲耦合神经网络（Improved Simplified Pulse Coupled Neural Network, MSPCNN）和模糊C-均值（Fuzzy C-mean, FCM）图像融合算法。首先,将红外和可见光图像用非下采样剪切波算法（NonSubsampled Shearlet Transform,NSST）分解为高低频子带;然后对分解后的高频子带采用MSPCNN融合,用一种高斯分布权重矩阵进行处理,增强细节信息和对比度;接着,将得到的低频子带图像使用FCM聚类算法进行聚类中心提取,设置聚类中心近似阈值简化过程,实现背景分类提取;最后利NSST进行逆变换,从而完成红外和可见光的图像融合过程。通过客观评价指标计算,本文所提方法在平均梯度、标准差、平均相似度等参考指标上相对于其他同类型算法均有改善提高,由于模型参数的简化,算法运行速度相对于其他算法得到提升,算法更适用于复杂场景。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

一种自适应的红外与可见光图像融合算法

通过一种自适应算法对红外图像和可见光图像进行了融合,该方法能根据当前环境下的图像特性自适应地调整融合参数。分析了红外与可见光图像的特性,并对已有的小波融合算法进行仿真验证,最终提出了基于小波变换的自适应融合算法,并对其进行了测试。实验结果表明,该方法产生的融合图像更有利于人眼观察,且融合性能指标也有所提升。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

一种新颖的红外与可见光图像融合方法

为了提升红外和可见光图像融合效果,提出了一种新颖的融合方法。对可见光图像利用支持向量机和腐蚀膨胀算法在图像分块的基础上进行分割获取含有重要场景信息的特征子图像和灰度场景子图像;对红外图像进行热目标边缘提取并增强,结合前述特征子图像和最大类间方差法获取边缘增强的目标子图像,特征子图像和灰度场景子图像。利用小波包分别对两特征子图像,两场景子图像进行融合。融合过程中,根据子图像特点择取不同融合准则,并对高频融合系数进行系数修正使其更为准确可靠。将红外热目标注入到前述融合结果中获取最终融合图像。实验结果表明,提出算法从主、客观评价上都要优于对比算法。     

可见光与红外图像自适应加权平均融合方法

针对传统可见光图像与红外图像融合存在显著性信息保留不完整的问题,本文提出了一种新的自适应加权平均融合算法.首先,该方法通过非下采样轮廓波变换将源图像分解为不同尺度、不同方向的高低频分量.然后,针对低频分量的特点提出了一种基于显著性的自适应加权平均融合规则,用于保留源图像中的重要信息.对于高频分量,本文采用绝对值取大的融合策略.最后,根据融合后的高低频分量重构出最终的融合图像.实验结果表明,本文算法与传统融合算法相比,在主观视觉和客观指标上都具有优势.     

一种新的红外与可见光图像像素级融合方法

提出了一种使用指导性滤波进行像素级图像融合的方法。首先对红外图像进行最大值滤波处理以获取其中的高亮信息;然后使用原始红外图像作为指导图像对高亮部分做滤波,处理结果直接叠加在可见光图像上;最后将叠加图像进行伽玛校正以调整对比度,得到最终融合输出。实验结果表明:该算法能够充分利用红外与可见光图像各自的优势,融合效果较好,且计算复杂度低,易于实时处理。     

基于可见光和红外图像融合的汽车抗晕光方法

针对夜间汽车行车因前大灯使用不当而产生的晕光问题,提出了一种基于可见光与红外图像融合的汽车抗晕光方法,以提高夜间行车的安全性能。该方法通过对可见光图像做IHS变换,将提取到的亮度分量与红外图像进行小波变换,获得新的亮度分量后,再与原始可见光图像的色度分量和饱和度分量进行IHS逆变换,实现既能消除晕光现象又能保留图像细节的目的。对可见光和红外图像融合算法处理结果的主观评价与客观数据分析,表明本文提出的方法可以有效消除夜间汽车行车时的晕光现象,改善传统IHS变换的光谱扭曲性,提高小波变换的速度。     

基于决策融合的红外与可见光图像人脸识别研究

可见光图像受光源影响较大,红外图像可以独立光源,但对温度变化比较敏感,而红外与可见光融合的人脸识别方法被证明比任意单一识别更有效.为了提高人脸识别的鲁棒性,提出了一种基于决策融合的红外与可见光图像人脸识别方法,即加权求和与求最大值组合的图像决策融合方法.对红外与可将光人脸图像分别采用PCA与线性辨别分析相结合的方法进行特征提取和识别,并利用获得的识别结果与它们各自的置信度进行决策融合,确定最终的人脸识别结果.实验表明,可以有效提高人脸识别性能和对各种应用环境的适用性.     

Fusion of Infrared and Visible Images Based on Infrared Object Extraction

The ideal fused results of infrared and visible images, should contain the important infrared objects, and preserve the visible textural detail information as much as possible. The fused images are more consistent with human visual perception effect. For this purpose, a novel infrared and visible image fusion framework is proposed. Under the guidance of the model, the source images are decomposed into large-scale edge, small-scale textural detail and coarse-scale base level information. Among which, the large-scale edge information contains the main infrared features, on this basis, the infrared image is further segmented into the object, transition and background regions by OTSU multi-threshold segmentation algorithm. In the end, the fused weights for the decomposed sub-information are determined by the segmented results, so that, the infrared object information can be effectively injected into the fused image, and the important visible textural detail information can be preserved as much as possible in the fused image. Experimental results show that, the proposed method can not only highlight the infrared objects, but also preserve the visual information in the visible image as much as possible. The fused results are superior to the commonly used representative fusion methods, both in subjective perception and objective evaluation.     

基于整体变分的红外和可见光图像融合

针对红外与可见光的融合图像存在对比度低、场景细节信息不清晰的问题,提出基于整体变分的红外和可见光图像融合方法。该方法将每次迭代后的融合图像分别与可见光和红外图像进行差分运算,作为整体变分模型的正则项和保真项。同时,引入关于红外图像的非增扩散函数来引导扩散,抑制红外图像边缘信息的平滑,从而把图像融合问题转化为图像去噪问题,最终转化为一个泛函求极值问题。实验结果从视觉质量及客观评价上验证了该方法的有效性。