基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于加权mean-shift可见光/红外双通道目标跟踪

为提高目标亮度突变时的跟踪性能,在每一帧进行目标跟踪时,首先提取可见光图像的颜色特征,红外图像的垂直投影图像和水平投影图像特征,然后利用可见光/红外各自通道的Bhattacharyya系数计算该通道的权值,并对加权mean-shift双通道跟踪方法进行了推导,提出了基于加权mean-shift可见光/红外双通道目标跟踪算法.该方法使前后两帧目标相似度大的通道取大的权值,从而达到有效利用各通道有利信息、提高跟踪性能的目的.实验表明,用本文提出的算法进行可见光/红外双通道目标跟踪时,与基于mean-shift单通道(可见光或红外)目标跟踪算法相比,可提高目标跟踪的准确度,特别是当目标进入树荫区域,引起目标亮度发生显著变化时,跟踪性能基本不受影响.     

基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法

针对传统红外与可见光图像融合算法中存在的目标不够突出、背景缺失、边缘信息保留不够充分等问题,提出了一种基于改进引导滤波和双通道脉冲发放皮层模型(DCSCM)的红外与可见光图像融合算法。首先,对源图像进行非降采样Shearlet变换(NSST),得到相应的低频和高频分量。然后,分别采用改进的引导滤波算法和DCSCM模型对低频、高频分量进行融合。最后,对融合得到的高低频分量进行NSST逆变换得到最终的融合图像。与其他几种方法进行比较,实验结果表明,本文算法的融合图像目标突出,背景信息丰富,且在图像清晰度、对比度、信息熵等方面均有优势。     

基于SIFT的电力设备红外与可见光图像的配准和融合-

提出了一种红外与可见光的配准和融合方法,该方法利用SIFT算法提取图像特征,并使用透视变换表示图像的变换关系,最后在HSI空间,对图像进行了加权融合。实验表明,该方法快速稳定、鲁棒性高。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

一种基于区域特性的红外与可见光图像融合算法

提出了一种基于区域分割和à trous小波变换的红外与可见光图像融合算法.首先,对红外与可见光图像进行区域分割及区域关联,并按关联映射图所划分区域提取红外与可见光图像的的能量信息及梯度信息;然后,对红外与可见光图像进行多尺度à trous小波变换分解,分解后的低频部分按照文中所提出的区域能量比和区域清晰比指标进行区域融合,高频部分采用绝对值取大算子进行融合;最后进行重构得到融合图像.结果表明,该算法既可保持可见光图像的光谱信息,又可有效获取红外图像的热目标信息.     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于稀疏特征的红外与可见光图像融合

针对传统的红外与可见光图像融合算法提取目标信息不突出的问题,提出一种基于非下采样剪切波变换和稀疏结构特征的融合方法.首先用非下采样剪切波变换分解源图像;然后通过主成分分析提取低频子带系数中边缘和轮廓等显著特征,引导低频成分融合规则的设计,同时基于结构信息的稀疏性指导融合高频子带系数;最后经过非下采样剪切波变换逆变换得到融合后的图像.实验结果表明,该方法在保留可见光图像背景信息的基础上,突显了红外图像的结构信息,有效提高了融合效果.     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于深度跳跃级联的图像超分辨率重建

针对模型VDSR(very deep super resolution)收敛速度慢,训练前需要对原始图像进行预处理,以及网络中存在的冗余性等问题,提出了一种基于深度跳跃级联的单幅图像超分辨率重建(DCSR)算法。DCSR算法省去了图像预处理,直接在低分辨率图像上提取浅层特征,并使用亚像素卷积对图像进行放大;通过使用跳跃级联块可以充分利用每个卷积层提取到图像特征,实现特征重用,减少网络的冗余性。网络的跳跃级联块可以直接从输出到每一层建立短连接,加快网络的收敛速度,缓解梯度消失问题。实验结果表明,在几种公开数据集上,所提算法的峰值信噪比、结构相似度值均高于现有的几种算法,充分证明了所提算法的出色性能。     

一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法

由于可见光图像在低光照环境下其可视性较差,为了提高红外与弱可见光图像融合的效果,提出了一种基于对比度增强和柯西模糊函数的图像融合算法.首先用改进的引导滤波自适应增强提高弱可见光图像暗区域的可视性;其次,利用非下采样剪切波变换将红外和增强后的弱可见光图像分解,得到相应的低频和高频子带;再后,分别用直觉模糊集构建柯西隶属函数和自适应双通道脉冲发放皮层模型对低频、高频子带进行融合;最后,使用非下采样剪切波变换对融合得到的高低频子带进行逆变换重构得到融合图像.实验结果表明,与其它融合算法相比,该算法有效地增强了弱可见光图像的暗区域,保留了更多的背景信息,从而提高了融合图像的对比度和清晰度.     

一种基于区域生长的红外与可见光的图像融合方法

针对目前红外与可见光目标跟踪的视频序列融合难以满足实时性问题，利用红外图像目标与背景显著的灰度差异特征，结合目标跟踪中目标分割时常用到的区域生长法，通过区域生长方法从红外图像中提取目标区域，再将得到的红外目标区域与已经过图像配准的可见光图像的背景区域进行融合处理，最终得到既具有红外图像较好的目标指示特性又具有可见光图像清晰场景信息的融合图像。实验表明：该算法不仅简单易行，而且所得到的融合图像视觉效果优于其他融合算法得到的图像。     

二尺度分解和显著性提取的红外与可见光图像融合

为增强红外与可见光图像融合可视性,克服红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。首先,以人类视觉感知理论为基础,针对人眼对图像不同区域敏感性不同特性,在跨模态融合任务中需要对源图像进行不同层次分解,避免高频分量和低频分量混合减少光晕效应,采用二尺度分解方法对源红外与可见光图像进行分解,分别获取各自的基本层和细节层,该分解方法能够很好的表达图像并具有很好的实时性;然后,针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则,VSM方法能够很好提取源图像中的显著结构和目标。采用基于VSM的加权平均融合规则对基本层融合,能够有效避免直接使用加权平均策略而导致对比度损失,使融合图像可视性更好;针对细节层的融合,采用Kirsch算子对源图像分别提取得到显著图,然后通过VGG-19网络对显著图进行特征提取获取权值图,并与细节层进行融合,得到融合的细节层;Kirsch算子能在八个方向上快速提取图像边缘,显著图中将包含更多边缘信息和更少噪声,且VGG-19网络能够提取到图像更深层特征信息,获取的权值图中将包...     

基于PHLST的红外与可见光图像融合算法

针对图像融合过程中边缘处理和区域一致性的问题,提出一种基于多重调和局部正弦变换的红外与可见光图像融合新算法.多重调和局部正弦变换的多重调和分量μ代表了图像缓慢变化的"趋势",在空域进行加权融合;残差分量υ体现了源图像的"波动",在傅里叶正弦变换域进行融合,以充分提取可见光图像的细节信息.由于不存在边缘效应,同时残差分量...     

基于小波包变换的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于小波包变换的融合算法。该算法先对源图像进行小波包分解,得到低频分量和各带通方向子带分量,并对不同分量采用不同的融合规则进行融合处理,得到各融合系数,然后经小波包重构获得融合图像。该方法可提取源图像细节信息,取得较好的融合效果。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

基于模糊推理的纹理图像融合方法研究

研究了模糊逻辑方法在图像特征层融合中的应用,介绍了两种模糊推理方法—Mamdani型和Sugeno型模糊逻辑推理系统,以及基于Sugeno型模糊推理的自适应模糊神经网络系统;在红外-可见光双通道图像融合实验中,采用Gabor滤波提取两幅图像的纹理特征,并分别采用两种模糊推理方法进行特征层融合。对融合效果进行了分析,结果表明两种模糊逻辑方法在不同应用环境下都可以取得了较好的融合效果。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制，提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强；自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合，充分利用两者的互补信息；逐级特征融合网络学习多层融合特征的结合，充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果，将阈值指标提高了5%，明显优于其他方法。     

基于改进的条件生成对抗网络的可见光红外图像转换算法

针对当前基于条件生成对抗网络的红外图像生成算法中红外生成图像纹理细节信息差和结构信息差的问题，提出了一种基于改进的条件生成对抗网络的红外图像生成算法。首先，基于ConvNext改进了生成网络，在生成网络解码部分通过添加残差连接增强了解码部分对编码部分提取的图像深层特征的利用；其次，生成网络采用UNet网络架构，增强了对图像底层特征的利用；最后，对抗网络通过对生成图像特征的一阶统计量（均值）和二阶统计量（标准差）的损失计算，进一步改善了红外生成图像的灰度信息和纹理细节信息。与现有典型红外图像生成算法的对比实验结果表明，该方法能够生成质量更高的红外图像，在主观视觉描述和客观指标评价上都取得了更好表现。匹配应用实验表明，该算法在可见光图像与红外图像异源匹配任务中体现了较好的应用价值。