红外和彩色可见光图像亮度-对比度传递融合算法

以红外和彩色可见光图像为研究对象,提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合,然后用LCT技术改善灰度融合结果的亮度和对比度,最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明,提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩,而且具备令人满意的亮度和对比度,即使采用运算简单的像素平均法进行灰度融合,同样可以获得良好的融合效果。     

基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法

针对传统红外与弱可见光图像融合算法中存在的亮度与对比度低、细节轮廓信息缺失、可视性差等问题,提出一种基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法.该方法首先利用改进的高动态范围压缩增强方法增强可见光图像提高亮度;然后利用基于潜在低秩表示与复合滤波的分解方法分别对红外与增强后的弱可见光图像进行分解,得到相应的低频和高频层;再分别使用改进的对比度增强视觉显著图融合方法与改进的加权最小二乘优化融合方法对得到的低频和高频层进行融合;最后将得到的低频和高频融合层进行线性叠加得到最终的融合图像.与其他方法的对比实验结果表明,用该方法得到的融合图像细节信息丰富,清晰度高,具有良好的可视性.     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

基于非下采样Shearlet变换耦合相对亮度测度的可见光与红外图像融合算法

为了克服当前较多可见光与红外图像融合方法在通过图像能量特征融合图像时,忽略了图像的全局相对亮度特征,导致融合图像存在红外目标表达能力弱等问题,文章引入非下采样Shearlet变换,通过测量图像的相对亮度来融合图像.借助NSST变换来处理输入图像,解析出图像的低频和高频系数;采用区域能量函数,对区域图像所含的能量特征进行...     

一种从粗到精的红外和可见光卫星图像配准方法

气象卫星所携带的多种传感器可以获得可见光、红外、多光谱等多模态的卫星图像,目前处理这些多模态图像的一个重要手段是数据融合分析方法,而获取不同模态图像空间对应关系的图像配准是数据融合分析的前提和基础。针对多模态气象卫星图像的配准问题,重点研究红外图像和可见光图像的配准问题,并根据红外图像和可见光图像的特点,提出了一种由粗到精的两阶段配准方法。在粗配准阶段,将Fourier-Mellin变换应用于红外和可见光图像的边缘图像上,并通过变换图像在频域的关系实现了图像配准仿射变换参数的快速计算;在精配准阶段,基于图像的Harris算子检测红外图像和可见光图像的特征点,并通过特征点局部区域的互相关函数实现特征点的匹配,最终通过匹配特征点求得精确配准的变换参数。文章提出的由粗到精的图像配准方法,有效结合了Fourier-Mellin变换对边缘图像配准的高效性和Harris算子图像配准的准确性,是红外和可见光图像配准的一种新方法。利用FY-2D气象卫星获取的红外和可见光图像进行了配准实验,实验结果表明所提出的方法具有良好的鲁棒性和较高的配准精度。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

基于目标提取与引导滤波增强的红外与可见光图像融合EI北大核心CSCD

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

一种基于区域特性的红外与可见光图像融合算法

提出了一种基于区域分割和à trous小波变换的红外与可见光图像融合算法.首先,对红外与可见光图像进行区域分割及区域关联,并按关联映射图所划分区域提取红外与可见光图像的的能量信息及梯度信息;然后,对红外与可见光图像进行多尺度à trous小波变换分解,分解后的低频部分按照文中所提出的区域能量比和区域清晰比指标进行区域融合,高频部分采用绝对值取大算子进行融合;最后进行重构得到融合图像.结果表明,该算法既可保持可见光图像的光谱信息,又可有效获取红外图像的热目标信息.     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

自适应参考图像的可见光与热红外彩色图像融合算法

可见光与红外热图像的彩色图像融合技术是现今国内外高性能夜视技术发展的重要方向之一,该技术有效提高了人们对目标的探测和场景理解能力。目前常用的色彩传递算法多属于基于单幅参考图像的全局色彩传递算法,彩色融合图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性。针对常规YUV空间色彩传递彩色图像融合算法的环境适应性问题,通过对植物、城镇和海天三类典型场景的分类与统计,发现了典型场景在UV通道的均值和标准差具有的较为明显的分类特性,由此提出了一种基于UV通道均值和标准差的自适应参考图像构造方法,使得可见光与热红外彩色图像融合算法具有较常规算法更好的环境适应性,融合图像的色彩具有较好的自然感,且算法处理量较小,对现有实时硬件融合处理算法的运算速度影响不大,是一种环境适应性强的自然感彩色融合处理算法。     

真彩色传递双波段图像融合

针对基于颜色传递的双波段（中波红外、可见光）图像融合时,由于参考图像选择不当,造成的彩色融合图像对比度差、图像边缘细节下降等问题,提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解,每一级按照不同的融合规则进行融合,以重构后的灰度融合图像作为融合结构的亮度分量Y,将可见光与红外图像的差值图像作为U分量,以红外图像为V分量。在颜色传递公式中,加入可调的比例系数,通过适当调节比例系数可调节融合图像的对比度。实验结果表明,获得的融合图像较好地保留了可见光图像的细节,既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明,融合图像的均值、方差、熵等评价指标均得到较大提高。     

基于变换域PCNN的近红外与彩色可见光融合

针对近红外与彩色可见光图像融合后对比度低、细节丢失和颜色失真等问题,提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network,PCNN)的红外与彩色可见光图像融合的新算法。首先将彩色可见光图像转换到HSI（hue saturation intensity)空间,HSI色彩空间包含亮度、色度和饱和度三个分量,并且这三个分量互不相关,因此利用这个特点可对三个分量分别进行处理。将其亮度分量与近红外图像分别进行多尺度变换,变换方法选择Tetrolet变换。变换后分别得到低频和高频分量,针对图像低频分量,提出一种期望最大的低频分量融合规则;针对图像高频分量,采用高斯差分算子调节PCNN模型的阈值,提出一种自适应的PCNN模型作为融合规则。处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间,得到融合后的彩色图像。为了解决融合带来的图像平滑化和原始图像光照不均的问题,引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。为了验证方法的有效性,选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验,并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。实验结果表明,同其他图像融合算法进行对比分析,该方法在有无CSC颜色的情况下均能保留最多的细节和纹理,可见度均大大提高,同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理,均具有更好的对比度和良好的色彩再现性。在信息保留度、颜色恢复、图像对比度和结构相似性等客观指标上均具有较大优势。     

具有紧支撑正交非张量积小波的图像融合

提出了基于一种新的小波——具有紧支撑、正交性、伸缩矩阵为[^2 0 ^0 2]的非张量积小波的图像融合方法。首先根据非张量积小波理论,利用Daubechies构造的单变量滤波器构造出基于四通道的不可分的小波滤波器组,用此滤波器组对参加融合的图像进行分解,然后对低频部分采用取均值、高频部分采用系数绝对值取大的融合算法对分解子图进行融合,最后重构。并采用熵、交叉熵、互信息、均方根误差和峰值信噪比等指标对该方法进行了客观评价。对可见光图像与红外图像、远红外图像与近红外图像、遥感图像、多聚焦图像和其它多类图像的融合实验结果证明本方法有较好的融合效果,其融合性能与采用同样融合算法的张量积db2小波的融合方法的融合性能相当。     

基于Tetrolet变换的红外与可见光融合

针对目前红外与可见光图像融合速度慢、 融合结果对比度不高且易产生伪影的缺点,提出一种基于Tetrolet变换的改进融合算法。首先,将可见光图像转换到lαβ颜色空间得到三个几乎不相关的彩色通道;然后对其l分量和红外图像分别进行Tetrolet变换,对于低通系数引入邻域能量及其接近度的融合规则。而对Tetrolet系数采用伪随机傅里叶矩阵进行观测并加权融合其观测值;接下来对融合后观测值采用CoSaMP优化算法迭代出融合后的Tetrolet系数,并经Tetrolet重构得到融合后的灰度图像;最后将灰度图像映射到RGB颜色空间获得最终的融合图像。实验证明了本文算法的有效性。     

θ调制多光谱照相中可见光与红外图像融合的研究

针对θ调制多光谱照相技术，提出了一种基于小波变换的图像融合及假彩色化新方法，其特点是使用改进的加权平均法融合可见光波段解码图像与红外图像的小波分解低频分量，以局部能量差为测度标准融合高频分量，将融合的图像在RGB空间合成假彩色图像.理论分析和实验结果表明该方法具有良好的融合性能和假彩色效果.     

基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.