2D经验模态分解与非下采样方向滤波器组的红外与可见光图像融合算法

针对当前红外(IR)与可见光(VI)图像融合中细节保留能力不足及目标配准精度不高的问题,设计了一种多尺度2D经验模态分解耦合非下采样方向滤波器组(NSDFB)的红外与可见光图像融合算法。分别计算红外与可见光图像的熵值,并比较二者阈值的大小,计算阈值较大图像的残差。通过2D经验模态分解(2D-EMD)和NSDFB机制,构建了多尺度方向分解模型,将熵值较大图像的残差和熵值较小的图像变换为高频方向系数与低频系数,以获得源图像的细节和特征信息。对于低频系数,引入加权平均作为低频系数的融合准则;根据区域能量对比度与清晰度来定义融合规则,完成高频系数的融合。利用2D-EMD多尺度分解逆变换将获取的低频与高频系数生成新图像。实验表明:与当前常用红外与可见光图像融合对比,所提算法具有更高的融合质量,所输出的图像具有更好的对比度与丰富的细节信息。     

基于支持度变换和top-hat分解的双色中波红外图像融合

为了解决用多尺度top-hat分解法融合双色中波红外图像时经常存在对比度提升有限、边缘区域失真较重的问题,提出了基于支持度变换和top-hat分解相结合的融合方法。先用支持度变换法将双色中波图像分解为低频图像和支持度图像序列;再从最后一层低频图像中用多尺度top-hat分解法提取各自的亮信息和暗信息;用灰度值取大法分别融合亮信息和暗信息;通过灰度值归一化和高斯滤波分别增强亮、暗信息融合图像;然后融合两低频图像和亮、暗信息增强图像;将融合图像作为新的低频图像和用灰度值取大法融合得到的支持度融合图像序列进行支持度逆变换,得到最终融合图像。该方法的实验结果同采用单一的支持度变换法融合和多尺度top-hat分解法融合相比,融合图像的对比度提升了11.69%,失真度降低了63.42%,局部粗糙度提高了38.12%。说明提出的从低频图像提取亮暗信息,并经过分别融合、增强,再与低频图像进行融合,能有效破解红外融合图像对比度提升和边缘区域失真度降低之间的矛盾,为提高图像融合质量提供了新方法。     

结合多元经验模态分解和加权最小二乘滤波器的遥感图像融合

为了提高多光谱图像的空间分辨能力的同时更大程度地保持光谱信息,提出了结合多元经验模态分解和加权最小二乘滤波器的遥感图像融合方法.多元经验模态分解解决了传统的基于单变量经验模态分解的遥感图像融合方法中多光谱图像的亮度分量和全色图像分解出的子图像频率不匹配导致融合图像空间细节信息缺失问题,加权最小二乘滤波器可以精确地估计出源图像的低频信息继而得到高频信息,减小了传统的经验模态分解方法估计的高频信息中混有低频成分而导致的光谱失真问题.将两者的优点结合,采用不同的融合规则得到的融合图像在空间细节和光谱信息的保持度较好.选取多组不同卫星数据进行仿真实验,并与结合多元经验模态分解和àtrous小波变换的方法以及基于加权最小二乘滤波器的遥感图像融合方法等方法进行比较,实验结果表明本文方法在光谱质量和空间分辨率方面都取得了很好的性能.     

基于图像块能量梯度的多聚焦图像融合

针对多聚焦图像,提出一种基于图像分块的融合方法。将源图像分为大小相同数量相等的子块,采用能量梯度算子作为对焦评价函数,计算各个图像子块能量梯度匹配度,设置匹配度阈值分离出源图像中的清晰区域。源图像中的清晰区域直接作为融合图像相应的区域,其它区域的处理中,构造与相应子块能量梯度大小相关的图像序列,以及像素点到各个子块中心距离相关的融合函数,然后用融合函数对图像序列融合。实验结果表明该方法有效性和合理性。     

基于细节增强的红外微光图像融合技术研究

为了有效地对红外与微光图像进行融合,在获得良好的融合视觉效果并实现熵增的前提下,同时尽量减少算法复杂度,提出了一种基于细节增强的自适应权值融合方法,根据红外微光图像特点,进行自适应权值矩阵计算,并进行一次融合,再结合细节图进行二次融合。经过在MATLAB中采用三种常见算法和本算法对五类典型场景进行了仿真分析,结合主观和客观评价机制对比,本文的算法具有较好的标准差和熵增,主观融合效果也相对较优。最后,在嵌入式FPGA平台中进行了验证,实现了50 Hz图像的实时融合输出,在批量化生产中得到了应用。     

非下采样变换的红外与可见光图像融合

基于非下采样Contourlet变换（NSCT）,提出了一种红外和可见光图像融合算法。针对低频子带系数和各带通方向子带系数分别提出了基于图像物理特征的系数加权选择方式与基于区域能量匹配的系数选择方式,即低频基于区域梯度信息、高频基于区域特征因子的加权与选择结合的图像融合算法。实验结果表明：非下采样Contourlet变换具有较快的运算速度,且经非下采样变换后能量更加集中,可提供更多的图像信息。相对于基于像素的图像融合算法,本文的图像融合算法具有更高的融合性能,是一种更适合图像融合的多尺度几何分析（MGA）工具。     

非下采样变换的红外与可见光图像融合

基于非下采样Contourlet变换(NSCT),提出了一种红外和可见光图像融合算法。针对低频子带系数和各带通方向子带系数分别提出了基于图像物理特征的系数加权选择方式与基于区域能量匹配的系数选择方式,即低频基于区域梯度信息、高频基于区域特征因子的加权与选择结合的图像融合算法。实验结果表明:非下采样Contourlet变换具有较快的运算速度,且经非下采样变换后能量更加集中,可提供更多的图像信息。相对于基于像素的图像融合算法,本文的图像融合算法具有更高的融合性能,是一种更适合图像融合的多尺度几何分析(MGA)工具。     

基于红外和可见光图像逐级自适应融合的场景深度估计

从图像中恢复场景的深度是计算机视觉领域中的一个关键问题。考虑到单一类型图像在深度估计中受场景不同光照的限制,提出了基于红外和可见光图像逐级自适应融合的场景深度估计方法（PF-CNN）。该方法包括双流滤波器部分耦合网络、自适应多模态特征融合网络以及自适应逐级特征融合网络。在双流卷积中红外和可见光图像的滤波器部分耦合使两者特征得到增强;自适应多模态特征融合网络学习红外和可见光图像的残差特征并将两者自适应加权融合,充分利用两者的互补信息;逐级特征融合网络学习多层融合特征的结合,充分利用不同卷积层的不同特征。实验结果表明:PF-CNN在测试集上获得了较好的效果,将阈值指标提高了5%,明显优于其他方法。     

基于亚像素区域加权能量特征的多尺度图像融合算法

对矩形和圆形区域中各像素进行亚像素划分,确定各亚像素的权值,得到基于哑像素的综合加权区域能量.融合箅法首先对源图像进行金字塔分解,然后对金字塔的高频细节分量使用基于哑像素加权区域能量特征的融合规则取大,对低频粗糙分量取平均.得到融合图像的塔形分解,最后重构融合图像.仿真结果表明,新算法融合效果较常规的区域能量特征作为融合规则的多分辨率图像融合算法效果更好,从清晰度和熵的评价来看,提高了融合图像的品质.     

改进的多曝光图像金字塔融合方法

针对多曝光的拉普拉斯金字塔融合算法存在部分过曝光以及暗部细节丢失问题,用相位一致性滤波函数替换原算法融合系数中的对比度函数,改进算法在提取边缘时可以忽略光照和对比度变化对图像的影响,使得融合结果更自然,细节更丰富.通过多组序列图像验证了算法的优点,并与原算法进行比较.结果表明,主观评价方面,该改进算法的融合结果自然,在强光背景下能较好地保留暗部细节,减少光源处的光晕;客观评价方面,该算法融合的高动态范围图像的方差和直方图结果明显优于原算法,所保留的信息多于原算法.     

基于小波分解和进化策略的图像融合方法

提出了一种基于小波分解和进化策略相结合的多聚焦图像融合方法。该方法首先对不同聚焦点图像进行无下采小波分解，并分别将其各方向、各尺度的高频信息进行叠加，然后依据它们在高频信息叠加层上对应的局部区域能量的差异，采用进化策略进行区域划分，进而实现分区域融合。实验结果表明所提出的方法比小波变换法具有更好的融合效果。     

分级多尺度变换的水下偏振图像融合法

提出了一种分级多尺度融合的水下偏振图像处理方法.首先,利用非负矩阵分解对偏振参量图像进行融合增强,得到所含局部特征信息完整且冗余度低的偏振参量融合图像;在此基础上,基于二维经验模式分解分别将偏振参量融合图像与偏振强度图像进行多尺度变换,对得到的高低频子图像分别进行加权平均融合,融合权重是采用穷举搜索法计算得到;最后,将高低频融合结果反变换得到最终融合图像.实验仿真结果表明该融合方法在增强图像细节信息及提高水下偏振图像对比度方面具有显著效果.     

基于DTCWT和稀疏表示的红外偏振与光强图像融合

针对红外偏振与光强图像彼此包含共同信息和特有信息的特点,提出了一种基于双树复小波变换和稀疏表示的图像融合方法.首先,利用双树复小波变换获取源图像的高频和低频成分,并用绝对值最大值法获得融合的高频成分;然后,用低频成分组成联合矩阵,并使用K-奇异值分解法训练该矩阵的冗余字典,根据该字典求出各个低频成分的稀疏系数,通过稀疏系数中非零值的位置信息判断共有信息和特有信息,并分别使用相应的规则进行融合;最后,将融合的高低频系数经过双树复小波反变换得到融合图像.实验结果表明,本文提出的融合算法不仅能较好地凸显源图像的共有信息,而且能很好地保留它们的特有信息,同时,融合图像具有较高的对比度和细节信息.     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法

针对传统红外与弱可见光图像融合算法中存在的亮度与对比度低、细节轮廓信息缺失、可视性差等问题,提出一种基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法.该方法首先利用改进的高动态范围压缩增强方法增强可见光图像提高亮度;然后利用基于潜在低秩表示与复合滤波的分解方法分别对红外与增强后的弱可见光图像进行分解,得到相应的低频和高频层;再分别使用改进的对比度增强视觉显著图融合方法与改进的加权最小二乘优化融合方法对得到的低频和高频层进行融合;最后将得到的低频和高频融合层进行线性叠加得到最终的融合图像.与其他方法的对比实验结果表明,用该方法得到的融合图像细节信息丰富,清晰度高,具有良好的可视性.     

Fusion of Infrared and Visible Images Based on Three-Scale Decomposition and ResNet Feature Transfer

Image fusion technology can process multiple single image data into more reliable and comprehensive data, which play a key role in accurate target recognition and subsequent image processing. In view of the incomplete image decomposition, redundant extraction of infrared image energy information and incomplete feature extraction of visible images by existing algorithms, a fusion algorithm for infrared and visible image based on three-scale decomposition and ResNet feature transfer is proposed. Compared with the existing image decomposition methods, the three-scale decomposition method is used to finely layer the source image through two decompositions. Then, an optimized WLS method is designed to fuse the energy layer, which fully considers the infrared energy information and visible detail information. In addition, a ResNet-feature transfer method is designed for detail layer fusion, which can extract detailed information such as deeper contour structures. Finally, the structural layers are fused by weighted average strategy. Experimental results show that the proposed algorithm performs well in both visual effects and quantitative evaluation results compared with the five methods.     

Multi-Focus Image Fusion Based on Hessian Matrix Decomposition and Salient Difference Focus Detection

Multi-focus image fusion integrates images from multiple focus regions of the same scene in focus to produce a fully focused image. However, the accurate retention of the focused pixels to the fusion result remains a major challenge. This study proposes a multi-focus image fusion algorithm based on Hessian matrix decomposition and salient difference focus detection, which can effectively retain the sharp pixels in the focus region of a source image. First, the source image was decomposed using a Hessian matrix to obtain the feature map containing the structural information. A focus difference analysis scheme based on the improved sum of a modified Laplacian was designed to effectively determine the focusing information at the corresponding positions of the structural feature map and source image. In the process of the decision-map optimization, considering the variability of image size, an adaptive multiscale consistency verification algorithm was designed, which helped the final fused image to effectively retain the focusing information of the source image. Experimental results showed that our method performed better than some state-of-the-art methods in both subjective and quantitative evaluation.     

一种利用十字窗口识别红外弱小目标的新方法

为有效地识别红外图像中的弱小目标,在分析传统识别方法的基础上,提出了一种利用十字窗口识别红外弱小目标的新方法.该方法在待识别点上、下、左、右四个方向以目标大小选取四个参考点构造十字形识别窗口,根据待识别点与参考点之间的灰度梯度识别该像素点是否为目标像素.该方法无需预测背景,可以在低信噪比、强度变化剧烈的图像中获得较高的识别率与较低的虚警率.实验结果表明了该算法的有效性.     

基于改进梯度投影NMF和复Contourlet变换的遥感图像融合

为了尽可能地保留全色图像的空间信息和多光谱图像的光谱信息,提出了一种基于改进梯度投影非负矩阵分解和复Contourlet变换的遥感图像融合方法.首先,以多光谱图像的强度分量图像为标准,对全色图像做直方图匹配,得到新的全色图像;然后,利用复Contourlet变换分别分解多光谱图像的强度分量图像和新的全色图像,得到各自对应的低频分量和高频分量;接着,对两幅低频分量图像采用改进梯度投影的非负矩阵分解作为融合规则获取新的低频分量,并对两幅高频分量图像使用系数绝对值较大法获取新的高频分量;最后,通过逆复Contourlet变换和逆色调-饱和度-强度变换获得融合后的图像.大量实验结果表明,与HSI方法、NMF与无下采样Contourlet变换结合的方法以及提升小波变换与HSI结合的方法相比,本文方法获得的融合图像具有更高的空间分辨率和更多的光谱信息.