基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

基于LLE的红外成像彩色化处理算法研究

针对红外图像对比度低、细节较差,且一般是黑白图像,不适宜于人眼观察,提出一种利用局部线性映射方法（LLE）的红外成像彩色化方法。该方法寻求灰度空间到色彩空间的映射,实现红外图像到彩色红外图像的转变,先将目标红外图像和彩色模板图像转换至YUV颜色空间,分离亮度和色彩信息;然后将目标红外图像的每个像素及邻域像素的灰度值串接成矢量,并均匀从彩色模板图像选取部分像素按相同方法串接成矢量,采用欧氏距离搜索最近邻并计算最佳的匹配系数,经色彩值（即U和V分量）计算将模板图像的彩色传递给目标红外图像后搜索亮度最大值的像素邻域并经自动阈值伪彩色编码处理,突出显示重要目标,得到处理后的彩色红外图像。将算法应用于实验室自主开发的热像仪,算法作用后的红外图像不但有了适于人眼视觉的彩色信息,而且用红、黄等敏感色突出了重点热目标,提高了人眼发现和识别目标的速度,实验结果表明,算法有利于侦察人员长时间的目标观察和识别目标。     

基于Tetrolet变换的红外与可见光融合

针对目前红外与可见光图像融合速度慢、 融合结果对比度不高且易产生伪影的缺点,提出一种基于Tetrolet变换的改进融合算法。首先,将可见光图像转换到lαβ颜色空间得到三个几乎不相关的彩色通道;然后对其l分量和红外图像分别进行Tetrolet变换,对于低通系数引入邻域能量及其接近度的融合规则。而对Tetrolet系数采用伪随机傅里叶矩阵进行观测并加权融合其观测值;接下来对融合后观测值采用CoSaMP优化算法迭代出融合后的Tetrolet系数,并经Tetrolet重构得到融合后的灰度图像;最后将灰度图像映射到RGB颜色空间获得最终的融合图像。实验证明了本文算法的有效性。     

基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法

针对传统红外与弱可见光图像融合算法中存在的亮度与对比度低、细节轮廓信息缺失、可视性差等问题,提出一种基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法.该方法首先利用改进的高动态范围压缩增强方法增强可见光图像提高亮度;然后利用基于潜在低秩表示与复合滤波的分解方法分别对红外与增强后的弱可见光图像进行分解,得到相应的低频和高频层;再分别使用改进的对比度增强视觉显著图融合方法与改进的加权最小二乘优化融合方法对得到的低频和高频层进行融合;最后将得到的低频和高频融合层进行线性叠加得到最终的融合图像.与其他方法的对比实验结果表明,用该方法得到的融合图像细节信息丰富,清晰度高,具有良好的可视性.     

真彩色传递双波段图像融合

针对基于颜色传递的双波段（中波红外、可见光）图像融合时,由于参考图像选择不当,造成的彩色融合图像对比度差、图像边缘细节下降等问题,提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解,每一级按照不同的融合规则进行融合,以重构后的灰度融合图像作为融合结构的亮度分量Y,将可见光与红外图像的差值图像作为U分量,以红外图像为V分量。在颜色传递公式中,加入可调的比例系数,通过适当调节比例系数可调节融合图像的对比度。实验结果表明,获得的融合图像较好地保留了可见光图像的细节,既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明,融合图像的均值、方差、熵等评价指标均得到较大提高。     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法

由于可见光图像在低光照环境下其可视性较差,为了提高红外与弱可见光图像融合的效果,提出了一种基于对比度增强和柯西模糊函数的图像融合算法.首先用改进的引导滤波自适应增强提高弱可见光图像暗区域的可视性;其次,利用非下采样剪切波变换将红外和增强后的弱可见光图像分解,得到相应的低频和高频子带;再后,分别用直觉模糊集构建柯西隶属函数和自适应双通道脉冲发放皮层模型对低频、高频子带进行融合;最后,使用非下采样剪切波变换对融合得到的高低频子带进行逆变换重构得到融合图像.实验结果表明,与其它融合算法相比,该算法有效地增强了弱可见光图像的暗区域,保留了更多的背景信息,从而提高了融合图像的对比度和清晰度.     

基于CbCr查找表的双波段图像彩色融合算法

低照度可见光与红外图像的自然感彩色融合能够显著提高人眼视觉在低照度环境下的情景感知和目标探测能力。基于样本的融合算法是一种快速有效、实时性强的自然感彩色融合算法。针对已有算法在查找表构建和灰度信息利用方面存在的问题,提出一种基于CbCr查找表的双波段图像彩色融合算法。算法采用反向传播神经网络对图像样本的二维亮度向量(Y1,Y2)和二维色度向量(Cb,Cr)进行非线性拟合,从而获得亮度与色度间的映射关系f(Y1,Y2)→(Cb,Cr),并由此构建CbCr查找表。融合时,由输入的双波段灰度图像的亮度Y1,Y2和CbCr查找表获得彩色融合图像的色度Cb,Cr;由亮度Y1,Y2经双层拉普拉斯金字塔融合获得彩色融合图像的亮度YF;为了减小因环境变化导致的色彩映射偏差,对亮度Y1,Y2进行灰度校正。实验结果表明,本文融合图像具有颜色自然、细节丰富、利于(热)目标检测的特点,在清晰度、彩色性、映射准确性方面已经达到甚至优于Toet算法的图像融合效果。     

基于变换域PCNN的近红外与彩色可见光融合

针对近红外与彩色可见光图像融合后对比度低、细节丢失和颜色失真等问题,提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network,PCNN)的红外与彩色可见光图像融合的新算法。首先将彩色可见光图像转换到HSI（hue saturation intensity)空间,HSI色彩空间包含亮度、色度和饱和度三个分量,并且这三个分量互不相关,因此利用这个特点可对三个分量分别进行处理。将其亮度分量与近红外图像分别进行多尺度变换,变换方法选择Tetrolet变换。变换后分别得到低频和高频分量,针对图像低频分量,提出一种期望最大的低频分量融合规则;针对图像高频分量,采用高斯差分算子调节PCNN模型的阈值,提出一种自适应的PCNN模型作为融合规则。处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间,得到融合后的彩色图像。为了解决融合带来的图像平滑化和原始图像光照不均的问题,引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。为了验证方法的有效性,选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验,并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。实验结果表明,同其他图像融合算法进行对比分析,该方法在有无CSC颜色的情况下均能保留最多的细节和纹理,可见度均大大提高,同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理,均具有更好的对比度和良好的色彩再现性。在信息保留度、颜色恢复、图像对比度和结构相似性等客观指标上均具有较大优势。     

基于颜色传递的双波段目标跟踪算法研究

针对复杂背景下Camshift算法容易丢失目标的情况,提出一种基于YCBCR空间将红外与可见光融合图像与彩色参考图像进行颜色传递后,采用Camshift进行目标跟踪的算法。该算法在颜色传递时充分利用双波段图像信息,得到的目标对比度高并且颜色空间较其周围背景突出,增强了目标的颜色概率图,提高了Camshift算法效率。实验表明,通过对可见光图像、经颜色传递后的红外图像以及传统颜色传递方法得到的图像采用相同跟踪算法进行定性分析,在该算法得到的图像中,跟踪窗口中心相对于目标质心仅有3个像素的误差,跟踪精度远远优于对比实验图像的跟踪结果,并且算法的跟踪时间为每帧20.6 ms,达到了实时性的要求。     

Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition

Image fusion for visible and infrared images is a significant task in image analysis. The target regions in infrared image and abundant detail information in visible image should be both extracted into the fused result. Thus, one should preserve or even enhance the details from original images in fusion process. In this paper, an algorithm using pixel value based saliency detection and detail preserving based image decomposition is proposed. Firstly, the multi-scale decomposition is constructed using weighted least squares filter for original infrared and visible images. Secondly, the pixel value based saliency map is designed and utilized for image fusion in different decomposition level. Finally, the fusion result is reconstructed by synthesizing different scales with synthetic weights. Since the information of original signals can be well preserved and enhanced with saliency extraction and multi scale decomposition process, the fusion algorithm performs robustly and excellently. The proposed approach is compared with other state-of the-art methods on several image sets to verify the effectiveness and robustness.     

A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space

In this paper, a false color image fusion method for merging visible and infrared images is proposed. Firstly, the source images and reference image are decomposed respectively by Laplacian pyramid transform. Then the grayscale fused image and the difference images between the normalized source images are assigned to construct YC_BC_R components. In the color transfer step, all the three channels of the color space in each decomposition level are processed with the statistic color mapping according to the color characteristics of the corresponding sub-images of the reference image. Color transfer is designed based on the multi-resolution scheme in order to significantly improve the detailed information of the final image, and to reduce excessive saturation phenomenon to have a comparatively natural color appearance compared with the classical global-coloring algorithm. Moreover, the differencing operation between the normalized source images not only provides inter-sensor contrast to make popping the potential targets but also weakens the influence of the ambient illumination variety to a certain degree. Finally, the fused results and several metrics for evaluation of fused images subjectively and objectively illustrate that the proposed color image fusion algorithm can yield a more complete mental representation of the perceived scene, resulting in better situational awareness.     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于PHLST的红外与可见光图像融合算法

针对图像融合过程中边缘处理和区域一致性的问题,提出一种基于多重调和局部正弦变换的红外与可见光图像融合新算法.多重调和局部正弦变换的多重调和分量μ代表了图像缓慢变化的"趋势",在空域进行加权融合;残差分量υ体现了源图像的"波动",在傅里叶正弦变换域进行融合,以充分提取可见光图像的细节信息.由于不存在边缘效应,同时残差分量...     

非下采样变换的红外与可见光图像融合

基于非下采样Contourlet变换（NSCT）,提出了一种红外和可见光图像融合算法。针对低频子带系数和各带通方向子带系数分别提出了基于图像物理特征的系数加权选择方式与基于区域能量匹配的系数选择方式,即低频基于区域梯度信息、高频基于区域特征因子的加权与选择结合的图像融合算法。实验结果表明：非下采样Contourlet变换具有较快的运算速度,且经非下采样变换后能量更加集中,可提供更多的图像信息。相对于基于像素的图像融合算法,本文的图像融合算法具有更高的融合性能,是一种更适合图像融合的多尺度几何分析（MGA）工具。