基于目标提取与引导滤波增强的红外与可见光图像融合

为了使融合结果突出目标并发掘更多细节,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先对红外图像依据二维Tsallis熵和基于图的视觉显著性模型提取目标区域。然后对可见光与红外图像分别进行非下采样Shearlet变换(NSST),并对所得低频分量进行引导滤波增强。由增强后的红外图像和可见光图像低频分量基于目标提取的融合规则得到融合图像的低频分量,高频分量则根据方向子带信息和取大来确定。最后经NSST逆变换得到融合图像。大量实验结果表明,本文方法在增强融合图像空间细节的同时,有效突出了目标,并且在信息熵、平均梯度等指标上优于基于拉普拉斯金字塔变换、基于小波变换、基于平稳小波变换、基于非下采样Contourlet变换(NSCT)、基于目标提取与NSCT变换等。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

2D经验模态分解与非下采样方向滤波器组的红外与可见光图像融合算法

针对当前红外(IR)与可见光(VI)图像融合中细节保留能力不足及目标配准精度不高的问题,设计了一种多尺度2D经验模态分解耦合非下采样方向滤波器组(NSDFB)的红外与可见光图像融合算法。分别计算红外与可见光图像的熵值,并比较二者阈值的大小,计算阈值较大图像的残差。通过2D经验模态分解(2D-EMD)和NSDFB机制,构建了多尺度方向分解模型,将熵值较大图像的残差和熵值较小的图像变换为高频方向系数与低频系数,以获得源图像的细节和特征信息。对于低频系数,引入加权平均作为低频系数的融合准则;根据区域能量对比度与清晰度来定义融合规则,完成高频系数的融合。利用2D-EMD多尺度分解逆变换将获取的低频与高频系数生成新图像。实验表明:与当前常用红外与可见光图像融合对比,所提算法具有更高的融合质量,所输出的图像具有更好的对比度与丰富的细节信息。     

二尺度分解和显著性提取的红外与可见光图像融合

为增强红外与可见光图像融合可视性,克服红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。首先,以人类视觉感知理论为基础,针对人眼对图像不同区域敏感性不同特性,在跨模态融合任务中需要对源图像进行不同层次分解,避免高频分量和低频分量混合减少光晕效应,采用二尺度分解方法对源红外与可见光图像进行分解,分别获取各自的基本层和细节层,该分解方法能够很好的表达图像并具有很好的实时性;然后,针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则,VSM方法能够很好提取源图像中的显著结构和目标。采用基于VSM的加权平均融合规则对基本层融合,能够有效避免直接使用加权平均策略而导致对比度损失,使融合图像可视性更好;针对细节层的融合,采用Kirsch算子对源图像分别提取得到显著图,然后通过VGG-19网络对显著图进行特征提取获取权值图,并与细节层进行融合,得到融合的细节层;Kirsch算子能在八个方向上快速提取图像边缘,显著图中将包含更多边缘信息和更少噪声,且VGG-19网络能够提取到图像更深层特征信息,获取的权值图中将包...     

基于变换域PCNN的近红外与彩色可见光融合

针对近红外与彩色可见光图像融合后对比度低、细节丢失和颜色失真等问题,提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network,PCNN)的红外与彩色可见光图像融合的新算法。首先将彩色可见光图像转换到HSI（hue saturation intensity)空间,HSI色彩空间包含亮度、色度和饱和度三个分量,并且这三个分量互不相关,因此利用这个特点可对三个分量分别进行处理。将其亮度分量与近红外图像分别进行多尺度变换,变换方法选择Tetrolet变换。变换后分别得到低频和高频分量,针对图像低频分量,提出一种期望最大的低频分量融合规则;针对图像高频分量,采用高斯差分算子调节PCNN模型的阈值,提出一种自适应的PCNN模型作为融合规则。处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间,得到融合后的彩色图像。为了解决融合带来的图像平滑化和原始图像光照不均的问题,引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。为了验证方法的有效性,选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验,并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。实验结果表明,同其他图像融合算法进行对比分析,该方法在有无CSC颜色的情况下均能保留最多的细节和纹理,可见度均大大提高,同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理,均具有更好的对比度和良好的色彩再现性。在信息保留度、颜色恢复、图像对比度和结构相似性等客观指标上均具有较大优势。     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

高动态范围红外图像的显示与细节增强

针对高动态范围的红外图像动态范围压缩和细节增强问题,文中采用基于基层-细节分层处理融合的增强框架,提出基于拉普拉斯滤波器的基层处理方法,将高动态红外图像的动态范围压缩到可显示的低动态范围图像,同时保留图像局部对比度。针对图像中的细节分量,提出对原始输入高动态范围红外图像提取梯度信息并做非线性增强,然后将低动态范围图像与增强的梯度信息通过优化融合重建,得到细节增强的红外图像。实验结果表明,新算法有效地提高了红外图像的整体对比度,保留图像的细节信息,有较佳的图像视觉表现。     

基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法

针对传统红外与弱可见光图像融合算法中存在的亮度与对比度低、细节轮廓信息缺失、可视性差等问题,提出一种基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法.该方法首先利用改进的高动态范围压缩增强方法增强可见光图像提高亮度;然后利用基于潜在低秩表示与复合滤波的分解方法分别对红外与增强后的弱可见光图像进行分解,得到相应的低频和高频层;再分别使用改进的对比度增强视觉显著图融合方法与改进的加权最小二乘优化融合方法对得到的低频和高频层进行融合;最后将得到的低频和高频融合层进行线性叠加得到最终的融合图像.与其他方法的对比实验结果表明,用该方法得到的融合图像细节信息丰富,清晰度高,具有良好的可视性.     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于小波包变换的红外与可见光图像融合

针对红外与可见光图像特点,提出一种基于小波包变换的融合算法。该算法先对源图像进行小波包分解,得到低频分量和各带通方向子带分量,并对不同分量采用不同的融合规则进行融合处理,得到各融合系数,然后经小波包重构获得融合图像。该方法可提取源图像细节信息,取得较好的融合效果。     

红外和彩色可见光图像亮度-对比度传递融合算法

以红外和彩色可见光图像为研究对象,提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合,然后用LCT技术改善灰度融合结果的亮度和对比度,最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明,提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩,而且具备令人满意的亮度和对比度,即使采用运算简单的像素平均法进行灰度融合,同样可以获得良好的融合效果。     

基于颜色传递的双波段目标跟踪算法研究

 针对复杂背景下Camshift算法容易丢失目标的情况,提出一种基于YCBCR空间将红外与可见光融合图像与彩色参考图像进行颜色传递后,采用Camshift进行目标跟踪的算法。该算法在颜色传递时充分利用双波段图像信息,得到的目标对比度高并且颜色空间较其周围背景突出,增强了目标的颜色概率图,提高了Camshift算法效率。实验表明,通过对可见光图像、经颜色传递后的红外图像以及传统颜色传递方法得到的图像采用相同跟踪算法进行定性分析,在该算法得到的图像中,跟踪窗口中心相对于目标质心仅有3个像素的误差,跟踪精度远远优于对比实验图像的跟踪结果,并且算法的跟踪时间为每帧20.6 ms,达到了实时性的要求。     

Effective contrast enhancement method for color night vision

Image fusion refers to the techniques that integrate complementary information from multiple image sensors’ data in a way that makes the new images more suitable for human visual perception. The paper focuses on the low color contrast problem of linear fusion algorithms with color transfer method. Firstly, the contrast of infrared and visible images is enhanced using local histogram equalization and median filter. Then the two enhanced images are fused into the three components of a Lab image in terms of a simple linear fusion strategy. To enhance the color contrast between the target and the background, the scaling factor is introduced into the transferring equation in the b channel. Experimental results based on three different data sets show that the hot and cold targets are all popped out with intense colors while the background details present natural color appearance. Target detection experiments through target recognition area, detection rate, target-background discrimination also show that the presented method has a better performance than the former methods.     

An improved fusion algorithm for infrared and visible images based on multi-scale transform

In this paper, an improved fusion algorithm for infrared and visible images based on multi-scale transform is proposed. First of all, Morphology-Hat transform is used for an infrared image and a visible image separately. Then two images were decomposed into high-frequency and low-frequency images by contourlet transform (CT). The fusion strategy of high-frequency images is based on mean gradient and the fusion strategy of low-frequency images is based on Principal Component Analysis (PCA). Finally, the final fused image is obtained by using the inverse contourlet transform (ICT). The experiments and results demonstrate that the proposed method can significantly improve image fusion performance, accomplish notable target information and high contrast and preserve rich details information at the same time.     

A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space

In this paper, a false color image fusion method for merging visible and infrared images is proposed. Firstly, the source images and reference image are decomposed respectively by Laplacian pyramid transform. Then the grayscale fused image and the difference images between the normalized source images are assigned to construct YC_BC_R components. In the color transfer step, all the three channels of the color space in each decomposition level are processed with the statistic color mapping according to the color characteristics of the corresponding sub-images of the reference image. Color transfer is designed based on the multi-resolution scheme in order to significantly improve the detailed information of the final image, and to reduce excessive saturation phenomenon to have a comparatively natural color appearance compared with the classical global-coloring algorithm. Moreover, the differencing operation between the normalized source images not only provides inter-sensor contrast to make popping the potential targets but also weakens the influence of the ambient illumination variety to a certain degree. Finally, the fused results and several metrics for evaluation of fused images subjectively and objectively illustrate that the proposed color image fusion algorithm can yield a more complete mental representation of the perceived scene, resulting in better situational awareness.     

彩色融合技术在军事中的应用

 采用基于lαβ空间的色彩传递理论实现实时的红外与可见光彩色融合技术,并介绍了自行研制的红外与微光彩色融合系统的组成和工作流程。介绍了彩色融合技术在军事中的典型应用：夜间狙击手探测和伪装车辆探测,并给出了实验图像。设计了一种图像中目标探测性的主观评价方法,并对两组实验图像进行了评价。实验结果表明,彩色融合技术能够大大提高军事目标的探测性。     

基于图像分割和局部亮度调整的微光图像颜色传递算法

为提高微光夜视图像质量，提出一种基于图像分割和局部亮度调整的颜色传递算法。用简单线性迭代聚类结合K均值聚类对微光图像进行分割，在YCbCr颜色空间中利用子区域与参考图像每一个像素点上亮度的一致性，将匹配参考图像的颜色分量传递到目标图像的子区域，以目标图像纹理特征中对比度的值作为系数，调整目标图像子区域的亮度值，进行颜色空间转换并显示颜色传递结果。搭建了微光图像成像系统，进行了微光图像分割及完成了微光图像的颜色传递。结果表明，改进的分割算法将图像中不同的景物分割出来，得到的彩色微光图像的峰值信噪均值达到12.048 dB，比Welsh算法平均提高2.63 dB。