改进投影梯度NMF的NSST域多光谱与全色图像融合

为了有效结合多光谱图像的光谱信息和全色图像的空间细节信息,进一步改善融合后多光谱图像的质量,提出了基于改进投影梯度非负矩阵分解(NMF)和改进脉冲耦合神经网络(PCNN)的非下采样Shearlet变换(NSST)域多光谱和全色图像融合方法。对多光谱图像进行亮度-色度-饱和度(IHS)变换,将其亮度分量与全色图像进行直方图匹配,增强全色图像的对比度;分别对多光谱图像的亮度分量和全色图像进行NSST变换,对二者的低频系数利用改进投影梯度NMF进行融合,进一步提高融合后图像的空间信息;对于高频子带系数,采用基于改进PCNN的方法进行融合,增强图像的细节信息;经非下采样Shearlet逆变换得到融合后的亮度分量,进行IHS逆变换得到融合图像。大量实验结果表明,所提出的方法在保留多光谱图像光谱信息的同时,增强了融合图像的空间细节表现能力,优于现有的基于IHS变换、基于非下采样Contourlet变换(NSCT)和NMF、基于NSCT和PCNN等几种融合方法。     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

基于Tetrolet变换的红外与可见光融合

针对目前红外与可见光图像融合速度慢、 融合结果对比度不高且易产生伪影的缺点,提出一种基于Tetrolet变换的改进融合算法。首先,将可见光图像转换到lαβ颜色空间得到三个几乎不相关的彩色通道;然后对其l分量和红外图像分别进行Tetrolet变换,对于低通系数引入邻域能量及其接近度的融合规则。而对Tetrolet系数采用伪随机傅里叶矩阵进行观测并加权融合其观测值;接下来对融合后观测值采用CoSaMP优化算法迭代出融合后的Tetrolet系数,并经Tetrolet重构得到融合后的灰度图像;最后将灰度图像映射到RGB颜色空间获得最终的融合图像。实验证明了本文算法的有效性。     

近红外与可见光双通道传感器信息融合的去雾技术

为了对雾霾天气下的图像进行去雾处理,多幅图像去雾算法是常用的方法之一。多幅图像去雾算法也有多种形式,部分算法面临硬件实现困难、获取途径受限或者可实施性弱等问题,而且多幅图像比对处理时常常涉及图像配准,造成算法的实时性差、计算复杂度高等问题。针对以上问题,提出的算法为多幅图像去雾提供了新的思路,基于双目传感器硬件架构能够同时捕获近红外和可见光图像,将近红外传感器图像作为新的数据源,近红外传感器能够在一定程度上穿透雾霾,在雾天捕获可见光传感器无法捕获的图像细节,而且硬件实现简单。可见光图像的颜色信息较丰富,近红外传感器图像对近处场景细节的描述能力较好,捕获的图像稍加校正就能实现完全配准,将近红外图像与可见光图像进行融合,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,得到边缘、轮廓等细节信息更加丰富的去雾图像。基于上述思路,借助近红外传感器对边缘细节的描述能力和可见光传感器对颜色信息的反映能力,提出了一种基于近红外与可见光双通道传感器图像融合的去雾算法。首先,将彩色可见光图像转换到HIS彩色空间,分别得到亮度通道图像、色调通道图像和饱和度通道图像。先将其亮度通道图与近红外图像进行融合去雾处理。采用非下采样Shearlet变换（NSST）进行分解,对得到的高频系数进行双指数边缘平滑滤波器保边滤波处理,对低频系数进行反锐化掩蔽处理,通过融合规则和反向变换得到新的亮度通道图像。然后,在对可见光图像的色彩处理中,建立饱和度图的退化模型,采用暗原色原理对参数进行估计,得到估计的饱和度图。最后,将新的亮度通道图像,估计的饱和度图像和原色调图像反映射到RGB空间得到去雾图像。为了验证新算法的有效性,特选取四组雾天拍摄的真实近红外图像与可见光图像进行融合去雾处理,将融合结果与其他两种去雾方法对于彩色可见光图像的去雾效果进行比较。实验结果表明,该算法在提高图像的边缘对比度和视觉清晰度上有较好的效果。并提出将近红外传感器图像作为新的数据源,采用双通道图像融合方法进行去雾处理,为图像去雾提供的新的技术思路是可行的。该算法的优势在于：首先提出将图像融合方法与去雾算法相结合,得到了新的去雾算法的思路。将彩色可见光图像转换到HSI色彩空间,将其亮度通道图与近红外图像采用非下采样Shearlet变换方法进行融合处理,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,使得去雾图像中的边缘、轮廓等细节信息更加丰富。其次,提出了在图像去雾算法中采用新的数据源--近红外传感器图像,从图像处理的角度,近红外传感器能够在一定程度上穿透雾霾,对于近处场景细节的描述能力较好,而且硬件实现简单,捕获的图像稍加校正就能实现完全配准,为后续的融合去雾算法带来了便利,为图像去雾提供了新的技术途径和路线。再次,采用的是多幅图像去雾算法,该算法基于双目传感器获取图像,可见光图像的颜色信息较丰富,近红外图像对于近处场景细节的描述能力较好,相对于单幅图像去雾算法,有更好的效果。最后,将可见光传感器图像映射到其他色彩空间,对于每个通道的图像根据其特征有针对性地进行处理。可见光图像的亮度通道图和近红外图像的处理采用了图像融合和增强处理,对于可见光图像饱和度通道的处理采用了图像复原算法,可以从整体上提升去雾效果,对细节特征有了进一步增强。该算法为图像去雾提供了新的技术途径和路线。     

基于Tetrolet变换的彩色水下图像清晰化算法

为了对水下图像传感器获取的彩色图像进行清晰化处理,提出一种lαβ色彩空间的图像清晰化算法。将捕获到的彩色水下图像进行暗原色初步复原后,映射RGB空间至lαβ三通道进行清晰化处理。采用Tetrolet变换方法处理亮度通道l,对包含大部分的轮廓、边缘等线性细节的高频分量采用Bilateral滤波器处理,对包含大部分能量的低频分量进行非局部均匀滤波处理,然后将处理后的高、低频分量进行反向Tetrolet变换得到复原的亮度通道图;对α、β通道的色彩偏差进行空间均值颜色校正,得到复原的α、β通道图。将处理后的非彩色通道图和彩色通道图反向变换至RGB通道,更新透射率,得到清晰化的彩色水下图像。实验结果表明,该算法对彩色水下图像的复原效果较好,在图像色彩的提升和边缘细节的描述方面效果显著。     

基于亮度对比度传递的红外与可见光图像融合方法研究

基于亮度一对比度传递技术提出了一种红外和彩色可见光图像的融合方法,该算法通过对红外图像和可见光图像在HIS空间进行二次融合,保留了可见光图像的颜色特性,并获得一幅具有良好亮度和对比度效果的融合图像。实验结果表明该方法融合噪声小、细节缺失少、融合速度快。     

红外和彩色可见光图像亮度-对比度传递融合算法

以红外和彩色可见光图像为研究对象,提出了一种基于亮度-对比度传递（LCT）技术的彩色图像融合算法。首先借助灰度融合方法将红外图像与彩色可见光图像亮度分量融合,然后用LCT技术改善灰度融合结果的亮度和对比度,最后利用快速YCBCR变换融合策略在RGB空间内直接生成彩色融合图像。文中利用像素平均融合法和多分辨率融合法作为不同的灰度融合措施以分别满足高实时性和高融合质量的需求。实验结果表明,提出算法的融合结果不仅具有与输入彩色可见光图像相近的自然色彩,而且具备令人满意的亮度和对比度,即使采用运算简单的像素平均法进行灰度融合,同样可以获得良好的融合效果。     

基于HSI颜色空间的彩色边缘检测方法研究

针对在RGB空间中很难有效区分颜色相似性的问题,通过选择更加符合颜色视觉特性的HSI颜色空间进行图像处理与分析,提出了一种新的色差度量方法,在此基础上设计了一种彩色边缘检测方法。首先计算色度、饱和度、亮度等三个分量的边缘信息,然后对三个分量进行加权得到彩色边缘信息,通过非极大值抑制和阈值选取后,得到彩色图像的边缘。实验结果表明,该方法可以充分利用彩色图像的色度、饱和度和亮度信息来有效地检测彩色边缘。     

基于深度卷积神经网络的低照度图像增强

针对低照度条件下图像降质严重的问题,提出了一种基于深度卷积神经网络(DCNN)的低照度图像增强算法。该算法根据Retinex模型合成训练样本,将原始低照度图像从RGB (Red Green Blue)空间转换到HSI (Hue Saturation Intensity)颜色空间,保持色度分量和饱和度分量不变,利用DCNN对亮度分量进行增强,最后将HSI颜色空间转换到RGB空间,得到最终的增强图像。实验结果表明,与现有主流的图像增强算法相比,所提算法不仅能够有效提升亮度和对比度,改善过增强现象,而且能够避免色彩失真,主观视觉和客观评价指标均得到了进一步提高。     

真彩色传递双波段图像融合

针对基于颜色传递的双波段（中波红外、可见光）图像融合时,由于参考图像选择不当,造成的彩色融合图像对比度差、图像边缘细节下降等问题,提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法。对待融合的两幅图像进行拉普拉斯金字塔三级分解,每一级按照不同的融合规则进行融合,以重构后的灰度融合图像作为融合结构的亮度分量Y,将可见光与红外图像的差值图像作为U分量,以红外图像为V分量。在颜色传递公式中,加入可调的比例系数,通过适当调节比例系数可调节融合图像的对比度。实验结果表明,获得的融合图像较好地保留了可见光图像的细节,既突出了红外目标同时又具有参考图像的颜色特征。图像评价结果表明,融合图像的均值、方差、熵等评价指标均得到较大提高。     

A medical image fusion method based on energy classification of BEMD components

A medical image fusion method based on bi-dimensional empirical mode decomposition (BEMD) and dual-channel PCNN is proposed in this paper. The multi-modality medical images are decomposed into intrinsic mode function (IMF) components and a residue component. IMF components are divided into high-frequency and low-frequency components based on the component energy. Fusion coefficients are achieved by the following fusion rule: high frequency components and the residue component are superimposed to get more textures; low frequency components contain more details of the source image which are input into dual-channel PCNN to select fusion coefficients, the fused medical image is achieved by inverse transformation of BEMD. BEMD is a self-adaptive tool for analyzing nonlinear and non-stationary data; it doesn’t need to predefine filter or basis function. Dual-channel PCNN reduces the computational complexity and has a good ability in selecting fusion coefficients. A combined application of BEMD and dual-channel PCNN can extract the details of the image information more effectively. The experimental result shows the proposed algorithm gets better fusion result and has more advantages comparing with traditional fusion algorithms.     

基于支持度变换和top-hat分解的双色中波红外图像融合

为了解决用多尺度top-hat分解法融合双色中波红外图像时经常存在对比度提升有限、边缘区域失真较重的问题,提出了基于支持度变换和top-hat分解相结合的融合方法。先用支持度变换法将双色中波图像分解为低频图像和支持度图像序列;再从最后一层低频图像中用多尺度top-hat分解法提取各自的亮信息和暗信息;用灰度值取大法分别融合亮信息和暗信息;通过灰度值归一化和高斯滤波分别增强亮、暗信息融合图像;然后融合两低频图像和亮、暗信息增强图像;将融合图像作为新的低频图像和用灰度值取大法融合得到的支持度融合图像序列进行支持度逆变换,得到最终融合图像。该方法的实验结果同采用单一的支持度变换法融合和多尺度top-hat分解法融合相比,融合图像的对比度提升了11.69%,失真度降低了63.42%,局部粗糙度提高了38.12%。说明提出的从低频图像提取亮暗信息,并经过分别融合、增强,再与低频图像进行融合,能有效破解红外融合图像对比度提升和边缘区域失真度降低之间的矛盾,为提高图像融合质量提供了新方法。     

基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法

针对传统红外与弱可见光图像融合算法中存在的亮度与对比度低、细节轮廓信息缺失、可视性差等问题,提出一种基于潜在低秩表示与复合滤波的红外与弱可见光增强图像融合方法.该方法首先利用改进的高动态范围压缩增强方法增强可见光图像提高亮度;然后利用基于潜在低秩表示与复合滤波的分解方法分别对红外与增强后的弱可见光图像进行分解,得到相应的低频和高频层;再分别使用改进的对比度增强视觉显著图融合方法与改进的加权最小二乘优化融合方法对得到的低频和高频层进行融合;最后将得到的低频和高频融合层进行线性叠加得到最终的融合图像.与其他方法的对比实验结果表明,用该方法得到的融合图像细节信息丰富,清晰度高,具有良好的可视性.     

An improved fusion algorithm for infrared and visible images based on multi-scale transform

In this paper, an improved fusion algorithm for infrared and visible images based on multi-scale transform is proposed. First of all, Morphology-Hat transform is used for an infrared image and a visible image separately. Then two images were decomposed into high-frequency and low-frequency images by contourlet transform (CT). The fusion strategy of high-frequency images is based on mean gradient and the fusion strategy of low-frequency images is based on Principal Component Analysis (PCA). Finally, the final fused image is obtained by using the inverse contourlet transform (ICT). The experiments and results demonstrate that the proposed method can significantly improve image fusion performance, accomplish notable target information and high contrast and preserve rich details information at the same time.     

Image fusion algorithm based on redundant-lifting NSWMDA and adaptive PCNN

Pyramid decomposition in the NSCT transformation is a band-pass filtering process in the frequency domain where different scales of images are orthogonal. However, from the perspective of the image content, correlation is likely to exist between the fused images, and this kind of decomposition makes images of different scales contain redundant information, as a result of which the fused image may not capture the subtle information from the original images. In order to overcome the above-mentioned problem, an effective image fusion method based on redundant-lifting non-separable wavelet multi-directional analysis (NSWMDA) and adaptive pulse coupled neural network (PCNN) has been proposed. The original images are firstly decomposed by using the NSWMDA into several sub-bands in order to retain texture detail and contrast information of the images, and then adaptive PCNN algorithm is applied on the high-frequency directional sub-bands to extract the high-frequency information. The low-frequency sub-bands are evaluated by weighted average based on Gaussian kernel with a chosen maximum fusion rule. Results from experiments show that the proposed method can make the fused image maintains more texture details and contrast information.     

Pulse Coupled Neural Network-Based Multimodal Medical Image Fusion via Guided Filtering and WSEML in NSCT Domain

Multimodal medical image fusion aims to fuse images with complementary multisource information. In this paper, we propose a novel multimodal medical image fusion method using pulse coupled neural network (PCNN) and a weighted sum of eight-neighborhood-based modified Laplacian (WSEML) integrating guided image filtering (GIF) in non-subsampled contourlet transform (NSCT) domain. Firstly, the source images are decomposed by NSCT, several low- and high-frequency sub-bands are generated. Secondly, the PCNN-based fusion rule is used to process the low-frequency components, and the GIF-WSEML fusion model is used to process the high-frequency components. Finally, the fused image is obtained by integrating the fused low- and high-frequency sub-bands. The experimental results demonstrate that the proposed method can achieve better performance in terms of multimodal medical image fusion. The proposed algorithm also has obvious advantages in objective evaluation indexes VIFF, Q_W, API, SD, EN and time consumption.     

Fusion of the low-light-level visible and infrared images for night-vision context enhancement

For better night-vision applications using the low-light-level visible and infrared imaging, a fusion framework for night-vision context enhancement(FNCE) method is proposed. An adaptive brightness stretching method is first proposed for enhancing the visible image. Then, a hybrid multi-scale decomposition with edge-preserving filtering is proposed to decompose the source images. Finally, the fused result is obtained via a combination of the decomposed images in three different rules. Experimental results demonstrate that the FNCE method has better performance on the details(edges), the contrast, the sharpness, and the human visual perception. Therefore,better results for the night-vision context enhancement can be achieved.