基于可能性信息质量合成的双模态红外图像融合算法选取

针对双模态红外图像在融合时异类差异特征两两合成出现信息冗余导致所选择的融合算法相互冲突,造成融合效果差甚至失效的问题,提出了一种基于可能性信息质量合成的双模态红外图像融合算法选取方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度,利用可能性框架得到对应的可能性分布向量子集;其次计算向量子集的信息量和可信度,并对多个向量子集进行加权合成;然后构建基于信息质量的排序函数,得到每种融合算法下的非支配子集;最后构建多融合算法得分函数的联合分布对多种融合算法优化选择。实验结果表明,将基于质量来整合多个差异特征的方法运用于双模态红外图像融合算法选取中,所选出的融合算法在加权综合指标上高于其他算法均值55%以上,证明了本文方法的有效性和合理性;由多组实验算得本文方法平均耗时10.083 s,在时间效率上也符合实时图像融合应用的工程需求。     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于互结构正则约束的红外偏振图像增强算法

为有效改善红外偏振图像视觉效应,提高红外偏振成像质量,提出了基于互结构正则约束的红外偏振图像增强算法。根据红外偏振特性描述,对Stokes参数Q分量与U分量进行加权邻域梯度融合,获得起偏特征图像,捕获目标边缘、轮廓的偏振特性;提出互结构正则约束模型,以梯度幅值相似算子联合正则约束融合结果与起偏特征图像的边缘结构相似性,及与辐射强度图像的灰度一致性,优化得到增强后的高质量红外偏振图像。实验结果表明,基于互结构正则约束的红外偏振图像增强算法,能有效提高红外偏振图像对比度与清晰度,同时提升复杂背景下人造目标边缘轮廓的偏振显著性,算法快速,工程实时性高.     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于迭代导向滤波与多视觉权重信息的红外与 可见光图像融合

为了充分利用源图像重要特征,提出了一种基于迭代导向滤波与多视觉权重信息的红外与可见光图像融合算法.首先,通过一种迭代导向滤波器将输入图像分解为基础层与细节层;其次,利用边角信息、清晰度与对比度来综合确定二进制权重系数,再选择导向滤波对其优化,进一步去除噪声并抑制伪影的产生;最后,应用重构准则对基础层与细节层进行组合,得到融合图像.实验结果表明,与其它多尺度分解相比,该方法具有尺度感知特性,可以更好地分离空间重叠的特征,不仅可以使夜视融合图像的细节信息更突出,还能够有效地抑制伪影.     

FABEMD和改进局部能量窗口的红外中波和长波图像融合

针对探测波段为3.7～4.8 μm的中波红外图像和探测波段为8～14 μm长波红外图像融合过程中存在场景对比度低,显著性目标不够凸出,伪影引入严重的问题,采用快速自适应二维经验模态分解（FABEMD)对红外中波和长波图像进行多尺度分解以得到二维内蕴模函数(BIMFs)和残余分量(Residual)。对于每一层内蕴模函数选用改进的局部能量窗口融合规则,首先配置好加权算子以增加区域窗口中心像素的能量占比;选用不同的加权算子,经实验验证能有效突出红外中波和长波图像的能量特征信息;其次充分利用内蕴模函数的相位信息,当相位相反时,采用能量加权平均的方式,以解决融合系数的正负符号极性难以确定的问题;当相位相同时,判断二者的能量差距并依据差距大小选择设定的融合规则,融合规则基于红外中波和长波图像的灰度差异特性设定。对于残余分量则利用红外中波图像和改进区域能量窗口的最大对称环绕显著性权重图指导基础层系数的融合,自适应的局部环绕窗口充分利用了低频显著性信息,对无用背景的抑制效果也相当出色,能够在复杂背景图像中突出显著性对象,最终得到细节信息丰富,对比度明显的指导图像。最后通过FABEMD的逆变化重构过程得到融合图像,对4组不同背景、不同大小的红外中长波图像进行主观和客观性能评价,4组图像均来自多波段红外采集系统且都经过严格配准并和7种相关算法进行对比实验,在主观性能上显著性对象突出、清晰度度高;客观性能上在平均梯度和空间频率这两个评价指标上性能优异,验证了该算法的有效性。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

基于引导滤波与改进PCNN的多聚焦图像融合算法

针对多聚焦图像融合中目标物边缘处产生虚影的问题,提出一种基于引导滤波与改进脉冲耦合神经网络(PCNN)的多聚焦图像融合算法。该算法利用引导滤波器对源图像进行多尺度边缘保持分解,对分解得到的基本图像和细节图像采用不同的引导滤波加权融合策略进行初步融合;将初步融合图作为外部输入激励刺激改进的PCNN模型;根据融合权重图对多幅源图像进行融合,获得最终的融合图像。实验结果表明,与传统融合算法相比,本文方法较好地保留了源图像的边缘、区域边界以及纹理等细节信息,避免了目标物边缘处产生虚影,提高了融合图像的质量。     

彩色图像边缘检测及其在图像融合中的应用

提出了一种新的基于小波变换的彩色图像边缘检测方法,运用噪声和微弱边缘的识别以及动态双域值的选取,使得检测出来的边缘定位精度高,抑制噪声性能好。利用基于区域特征的信息融合策略,比较待融合图像的边缘点的值和区域能量特征值,选择特征突出者对应的原始图像区域组成融合结果。实验结果表明,该算法可以良好地保留两幅图像的细节信息,得到高质量的融合图像。     

基于特征融合的红外图像增强算法

在红外图像处理过程中,提高图像的对比度,抑制噪声以及突出图像细节尤为重要,针对这些问题,提出了基于特征融合的红外图像增强算法.以引导滤波为基础对图像进行平滑分层,得到基本层和细节层,基本层采用CLA-HE算法扩展低频分量的范围,而对于细节层采用Log算子与Laplace算子分别处理,依据梯度因子的权重信息获得融合细节层...     

A categorization method of infrared polarization and intensity image fusion algorithm based on the transfer ability of difference features

The fusion of infrared polarization and intensity image can significantly improve the detection performance of target, and the fused image is more suitable for human visual perception and further image-processing tasks. In this paper, a new categorization method of infrared polarization and intensity image fusion algorithm based on the transfer ability of difference feature is proposed. Firstly, the difference feature between two kinds of image and the characteristics of different fusion algorithms are analyzed and summarized. Second, an evaluation vector of fusion algorithm for difference feature transform ability is constructed. Thirdly, the transfer ability of fusion algorithm for difference feature is estimated by the evaluation vector, and the degree of transfer ability of fusion algorithm for difference feature is analyzed. Finally the fusion algorithms are classified by the degree of transfer ability of fusion algorithm for difference feature. The results shows that the proposed fusion algorithm categorization method helps select fusion algorithms in actual scene.     

潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合

为提高融合图像的可视性,解决传统红外与可见光图像融合算法中存在的边缘特征缺失、细节模糊的问题,提出了一种潜在低秩表示框架下基于卷积神经网络结合引导滤波的红外与可见光图像融合算法。该算法首先利用潜在低秩表示对源图像进行分解,得到源图像的低秩分量和显著分量。其次,利用卷积神经网络根据源图像的特征信息,得到权值图。再次,通过引导滤波算法对权值图进行边缘锐化,然后再将优化后的权值图分别与源图像的低秩分量和显著分量融合,得到融合图像的低秩分量和显著分量。最后,将融合图像的低秩分量和显著分量叠加,得到最终的融合图像。实验结果表明,该算法在主观评价和客观指标上均优于传统的红外与可见光图像融合算法。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于最小平均距离免疫算法的模糊红外图像分割

由于犯罪分子利用各种方法来避开传统的刑侦图像技术,因而红外图像逐渐成为获取犯罪现场痕迹的有效手段。然而,从犯罪现场拍摄的红外图像其目标痕迹大多是弱化的,所以在这类红外图像中分割目标是一项具有挑战性的任务。已有基于生物免疫的各类算法尚未明确描述免疫分割作用领域,以及免疫网络算法模型中的免疫识别距离。为实现对目标痕迹弱化红外图像的有效分割,提出了一种新的具有免疫作用领域和最小平均免疫识别距离的人工免疫构架,设计了一种具备最小平均距离免疫域的免疫分割算法。该方法根据红外图像的特点,采用多步分类算法、免疫变异和自适应免疫最小均距识别方法,根据目标区域和背景区域的总体统计特性实现最佳分类。实验结果表明,提出的基于最小平均距离的免疫算法能够有效地分割目标弱化的红外图像。与经典的边缘模板和区域模板方法相比,该算法具有更好的分割效果,尤其是针对目标弱化红外图像的分割,该算法能够较好地给出五个手指的边界轮廓。     

Visualization of three-dimensional temperature distributions in a large-scale furnace via regularized reconstruction from radiative energy images: numerical studies

In this paper, the possibility of visualization of three-dimensional (3-D) temperature distributions in large-scale boiler furnaces from radiative energy images captured by multiple charge-coupled device (CCD) cameras mounted around the furnace is studied numerically. For the calculation of the radiative energy image formation, a fast algorithm proposed by the authors for pinhole imaging is used in this paper, which is based on the Monte Carlo method and combined with a concept of angular factor effective for image formation. This algorithm is applicable for the emitting, absorbing, and isotropic scattering medium. For the inversion of the 3-D temperature distributions which is an ill-posed problem, a modified Tikhonov regularization method is improved, where the finite difference regularizer is defined and can be used in 3-D cases, and the optimal regularization parameter is suggested to be selected by using a post-treatment method. For a 3-D unimodal temperature distribution, the numerical simulation results show that the reconstruction errors for the 3-D temperature distribution can be maintained at levels similar to the measurement error and the visualization quality of the temperature distribution is satisfactory. For a kind of bimodal temperature distribution, the reconstruction errors are higher than those for the unimodal distribution, but the bimodal feature of the temperature distribution can also be reproduced clearly.     

一种基于区域特性的红外与可见光图像融合算法

提出了一种基于区域分割和à trous小波变换的红外与可见光图像融合算法.首先,对红外与可见光图像进行区域分割及区域关联,并按关联映射图所划分区域提取红外与可见光图像的的能量信息及梯度信息;然后,对红外与可见光图像进行多尺度à trous小波变换分解,分解后的低频部分按照文中所提出的区域能量比和区域清晰比指标进行区域融合,高频部分采用绝对值取大算子进行融合;最后进行重构得到融合图像.结果表明,该算法既可保持可见光图像的光谱信息,又可有效获取红外图像的热目标信息.     

Multi-window visual saliency extraction for fusion of visible and infrared images

Fusion for visible and infrared images aims to combine the source images of the same scene into a single image with more feature information and better visual performance. In this paper, the authors propose a fusion method based on multi-window visual saliency extraction for visible and infrared images. To extract feature information from infrared and visible images, we design local-window-based frequency-tuned method. With this idea, visual saliency maps are calculated for variable feature information under different local window. These maps show the weights of people’s attention upon images for each pixel and region. Enhanced fusion is done using simple weight combination way. Compared with the classical and state-of-the-art approaches, the experimental results demonstrate the proposed approach runs efficiently and performs better than other methods, especially in visual performance and details enhancement.     

Infrared target tracking in multiple feature pseudo-color image with kernel density estimation

Tracking targets in infrared images is a challenging subject due to the low contrast and severe noise. Kernel density estimation (KDE) with robust performance is one of the well-known tracking algorithms. In essence, tracking targets with KDE algorithm is tracking the statistical features of their pixels by the histograms. The universal KDE which can track any features of targets has not been developed. We propose a strategy which does not need to improve on the KDE algorithm itself, but it can make KDE track other features. We first map the features into the pixel intensity and create the feature images. Then these feature images are used to construct the multiple feature pseudo-color images (MFPCIs). The kernel density estimation algorithm tracks targets in MFPCIs can indirectly track these features. Experiments validate that the performance of tracking targets in MFPCIs outperforms that of tracking them in the original infrared images.