基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于可能性信息质量合成的双模态红外图像融合算法选取

针对双模态红外图像在融合时异类差异特征两两合成出现信息冗余导致所选择的融合算法相互冲突,造成融合效果差甚至失效的问题,提出了一种基于可能性信息质量合成的双模态红外图像融合算法选取方法。首先计算双模态红外图像多融合算法下不同差异特征的融合有效度,利用可能性框架得到对应的可能性分布向量子集;其次计算向量子集的信息量和可信度,并对多个向量子集进行加权合成;然后构建基于信息质量的排序函数,得到每种融合算法下的非支配子集;最后构建多融合算法得分函数的联合分布对多种融合算法优化选择。实验结果表明,将基于质量来整合多个差异特征的方法运用于双模态红外图像融合算法选取中,所选出的融合算法在加权综合指标上高于其他算法均值55%以上,证明了本文方法的有效性和合理性;由多组实验算得本文方法平均耗时10.083 s,在时间效率上也符合实时图像融合应用的工程需求。     

一种基于区域特性的红外与可见光图像融合算法

提出了一种基于区域分割和à trous小波变换的红外与可见光图像融合算法.首先,对红外与可见光图像进行区域分割及区域关联,并按关联映射图所划分区域提取红外与可见光图像的的能量信息及梯度信息;然后,对红外与可见光图像进行多尺度à trous小波变换分解,分解后的低频部分按照文中所提出的区域能量比和区域清晰比指标进行区域融合,高频部分采用绝对值取大算子进行融合;最后进行重构得到融合图像.结果表明,该算法既可保持可见光图像的光谱信息,又可有效获取红外图像的热目标信息.     

基于伪彩色融合图像聚类的夜视图像上色算法

提出一种将小波融合和基于伪彩色融合图像的C均值聚类用于图像色彩传递算法中的彩色夜视方法.在色彩传递前将可见光和红外图像进行小波融合得到灰度融合图像作为目标图像,保持了较好的纹理信息和目标信息;再对彩色源网像进行基于连接相对熵的彩色阈值分割;然后针对灰度融合图像的特点,根据一种基于伪彩色融合图像的C均值聚类方法,将伪彩色融合图像的彩色信息作为特征向量应用在夜视图像的分类当中,得到较好的分类效果,并基于此分类结果再进行色彩传递,得到更为自然的彩色夜视图像.实现了对夜视图像的自动色彩传递,得到的罔像色彩较真实.纹理清晰,将有利于人眼的目标识别.     

基于双路级联对抗机制的红外与可见光图像融合方法

针对现有的基于生成对抗网络的图像融合方法存在忽略红外图像的热目标信息,可见光图像的部分细节信息丢失的情况,提出一种基于双路级联对抗机制的红外与可见光图像融合方法。首先,在生成器模型中采用双路级联的方式分别对红外与可见光图像进行特征提取,为提高融合质量在内容损失函数中引入结构相似度。然后,在判别器模型中采用双判别方式判别生成图像的真假。最后,在公开的数据集上进行实验并与8种经典先进的图像融合方法进行比较。实验结果表明:融合图像在保留红外图像的目标信息同时也保留了可见光图像更多的细节信息,在主观评价和客观评估上均获得较好的性能。     

基于深度玻尔兹曼模型的红外与可见光图像融合

为了克服红外与可见光图像融合时噪声干扰及易产生伪影导致目标轮廓不鲜明、对比度低的缺点,提出一种基于深度模型分割的图像融合方法.首先,采用深度玻尔兹曼机学习红外与可见光的目标和背景轮廓先验,构建轮廓的深度分割模型,通过Split Bregman迭代算法获取最优能量分割后的红外与可见光图像轮廓;然后再使用非下采样轮廓波变换对源图像进行分解,并针对所分割的背景轮廓采用结构相似度的规则进行系数组合;最后进行非下采样轮廓波反变换重构出融合图像.数值试验证明,该算法可以有效获取目标和背景轮廓均清晰的融合图像,融合结果不但具有较高的对比度,还能抑制噪声影响,具有有效性.     

基于可能性分布联合落影的红外图像融合算法选取

针对双模态红外图像实际融合需求中常涉及到异类差异特征协同优化融合,且现有差异特征属性无法针对性地调整融合算法进行有效驱动,导致融合效果差等问题,提出了基于可能性分布联合落影的双模态红外图像融合算法选取的方法。首先计算双模态红外图像差异特征幅值的融合有效度,利用K最近邻法得到差异特征幅值的概率密度分布,得到差异特征频次属性的分布;然后通过差异特征幅值属性与频次属性构造差异特征权重函数,建立异类差异特征权重函数与多融合算法间的可能性分布合成,得到异类差异特征权重函数多融合算法融合有效度的联合落影;最后构建融合性能指标动态选取最优融合算法。实验结果表明,本文方法所选出的最优融合算法在等级得分指标上明显优于其他算法,验证了本文将可能性分布联合落影运用于双模态红外图像最优融合算法选取中具有可行性。     

基于改进Faster R-CNN的红外目标检测算法

为提升红外目标的检测精度,提出了一种引入频域注意力机制的Faster R-CNN红外目标检测算法。首先,针对红外图像边缘模糊和噪声问题,设计了一种并行的图像增强预处理结构;其次,在Faster R-CNN中引入频域注意力机制,设计了一种新型红外目标检测主干网络;最后,引入路径增强金字塔结构,融合多尺度特征进行预测,利用底层网络丰富的位置信息,提升检测精度。在红外飞机的数据集上进行实验,结果表明,改进后的Faster R-CNN目标检测框架比以ResNet50为主干的算法的AP提升了7.6%。此外,与目前主流算法对比,本文算法提高了红外目标的检测精度,验证了算法改进的有效性。     

基于显著性的双鉴别器GAN图像融合算法

针对红外图像与可见光图像在不同场景的特征表达不同的问题,提出一种基于显著性的双鉴别器生成对抗网络方法,将红外与可见光的特征信息相融合。区别于传统的生成对抗网络,该算法采用双鉴别器方式分别鉴别源图像与融合图像中的显著性区域,以两幅源图像的显著性区域作为鉴别器的输入,使融合图像保留更多的显著特征;并将梯度约束引入其损失函数中,使显著对比度和丰富纹理信息保留在融合图像中。实验结果表明：本文方法在熵值(entropy, EN)、平均梯度(mean gradient, MG)、空间频率(spatial frequency, SF)及边缘强度(edge intensity, EI)4个评价指标中均优于其他对比算法。该研究实现了红外图像与可见光图像高效融合,有望在目标识别等领域中获得应用。     

一种基于区域生长的红外与可见光的图像融合方法

针对目前红外与可见光目标跟踪的视频序列融合难以满足实时性问题，利用红外图像目标与背景显著的灰度差异特征，结合目标跟踪中目标分割时常用到的区域生长法，通过区域生长方法从红外图像中提取目标区域，再将得到的红外目标区域与已经过图像配准的可见光图像的背景区域进行融合处理，最终得到既具有红外图像较好的目标指示特性又具有可见光图像清晰场景信息的融合图像。实验表明：该算法不仅简单易行，而且所得到的融合图像视觉效果优于其他融合算法得到的图像。