基于双通道残差密集网络的红外与可见光图像融合 |
| |
引用本文: | 冯鑫,杨杰铭,张鸿德,邱国航.基于双通道残差密集网络的红外与可见光图像融合[J].光子学报,2023(11):285-296. |
| |
作者姓名: | 冯鑫 杨杰铭 张鸿德 邱国航 |
| |
作者单位: | 重庆工商大学机械工程学院制造装备机构设计与控制重庆市重点实验室 |
| |
基金项目: | 国家自然科学基金(No.22178036);;重庆市自然科学基金项目(No.CSTB2022NSCQ-MSX0271)~~; |
| |
摘 要: | 为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。
|
关 键 词: | 红外与可见光图像融合 双通道网络 残差密集模块 注意力机制 自编码器 |
|