基于双分支U形Transformer的遥感图像融合

为解决现有遥感图像融合方法不能充分提取和利用全局上下文特征,而造成光谱和空间信息丢失的问题,提出基于双分支U形Transformer的遥感图像融合方法。首先将多光谱和全色图像分割成图像块,每个图像块的光谱和空间信息被嵌入到一个向量中,形成块嵌入向量序列。接着,多光谱图像和全色图像的嵌入向量序列被分别送入Transformer编码器的两个分支以提取两张图像的多级全局特征表示。在编码过程中,通过多个跳跃连接,不同层级的全色图像表示被注入到多光谱图像表示中进行融合。最终,Transformer解码器利用特征压缩和块扩张层消除冗余特征并从多级融合表示中逐渐恢复出高分辨率融合图像。在三种不同卫星数据集上的实验表明,所提方法得到的融合图像相比于其他融合方法主观视觉效果较好,且客观评价指标更优。