基于改进Swin transformer的遥感图像融合方法

针对现有基于transformer的方法未能充分融合遥感图像多尺度特征的问题，提出一种多光谱-全色融合网络。在融合网络中嵌入一个基于改进Swin transformer的多尺度窗口自注意力模块，在关注全局空间特征的同时，充分融合不同尺寸的特征信息，从而最大程度地保留光谱和空间结构信息。通过不同层级特征的跳跃连接，解码网络预测出原始多光谱图像缺失的纹理部分，最终使用细节注入模型恢复出目标图像。为了提升融合效果，在损失函数中加入了光谱损失和空间结构损失。与其他方法相比，本文提出的方法在WorldView-4、QuickBird和WorldView-2三种卫星数据集的主观视觉效果最好，相比于性能第二的方法，本文方法在三种数据集的相对全局误差指标分别减小了11.99%、0.4%和3.43%。