基于多分支CNN的高光谱与全色影像融合处理

高光谱与全色影像融合旨在通过融合高空间分辨率的全色影像与低空间分辨率的高光谱影像来获得高空间分辨率的高光谱影像。基于深度卷积神经网络(CNN),提出了一种遥感影像融合方法,利用两个独立的分支网络逐级从高光谱和全色影像中提取光谱和空间特征。该融合网络由两个分支网络和一个主线网络组成,利用两个分支网络分别从高光谱与全色影像中提取空谱特征,主线网络基于分支网络提取的特征,重建得到最终融合的高空间分辨率的高光谱影像。在CAVE和Pavia Center数据集上分别进行了实验验证,通过对比可以发现,所提出的融合算法在空间细节和光谱保真度上较当前主流算法均表现出更优异的性能。     

谐波分析法高光谱影像融合及其光谱信息保真度评价

提高高分辨率影像之间的空间信息融入度和光谱信息保真度是当今高光谱影像融合研究的热点问题。本文结合EO-1卫星的Hyperion高光谱影像与ALI高空间分辨率波段,针对最大限度地克制光谱信息失真与光谱形态变化等问题,提出了高光谱影像的谐波分析融合(HAF)算法和融合影像光谱信息保真度评价的导数光谱差值信息熵(DSD-IE)模型。通过计算和评价采样像元样本的导数光谱差值曲线信息熵、平均梯度和标准差等参量,同时比较主成分分析(PCA)、Gram-Schmidt(GS)和小波分析等方法的高光谱融合影像,证实了基于HAF的高光谱影像融合结果具有较高的空间信息融入度和光谱信息保真度,在空间信息和光谱信息的可靠性、准确性和实用性等方面都明显优于其他传统的高光谱影像融合方法。     

基于Geoeye-1影像光谱特性的红树林冠层种类识别

基于Geoeye-1高空间分辨率影像与冠层实测高光谱数据,以广西北部湾五种红树群落为研究对象,分析影像光谱用于冠层种类识别的能力。首先研究红树林冠层光谱响应特征,再针对影像采用高光谱分析方法提取端元,结合实测训练样本进行不同方法的识别对比。结果表明：350～1 100 nm谱段内以435,469,523,677,751和761 nm为中心波段的红树群落冠层光谱表现最佳;木榄端元应用识别精度高于实测训练样本应用结果;光谱角制图法能够克服多光谱波段对全色波段分辨率的影响,并有效获取冠层轮廓。利用Geoeye-1影像光谱信息可有效识别三种红树植被,种类最高识别精度达93.03%。研究证实高空间分辨率影像光谱信息的重要性,从机理和应用角度为面向对象红树林种类识别提供了依据和参考。     

小波包变换与遥感图像融合

探讨了遥感多光谱与全色波段图像的融合问题.分析了多光谱与全色波段成像机理,提出了一种基于小波包变换的遥感图像融合方法,实验结果表明,该方法可有效综合多光谱与全色波段图像的优点,从而获得具有较高空间分辨率的多谱图像.     

基于成像系统物理特性的多光谱图像与全色波段图像融合

提出了一种基于成像系统物理特性的多光谱图像与全色波段图像融合算法。该算法采用àtrous小波变换提取全色波段图像的空间细节信息,并将提取的空间信息按照一定的注入模型调整后添加到各波段多光谱图像中去,得到具有高空间分辨力的多光谱图像。注入模型充分考虑了各波段成像传感器的相对光谱响应函数、地表物体对各波段的光谱反射率以及各波段的辐射调整系数等成像系统的物理特性,使融合后的多光谱图像在显著提高空间质量的同时,最大可能地保留了原始多光谱图像的光谱特性。对IKONOS卫星遥感影像的融合实验结果表明,该算法在光谱保留和空间质量提高方面较其它基于小波变换的融合算法都具有更高的性能。     

结合空间和光谱信息的高光谱影像端元光谱自动提取

端元光谱提取是高光谱影像混合像元分解的关键。现有的端元提取方法多是仅利用了影像的光谱信息,忽略了像元间的空间相关性。现有研究基础上,提出了一种结合影像空间和光谱信息的高光谱影像端元光谱自动提取方法(integration of spatial-spectral information based endmember extraction,ISEE)。该方法首先进行影像子空间划分以增强影像局部的光谱信息特征,然后通过特征空间投影分析获得影像候选端元,最后依次在影像空间信息约束下和端元光谱信息约束下进行优化,得到最终的影像端元光谱集。仿真高光谱影像和真实高光谱影像的实验结果表明,结合影像空间和光谱信息的ISEE方法是有效的,且比一些常用方法提取的端元光谱更为准确。     

改进投影梯度NMF的NSST域多光谱与全色图像融合

为了有效结合多光谱图像的光谱信息和全色图像的空间细节信息,进一步改善融合后多光谱图像的质量,提出了基于改进投影梯度非负矩阵分解(NMF)和改进脉冲耦合神经网络(PCNN)的非下采样Shearlet变换(NSST)域多光谱和全色图像融合方法。对多光谱图像进行亮度-色度-饱和度(IHS)变换,将其亮度分量与全色图像进行直方图匹配,增强全色图像的对比度;分别对多光谱图像的亮度分量和全色图像进行NSST变换,对二者的低频系数利用改进投影梯度NMF进行融合,进一步提高融合后图像的空间信息;对于高频子带系数,采用基于改进PCNN的方法进行融合,增强图像的细节信息;经非下采样Shearlet逆变换得到融合后的亮度分量,进行IHS逆变换得到融合图像。大量实验结果表明,所提出的方法在保留多光谱图像光谱信息的同时,增强了融合图像的空间细节表现能力,优于现有的基于IHS变换、基于非下采样Contourlet变换(NSCT)和NMF、基于NSCT和PCNN等几种融合方法。     

基于改进梯度投影NMF和复Contourlet变换的遥感图像融合

为了尽可能地保留全色图像的空间信息和多光谱图像的光谱信息,提出了一种基于改进梯度投影非负矩阵分解和复Contourlet变换的遥感图像融合方法.首先,以多光谱图像的强度分量图像为标准,对全色图像做直方图匹配,得到新的全色图像;然后,利用复Contourlet变换分别分解多光谱图像的强度分量图像和新的全色图像,得到各自对应的低频分量和高频分量;接着,对两幅低频分量图像采用改进梯度投影的非负矩阵分解作为融合规则获取新的低频分量,并对两幅高频分量图像使用系数绝对值较大法获取新的高频分量;最后,通过逆复Contourlet变换和逆色调-饱和度-强度变换获得融合后的图像.大量实验结果表明,与HSI方法、NMF与无下采样Contourlet变换结合的方法以及提升小波变换与HSI结合的方法相比,本文方法获得的融合图像具有更高的空间分辨率和更多的光谱信息.     

基于HIS 小波变换和MOPSO的全色与多光谱图像融合

有效的全色图像和多光谱图像的融合方法必须保证光谱和空间信息的最大化. 采用HIS小波融合算法框架, 提出了新的高频系数提取方法和一种新的全色和多光谱图像融合方法. 根据小波变换后高频中的细节以及边缘信息都具有方向性, 而噪声点一般都是孤立点这一物理特性, 设计了一种基于一阶高斯微分的高频系数提取方法.以多个融合评价指标为目标函数, 对HIS小波融合算法中采用不同融合规则得到的结果图像, 通过多目标粒子群优化算法优化加权组合得到最终结果. 对实际TM多光谱图像和SPOT全色图像进行了融合实验比较研究, 结果表明, 改进的高频系数提取方法得到的融合图像在光谱信息和空间信息上都有较好的改善, 用多目标粒子群优化算法得到的结果图像在光谱信息保留上具有较明显的优势且空间信息也得到了较大的提高.     

基于非采样Contourlet变换的遥感图像融合算法

为了使融合后的多光谱图像在尽可能保持原始多光谱图像光谱特性的同时,显著提高空间分辨力,提出了一种基于非采样Contourlet变换(NSCT)的遥感图像融合算法。算法首先对全色波段图像进行非采样Contourlet变换,得到全色波段图像的低频子带系数和各带通方向子带系数;然后针对多光谱图像的每一个波段,将其进行双线性插值后作为融合后多光谱图像的低频子带系数,对全色波段图像的各带通方向子带系数采用基于成像系统物理特性的注入模型(调整系数)进行局部调整后,作为融合后多光谱图像的各带通方向子带系数,从而得到融合后多光谱图像的非采样Contourlet变换系数;最后再经非采样Contourlet逆变换得到该波段具有高空间分辨力的多光谱图像。采用IKONOS卫星遥感图像进行了仿真实验,实验结果表明,该算法在光谱保留和空间质量提高方面优于其它传统的遥感图像融合算法。     

Hyperspectral image fusion by multiplication of spectral constraint and NMF

Hyperspectral remote sensing has been used in many fields, such as agriculture, military detection and mineral exploration. Hyperspectral image (HSI), despite its high spectral resolution, has lower spatial resolution than panchromatic image (PI). Therefore, it is useful yet still challenging to effectively fuse HSI and PI to obtain images with both high spectral resolution and high spatial resolution. To solve the problem, a new HSI fusion method based on multiplication of spectral constraint and non-negative matrix factorization is proposed in the paper. In the model, the HSI is first decomposed into basis (abundance matrix) and weight (spectral matrix), then the details of HSI are sharpened by enhancing the details of the abundance with PI. Meanwhile, a spectral constraint term is proposed. It is used to specifically preserve the spectral information in the model. Therefore, the fused data is characterized by good spatial and spectral information. Finally, experiments with both simulated and real data are implemented and the results show that the proposed method performs better in both visual analysis and objective indices than conventional methods, thus making it a good choice for HSI fusion.     

Hyperspectral image fusion based on sparse constraint NMF

The spatial resolution of hyperspectral image is often low due to the limitation of the imaging spectrometer. Fusing the original hyperspectral image with high-spatial-resolution panchromatic image is an effective approach to enhance the resolution of hyperspectral image. However, it is hard to preserve the spectral information at the same time of enhancing the resolution by the traditional fusion methods. In this paper, we proposed a fusion method based on the spectral unmixing model called sparse constraint nonnegative matrix factorization (SCNMF). This method has a superior balance of the spectral preservation and the spatial enhancement over some traditional fusion methods. In addition, the added sparse prior and NMF based unmixing model make the fusion more stable and physically reasonable. This method first decomposes the hyperspectral image into an endmember-matrix and an abundance-matrix, then sharpens the abundance-matrix with the panchromatic image, finally obtains the fused image by solving the spectral constraint optimization problem. The experiments on both synthetic and real data show the effectiveness of the proposed method.     

可调节自适应遥感影像融合方法研究

大部分常用的遥感影像融合方法都存在一个缺陷:只能产生一个特定的融合结果,用户无法控制最终的结果应该保留多少光谱信息或细节信息。提出了一种基于小波变换的可调节自适应遥感影像融合方法,该方法首先分别将待融合影像进行小波分解,然后,通过引入2个可调节参量,在小波域内融合,最后通过小波逆变换得到融合结果。使用法国地球资源探测卫星(SPOT)图像和陆地资源卫星专题绘图仪(landsat TM)图像,将该方法与传统的小波变换融合法、强度色散饱和变换融合法和主成分变换法进行对比试验,结果表明,该方法可以在细节保留和光谱保持两方面达到不同程度的平衡,在合理的参量组合下,融合图像的目视效果和统计指标优于传统融合方法。     

基于特征结构相似度的遥感影像融合质量评价指标

在分析现有影像融合评价指标的基础上,根据人眼视觉特性,提出一种基于特征结构相似度的遥感影像融合评价指标.首先从原始影像和融合影像中提取空间特征和光谱特征,然后综合计算空间特征和光谱特征的结构相似度作为评价指标,达到评价影像质量的目的.通过对多种传感器获取的遥感影像进行融合实验,结果表明该客观评价方法与主观评价结果一致,...     

结合深度学习的非下采样剪切波遥感图像融合

遥感图像融合是指将不同传感器得到的具有不同观测特性的图像信息有选择、有策略地结合起来,以得到具有更优观测特性的新图像的方法。提出一种深度学习结合非下采样剪切波变换(NSST)的遥感图像融合算法,利用改进的超分辨率重建网络对多光谱图像(MS)进行空间分辨率增强,全色图像(PAN)参考重建后的多光谱图像的每个分量进行直方图匹配。将对应通道的图像进行NSST变换,分别得到低频子带和若干高频子带。低频子带通过使用基于梯度域的自适应加权平均规则来获得低频融合系数,高频子带采用局部空间频率最大值规则来获得高频融合系数,最后经逆NSST变换重构获得融合图像。对不同数据集中的City和Inland多光谱图像采用双三次插值方法进行上采样,作者提出算法的通用图像质量指数(UIQI)分别为0.988 6和0.932 1,光谱角映射(SAM)分别为1.872 1和2.143 2。实验结果表明,图像结构更加清晰,保存的光谱信息更加完整,融合图像质量优于对比算法,融合图像更利于人类视觉观察。     

基于方向金字塔框架变换的遥感图像融合算法

为了综合利用多光谱遥感图像与全色遥感图像之间的互补信息,提出了一种方向金字塔框架变换(SPFT),并基于此变换提出了一种遥感图像融合算法。具体融合过程是将多光谱图像的每个波段分别与高分辨力全色图像进行融合,首先将高分辨力全色图像与多光谱图像的待融合波段进行直方图匹配,然后对该波段图像以及直方图匹配后的高分辨力全色图像分别进行方向金字塔框架变换分解,融合过程就是对两图像方向金字塔框架变换分解后的系数进行组合,最后对组合后的系数进行方向金字塔框架逆变换即可得到该波段图像与高分辨力全色图像的融合图像。实验结果表明该算法在性能上优于基于亮度-色调-饱和度(1HS)的彩色空间变换以及基于离散小波框架变换(DWFT)的遥感图像融合方法,尤其对源图像之间存在配准误差的情况。     

Novel image fusion method based on discrete fractional random transform

We introduce a new spectrum transform into the image fusion field and propose a novel fusion method based on discrete fractional random transform （DFRNT）. In DFRNT domain, high amplitude spectrum （HAS） and low amplitude spectrum （LAS） components carry different information of original images. For different fusion goals, different fusion rules can be adopted in HAS and LAS components, respectively. The proposed method is applied to fuse real multi-spectral （MS） and panchromatic （Pan） images. The fused image is observed to preserve both spectral information of MS and spatial information of Pan. Spectrum distribution of DFRNT is random and uniform, which guarantees that good information is reserved.