Hyperspectral image fusion based on sparse constraint NMF

The spatial resolution of hyperspectral image is often low due to the limitation of the imaging spectrometer. Fusing the original hyperspectral image with high-spatial-resolution panchromatic image is an effective approach to enhance the resolution of hyperspectral image. However, it is hard to preserve the spectral information at the same time of enhancing the resolution by the traditional fusion methods. In this paper, we proposed a fusion method based on the spectral unmixing model called sparse constraint nonnegative matrix factorization (SCNMF). This method has a superior balance of the spectral preservation and the spatial enhancement over some traditional fusion methods. In addition, the added sparse prior and NMF based unmixing model make the fusion more stable and physically reasonable. This method first decomposes the hyperspectral image into an endmember-matrix and an abundance-matrix, then sharpens the abundance-matrix with the panchromatic image, finally obtains the fused image by solving the spectral constraint optimization problem. The experiments on both synthetic and real data show the effectiveness of the proposed method.     

基于梯度一致性约束的多光谱/全色影像最大后验融合方法

多光谱/全色影像融合可以得到高空间分辨率的多光谱影像,在影像解译和分类等方面具有十分重要的意义。提出一种基于梯度一致性约束的遥感影像融合方法。该方法在最大后验概率框架下,通过梯度一致性约束建立理想高空间分辨率多光谱影像和全色影像之间的关系,并结合多光谱影像观测模型和Huber-Markov影像先验,构建融合目标函数,最后采用梯度下降法求解得到融合影像。本文方法在目标函数中引入了梯度一致性约束,克服了现有的同类方法受限于波段数量的缺陷,同时在求解中自适应确定每个波段的迭代步长,充分顾及了各波段的光谱特性,从而既确保了融合影像的光谱信息保真度,也提高了融合影像的空间信息融入度。通过IKONOS和WorldView-2影像对该方法进行了验证,并和GS,AIHS和AMBF等融合方法从定性和定量两方面进行了比较分析。实验结果表明,相比于其他方法,该方法可以在更好保持光谱信息的同时增强影像的空间分辨率,具有更广泛的适用范围和更佳的融合效果。     

基于光谱响应函数的遥感图像融合对比研究

遥感图像融合是一个十分重要的问题,目前已出现了很多融合方法.一些现有方法可以从高空间分辨率全色数据中提取细节特征,并注入到低空间分辨牢多光谱数据中,同时尽可能保持多光谱数据的光谱特性.现有方法一般都不能利用遥感成像系统的物理信息,因此可能导致融合结果发生严重的光谱扭曲.该文采用适当的遥感图像融合模型对图像融合问题进行分解,将融合问题归结为空间细节调制参数构建与空间细节信息提取两个子问题,在对传感器光谱响应函数(SRF)的分析基础上,构建合理的空间细节调制参数.依据对现有方法的分类,文章将三种基于SRF的空间细节调制参数构建方法,与高斯高通滤波提取的空间细节信息结合,产生三种基于SRF的遥感图像融合方法.这些方法在Ikonos数据上进行了试验和分析,并与GS和HPM方法进行对比.     

基于MAP的高光谱图像超分辨率方法

高光谱图像得到了越来越广泛的应用,但较低的空间分辨率严重地影响着它的应用效果;其超分辨率方法受到学术界的高度重视,但一直没有得到很好的解决。为此重点研究了建立低分辨率资源图像与高分辨率目标图像之间的关系模型;引入关联感兴趣光谱端元的算子进行空间变换;应用最大后验概率(MAP)算法实现超分辨率复原。实验表明,该超分辨率方法具有超分辨率效果好、复杂度低、抗噪声性能强和保护感兴趣类别等优点。     

基于Shearlet变换的自适应图像融合算法

针对多聚焦图像与多光谱和全色图像的成像特点,结合Shearlet变换具有较好的稀疏表示图像特征的性质,提出了一种新的图像融合规则.并基于此融合规则,提出了基于Shearlet变换的自适应图像融合算法.在多聚焦图像的融合算法中,分别对聚焦不同的图像进行Shearlet变换,并基于本文提出的融合规则,对分解后的高低频系数进行融合处理. 通过与多种算法的比较实验证明了本文提出的算法融合的图像具有更高的清晰度和更加丰富的细节信息.在多光谱和全色图像的融合处理中,提出了一种基于Shearlet变换与HSV变换相结合的图像融合方法.该算法首先对多光谱图像作HSV变换,将得到的V分量与全色图像进行Shearlet分解与融合,在融合过程中对分解系数选用特定的融合准则进行融合,最后将融合生成新的分量与H、S分量进行HSV逆变换产生新的RGB融合图像. 该算法在空间分辨率和光谱特性两方面达到了良好的平衡,融合后的图像在减少光谱失真的同时,有效增强了空间分辨率. 仿真实验证明,本文算法融合的图像与传统的多光谱和全色图像融合算法相比,具有更佳的融合性能和视觉效果.     

基于变换域PCNN的近红外与彩色可见光融合

针对近红外与彩色可见光图像融合后对比度低、细节丢失和颜色失真等问题,提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network,PCNN)的红外与彩色可见光图像融合的新算法。首先将彩色可见光图像转换到HSI（hue saturation intensity)空间,HSI色彩空间包含亮度、色度和饱和度三个分量,并且这三个分量互不相关,因此利用这个特点可对三个分量分别进行处理。将其亮度分量与近红外图像分别进行多尺度变换,变换方法选择Tetrolet变换。变换后分别得到低频和高频分量,针对图像低频分量,提出一种期望最大的低频分量融合规则;针对图像高频分量,采用高斯差分算子调节PCNN模型的阈值,提出一种自适应的PCNN模型作为融合规则。处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间,得到融合后的彩色图像。为了解决融合带来的图像平滑化和原始图像光照不均的问题,引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。为了验证方法的有效性,选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验,并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。实验结果表明,同其他图像融合算法进行对比分析,该方法在有无CSC颜色的情况下均能保留最多的细节和纹理,可见度均大大提高,同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理,均具有更好的对比度和良好的色彩再现性。在信息保留度、颜色恢复、图像对比度和结构相似性等客观指标上均具有较大优势。     

Fusion of visible and infrared images using global entropy and gradient constrained regularization

Infrared and visible image fusion has been an important and popular topic in imaging science. Dual-band image fusion aims to extract both target regions in infrared image and abundant detail information in visible image into fused result, preserving even enhancing the information that inherits from source images. In our study, we propose an optimization-based fusion method by combining global entropy and gradient constrained regularization. We design a cost function by taking the advantages of global maximum entropy as the first term, together with gradient constraint as the regularized term. In this cost function, global maximum entropy could make the fused result inherit as more information as possible from sources. And using gradient constraint, the fused result would have clear details and edges with noise suppression. The fusion is achieved based on the minimization of the cost function by adding weight value matrix. Experimental results indicate that the proposed method performs well and has obvious superiorities over other typical algorithms in both subjective visual performance and objective criteria.     

An improved-SFIM fusion method based on the calibration process

The fusion of multispectral/hyperspectral image (MSI/HSI) and panchromatic image (PI) is a crucial and useful issue. Among the different fusion methods, smoothing-filter-based intensity modulation (SFIM) fusion technique is a simple yet effective model. It is proposed based on a simplified solar radiation and land surface reflection model. However, the calibration process, which is important in the remote sensing, is neglected. Meanwhile, in the fusion model, instead of using the accurate radiance value, the digital number (DN) value of optical image is improperly used. It caused the distortion of color in the fused images. Therefore, in the letter, we propose an improved-SFIM (ISFIM) by exploiting the calibration process. In the model, the range of DN values of the fused data are properly constrained in the calibration process. Experiments on the MSI and HSI are presented along with the fusion results obtained by discrete wavelet transform, Gram–Schmidt transform, original SFIM techniques and the proposed ISFIM. The results illustrate that, the ISFIM behaves better both in visual analysis and objective indices than existing methods.     

Novel image fusion method based on discrete fractional random transform

We introduce a new spectrum transform into the image fusion field and propose a novel fusion method based on discrete fractional random transform （DFRNT）. In DFRNT domain, high amplitude spectrum （HAS） and low amplitude spectrum （LAS） components carry different information of original images. For different fusion goals, different fusion rules can be adopted in HAS and LAS components, respectively. The proposed method is applied to fuse real multi-spectral （MS） and panchromatic （Pan） images. The fused image is observed to preserve both spectral information of MS and spatial information of Pan. Spectrum distribution of DFRNT is random and uniform, which guarantees that good information is reserved.     

基于光谱-空间特征的黄茶多酚含量估算模型

茶多酚是黄茶中的重要成分之一,具有保健和药用功效.准确估测茶多酚含量对茶叶品质鉴定和定量分析具有重要的意义.学者们已经利用电子鼻、电子舌、高光谱和近红外技术开展了茶多酚的估测研究,取得了良好的效果.然而,由于缺乏空间特征,难以满足黄茶内外品质综合判断的要求.随着高光谱成像系统的发展,尽管基于灰度共生矩阵的茶叶成分估测已...     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像...     

基于非采样Contourlet变换的遥感图像融合算法

为了使融合后的多光谱图像在尽可能保持原始多光谱图像光谱特性的同时,显著提高空间分辨力,提出了一种基于非采样Contourlet变换(NSCT)的遥感图像融合算法。算法首先对全色波段图像进行非采样Contourlet变换,得到全色波段图像的低频子带系数和各带通方向子带系数;然后针对多光谱图像的每一个波段,将其进行双线性插值后作为融合后多光谱图像的低频子带系数,对全色波段图像的各带通方向子带系数采用基于成像系统物理特性的注入模型(调整系数)进行局部调整后,作为融合后多光谱图像的各带通方向子带系数,从而得到融合后多光谱图像的非采样Contourlet变换系数;最后再经非采样Contourlet逆变换得到该波段具有高空间分辨力的多光谱图像。采用IKONOS卫星遥感图像进行了仿真实验,实验结果表明,该算法在光谱保留和空间质量提高方面优于其它传统的遥感图像融合算法。     

基于局部Gabor二进制模式的高光谱伪装目标图像分类(英文)

为提高光谱伪装目标图像分类精度,提出了一种基于局部Gabor二进制模式(LGBP)的空间分类方法。LGBP作为一种多尺度算法,被用来提取高光谱图像的纹理特征。然后高光谱图像中的每一个像元可以用一个光谱特征向量及一个纹理特征向量表示。通过这种方法,增大类间距离。最后使用多核支持向量机结合光谱信息和空间纹理信息实现对高光谱伪装目标图像的分类。实验证明了该方法的有效性,分类总体精度和Kappa系数分别达到了95.6%和0.937。所提出的方法对于提高分类精度及鲁棒性具有重要意义。     

可调节自适应遥感影像融合方法研究

大部分常用的遥感影像融合方法都存在一个缺陷:只能产生一个特定的融合结果,用户无法控制最终的结果应该保留多少光谱信息或细节信息。提出了一种基于小波变换的可调节自适应遥感影像融合方法,该方法首先分别将待融合影像进行小波分解,然后,通过引入2个可调节参量,在小波域内融合,最后通过小波逆变换得到融合结果。使用法国地球资源探测卫星(SPOT)图像和陆地资源卫星专题绘图仪(landsat TM)图像,将该方法与传统的小波变换融合法、强度色散饱和变换融合法和主成分变换法进行对比试验,结果表明,该方法可以在细节保留和光谱保持两方面达到不同程度的平衡,在合理的参量组合下,融合图像的目视效果和统计指标优于传统融合方法。     

传感器光谱指标对植被光谱模拟精度的影响

高光谱卫星数据模拟是卫星遥感数据模拟的重点研究方向,基于星载多光谱数据和地物光谱先验知识是一种快速模拟高光谱数据的方法,但数据模拟精度受传感器光谱指标的限制。文章针对EO-1/ALI的可见光/近红外波长范围进行实验,研究了波段数量、半波宽度和波长位置等光谱指标与植被光谱模拟精度的关系,分析了两者之间的变化规律。研究表明,光谱指标决定了植被光谱特征提取,是影响光谱模拟精度的直接原因。文章总结了适于光谱重构模型的光谱参数范围,实验结果有利于提高植被光谱模拟精度。该结论可用于多光谱传感器的性能评价及其分光滤色结构的改进。     

结合光谱图像技术和SAM分类法的甘蓝中杂草识别研究

杂草自动识别技术是实现变量喷洒、精准施药的关键,更是制约其实现的瓶颈,因此,准确、快速、无损地实现杂草自动识别已成为精准农业的一个重要研究方向。利用高光谱成像系统采集甘蓝幼苗及小藜、稗草、牛筋草、马唐和狗尾草等五种杂草在1 000～2 500 nm波长区间的高光谱图像数据,在ENVI中经过MNF变换对数据降噪、去相关,并将波段维数从256维降到11维,通过提取感兴趣区域获得标准光谱,最后利用SAM分类法识别甘蓝与杂草,光谱角弧度阈值为0.1弧度时,分类效果良好。在HSI Analyzer中选择训练像元获得标准光谱后,利用SAM分类法识别甘蓝与杂草,并利用人工分类图与SAM分类图比较定量度量杂草的识别正确率,结果表明,当参数设置为5点平滑、0阶导数和7度光谱角度时,分类效果最佳,杂草识别率为80.0%,非杂草类识别率为97.3%,总体识别率为96.8%。应用光谱图像技术与SAM分类法相结合的方法进行杂草检测,充分利用了光谱和图像的融合信息,该方法应用空间的分类算法来建立光谱判别方法的训练集,在像素级别上考察光谱矢量之间的相似性,融合了光谱和图像两者的优势,同时兼顾了准确性和快速性,并且在整场范围内(行间和行内)改善杂草检测范围,为农业精确管理中需要植物精准信息的应用领域提供了相关的分析手段和方法。     

结合空间和光谱信息的高光谱影像端元光谱自动提取

端元光谱提取是高光谱影像混合像元分解的关键。现有的端元提取方法多是仅利用了影像的光谱信息,忽略了像元间的空间相关性。现有研究基础上,提出了一种结合影像空间和光谱信息的高光谱影像端元光谱自动提取方法(integration of spatial-spectral information based endmember extraction,ISEE)。该方法首先进行影像子空间划分以增强影像局部的光谱信息特征,然后通过特征空间投影分析获得影像候选端元,最后依次在影像空间信息约束下和端元光谱信息约束下进行优化,得到最终的影像端元光谱集。仿真高光谱影像和真实高光谱影像的实验结果表明,结合影像空间和光谱信息的ISEE方法是有效的,且比一些常用方法提取的端元光谱更为准确。     

基于GoogLeNet和空间谱变换的高光谱图像超分辨率方法

为了提高高光谱图像的空间分辨率,提出了一种基于GoogLeNet和空间谱变换的高光谱图像超分辨率(SR)方法.设计出遥感图像的光谱SR框架,对图像中不同反射光谱进行提取;采用GoogLeNet的稀疏编码对粗像素光谱进行放大,并投影到高分辨率字典上,将潜在SR表示进行反转,以获得超分辨光谱;为了提高图像重构的保真度,利用...     

基于HIS 小波变换和MOPSO的全色与多光谱图像融合

有效的全色图像和多光谱图像的融合方法必须保证光谱和空间信息的最大化. 采用HIS小波融合算法框架, 提出了新的高频系数提取方法和一种新的全色和多光谱图像融合方法. 根据小波变换后高频中的细节以及边缘信息都具有方向性, 而噪声点一般都是孤立点这一物理特性, 设计了一种基于一阶高斯微分的高频系数提取方法.以多个融合评价指标为目标函数, 对HIS小波融合算法中采用不同融合规则得到的结果图像, 通过多目标粒子群优化算法优化加权组合得到最终结果. 对实际TM多光谱图像和SPOT全色图像进行了融合实验比较研究, 结果表明, 改进的高频系数提取方法得到的融合图像在光谱信息和空间信息上都有较好的改善, 用多目标粒子群优化算法得到的结果图像在光谱信息保留上具有较明显的优势且空间信息也得到了较大的提高.