残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法

传统卷积神经网络模型在高光谱图像分类生成特征图的空间维度中存在大量的空间特征信息冗余,而且把高光谱图像单个像元上的光谱带数据看作是无序高维向量进行数据处理,并不符合光谱数据的特性,极大影响了模型的运行效率和分类性能。针对该问题,提出一种三维Octave卷积和双向循环神经网络注意力网络相结合的高光谱图像分类方法。首先,利用三维Octave卷积获取高光谱图像的空间特征的同时减少空间特征冗余信息。其次,利用Bi-RNN光谱注意力网络将光谱带数据视为有序序列以获取高光谱图像的光谱信息。然后,通过全连接层将空间和光谱特征图连接起来实现特征融合。最后,经过softmax输出分类结果。实验结果表明,所提方法在Pavia University和Botswana两个数据集上的分类精度分别达到了99.97%和99.79%,与其他主流算法相比,该方法可以充分利用空间和光谱特征信息,具有更佳的分类性能。     

基于非局部自相似性的双相机压缩光谱图像重建算法

针对压缩光谱成像的图像重建问题,提出了一种基于非局部稀疏表示与双相机系统的压缩光谱重建方法。首先,利用RGB观测来构建一种三维图像块,使用K均值聚类对图像块进行分类,并以聚类结果来指导目标高光谱图像的光谱块分类,通过主成分分析获取每个簇的特征用来稀疏表示其他光谱块。然后用构建的三维图像块估计目标光谱图像非局部相似性,并构建目标函数。最后,通过迭代收缩算法与共轭梯度下降法来交替优化目标函数完成重建。仿真和实拍结果表明,所提方法能大幅提升重建质量与精度,在空间和光谱维度上重建误差更小,RGB观测辅助字典学习与相似块估计的方法能有效提升双相机系统的计算效率。     

基于密集卷积和域自适应的高光谱图像分类

针对常规的高光谱图像分类算法不能很好地解决不同图像中的频谱偏移的问题,提出了一种基于密集卷积和域自适应的高光谱图像分类算法,首先在源域中使用密集卷积进行深度特征学习,然后应用域自适应技术转移到目标域。目前的域自适应高光谱图像分类框架中常用卷积神经网络进行特征学习,但是当深度增加时会出现因梯度消失而导致分类精度下降的情况,因此本文通过引入密集卷积进行深度特征学习,提高域自适应高光谱图像分类的精度。在Indiana高光谱数据集和Pavia高光谱数据集上验证所提算法的有效性,整体分类精度分别为61.06%和89.63%,与其他域自适应高光谱图像分类方法对比,所提方法具有更好的分类精度。     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。     

基于注意力残差编解码网络的动态场景图像去模糊

动态场景下的图像去模糊技术是一个具有挑战性的计算机视觉问题。模糊图像不仅影响主观感受,还会影响后续的智能化分析的性能。提出了一种基于注意力残差编解码网络的动态场景图像去模糊方法。首先,编码阶段采用多个残差模块提取特征,加入空间注意力模块感知模糊的空间位置信息;其次,通过在网络中采用全局-局部残差连接策略融合多层卷积特征,减少信息丢失;最后,解码阶段生成具有清晰边缘结构的复原图像。实验结果显示,提出的算法在公开数据集上获得的峰值信噪比值为31.76 dB,结构相似性值为0.912。客观和主观质量评估表明,本文算法能够有效地复原包含丰富边缘轮廓信息的清晰图像,在对比算法中获得最优的性能。     

基于阶梯网络与交叉融合的端到端图像去雾

针对卷积神经网络类图像去雾方法存在的细节丢失、颜色失真、去雾不彻底等问题,提出一种基于阶梯网络与注意力交叉融合的端到端图像去雾算法.整体网络模型包含特征提取、特征融合、图像重建三个模块,其中特征提取包括有雾图像细节和轮廓特征的提取,由阶梯网络的不同阶梯层提取实现;特征融合模块以注意力机制的交叉融合实现,并结合自适应残差...     

基于非线性光谱字典学习的单幅RGB图像光谱重建方法研究

针对单幅RGB图像重建光谱图像中的病态问题,提出一种基于非线性光谱字典学习的非线性重建方法。为了适应线性和非线性数据,该方法首先改进了基于自联想神经网络模型的非线性主成分分析算法,并利用其从训练光谱集中学习低维光谱字典,用于光谱重建的求逆方程中,以缓解病态状况。再在此光谱字典基础上,利用阻尼高斯牛顿法结合截断奇异值分解的正则化方法,进一步缓解该非线性反演的病态问题,实现单幅RGB图像重建光谱图像。在实验中,采用Munsell以及Munsell+Pantone两个光谱训练集学习光谱字典,同时利用CAVE和UEA光谱图像库进行光谱重建测试。该方法测试结果与现有方法比较发现,该方法在不同光谱训练集下重建CAVE和UEA两库光谱图像的均方根差的平均值最低,分别为0.212 4,0.255 4,0.229 4和0.294 9,均方根差的标准偏差接近最好方法的效果,分别为0.068 5,0.084 7,0.066 8和0.087 0。此结果表明该方法针对单幅RGB图像重建光谱图像在重建精度和稳定性上均存在优势。     

基于形态学空间特征的高光谱遥感图像分类方法

传统的高光谱图像分类主要是基于像素的光谱特征,在一定程度上忽略了高光谱遥感图像中像素之间的空间相关性。为了充分利用高光谱图像中的空间信息,提出了一种基于加权多结构元素无偏差形态学的空间特征提取方法,并基于形态学的多尺度特征和结构保持性提出了基于邻域的多尺度空间特征提取方法,得到了高光谱遥感图像的空间特征。对k-NN分类算法进行改进,提出了基于变精度粗糙集和重构误差的k-NN分类算法,实现了基于空间特征的高光谱遥感图像分类。在两个不同的高光谱遥感图像的实验验证了基于空间特征和改进k-NN分类算法的性能。     

基于Shearlet变换的自适应图像融合算法

针对多聚焦图像与多光谱和全色图像的成像特点,结合Shearlet变换具有较好的稀疏表示图像特征的性质,提出了一种新的图像融合规则.并基于此融合规则,提出了基于Shearlet变换的自适应图像融合算法.在多聚焦图像的融合算法中,分别对聚焦不同的图像进行Shearlet变换,并基于本文提出的融合规则,对分解后的高低频系数进行融合处理. 通过与多种算法的比较实验证明了本文提出的算法融合的图像具有更高的清晰度和更加丰富的细节信息.在多光谱和全色图像的融合处理中,提出了一种基于Shearlet变换与HSV变换相结合的图像融合方法.该算法首先对多光谱图像作HSV变换,将得到的V分量与全色图像进行Shearlet分解与融合,在融合过程中对分解系数选用特定的融合准则进行融合,最后将融合生成新的分量与H、S分量进行HSV逆变换产生新的RGB融合图像. 该算法在空间分辨率和光谱特性两方面达到了良好的平衡,融合后的图像在减少光谱失真的同时,有效增强了空间分辨率. 仿真实验证明,本文算法融合的图像与传统的多光谱和全色图像融合算法相比,具有更佳的融合性能和视觉效果.     

基于明度分量的Retinex-Net图像增强改进方法

当人们在低照度光照条件下拍摄图像时,图像通常会受到低可见度的影响.这种低可见度的图像不仅影响视觉效果而且对后续的使用造成诸多困难.为了解决低照度条件下图像可见度差,色彩偏差等问题,本文提出了一种改进的Retinex网络增强方法.该方法首先对低照度RGB图像进行HSV色彩空间变换,利用Retinex分解网络单独对明度分量进行分解增强,并通过上采样操作增大明度分量的分辨率.然后对色相分量和饱和度分量,运用最近邻点插值增大其分辨率,结合增强的明度分量转换回RGB色彩空间,得到初始增强图像.最后采用小波变换图像融合技术,与原始低照度图像进行融合,消除初始增强图像中的过度增强部分.实验结果分析表明,本文所提方法与原始Retinex网络方法相比,NIQE值平均下降了19.49%,图像标准差平均提升了41.35%.本文所提算法有望在安防监控、生物医学等领域得到有效应用.     

基于深度可分离卷积的轻量化残差网络高光谱影像分类

针对传统深度残差网络在对高光谱图像进行特征提取和分类过程中因参数量大导致的训练时间长的问题,提出一种基于深度可分离卷积的轻量化残差网络模型（DSC-Res14）。该模型首先基于一层三维卷积层对经主成分分析方法降维后的高光谱影像进行光谱特征和空间特征初提取;其次,引入3个不同尺度的三维深度可分离卷积残差层对影像的深层语义特征进行提取,减少了网络训练参数量,增强了网络对高维、多尺度空间特征信息的表达能力。经在公开的Indian Pines和Pavia University标准数据集上进行实验验证,结果表明：所提模型在两个数据集上的分类精度分别为99.46%和99.65%;对比同类模型,所提模型在保证较高分类精度的同时,参数量和计算量小,训练时间短,并具有良好的鲁棒性。     

多局部残差连接注意网络的图像去模糊

针对现有的基于卷积神经网络的图像去模糊算法存在图像纹理细节恢复不清晰的问题,提出了一种基于多局部残差连接注意网络的图像去模糊算法。首先,采用一个卷积层进行浅层特征提取;其次,设计了一种新的基于残差连接和并行注意机制的多局部残差连接注意模块,用于消除图像模糊并提取上下文信息;再次,采用一个基于扩张卷积的成对连接模块进行细节恢复;最后,利用一个卷积层重建清晰图像。实验结果表明：在GoPro数据集上的PSNR (peak signal to noise ratio)和SSIM (structure similarity)分别为31.83 dB、0.927 5,在定性和定量两方面都表明所提方法能够有效地恢复模糊图像的纹理细节,网络性能优于对比方法。     

近红外高光谱成像扫描速度对拟南芥冠层含水率预测的影响

高光谱成像技术可以无损检测植物不同尺度的理化信息,现有研究往往以分析高光谱图像的平均光谱为主,忽略了其空间维度的信息。以模式植物拟南芥为研究对象,探究高光谱成像不同扫描速度引起的图像空间分辨率差异对植物冠层含水率测量的影响,为高光谱成像在线快速检测植物冠层含水率提供优化方案。首先利用室内在线高光谱成像系统分别在20, 30和40 mm·s~(-1)三种扫描速度下采集了拟南芥冠层高光谱图像,并提取拟南芥冠层平均反射光谱。其次,利用偏最小二乘算法(PLSR)建立了拟南芥冠层含水率与平均反射光谱的定量分析模型,通过决定系数(R~2)、均方根误差(RMSE)、相对分析误差(RPD)对模型进行评估。比较基于原始光谱与多元散射校正算法(MSC)、 Savitsky-Golay平滑算法等预处理光谱建立的PLSR模型,选取最佳光谱预处理方法用于后续的数据处理。最后,利用连续投影算法(SPA)分析比较基于最优特征波长与全波长的模型预测准确度,探明高光谱图像扫描速度对拟南芥冠层含水率预测的影响规律。研究结果表明,当扫描速度从20 mm·s~(-1)提升到30 mm·s~(-1)时,基于MSC预处理的全波段PLSR模型预测拟南芥冠层含水率决定系数降低0.88%,小于1%;当扫描速度从20 mm·s~(-1)提升到40 mm·s~(-1)时,拟南芥冠层含水率决定系数降低2.3%。说明在适当提高扫描速度的同时,能够保证植物冠层的高含水率预测准确度。改变高光谱扫描速度可以更有效地利用高光谱图像空间维度有效信息,扫描速度适当增大后,高光谱图像的空间维度信息改变,提高实际生产应用环节的图像采集效率,减少数据处理时间。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于多分支CNN的高光谱与全色影像融合处理

高光谱与全色影像融合旨在通过融合高空间分辨率的全色影像与低空间分辨率的高光谱影像来获得高空间分辨率的高光谱影像。基于深度卷积神经网络(CNN),提出了一种遥感影像融合方法,利用两个独立的分支网络逐级从高光谱和全色影像中提取光谱和空间特征。该融合网络由两个分支网络和一个主线网络组成,利用两个分支网络分别从高光谱与全色影像中提取空谱特征,主线网络基于分支网络提取的特征,重建得到最终融合的高空间分辨率的高光谱影像。在CAVE和Pavia Center数据集上分别进行了实验验证,通过对比可以发现,所提出的融合算法在空间细节和光谱保真度上较当前主流算法均表现出更优异的性能。     

改进的SSD算法及其对遥感影像小目标检测性能的分析

针对以Faster R-CNN为代表的基于候选框方式的遥感影像目标检测方法检测速度慢,而现有SSD算法在小目标检测中性能低的问题,提出一种改进的SSD算法,综合利用现有基于候选框方式和一体化检测方式的优势,提升检测性能。该算法利用密集连接网络替换原有的VGGNet作为骨干网络,并且在密集连接模块之间构建特征金字塔,代替原有多尺度特征图。为验证所提算法的精度及性能,设计样本数据在线采集系统,并采集飞机及运动场目标样本集作为实验样本,通过对改进SSD算法的训练,验证了其网络结构的稳定性,在无迁移学习支持下依然能够达到良好效果,且训练过程不易发散。通过对比以101层的残差网络(ResNet101)作为基础网络的Faster R-CNN算法和R-FCN算法可知,改进SSD算法较Faster R-CNN算法和R-FCN算法的MAP在测试集上分别提升了9.13%和8.48%,小目标检测的MAP分别提升了14.46%和13.92%,检测单张影像耗时71.8 ms,较Faster R-CNN和R-FCN算法分别减少45.7 ms和7.5 ms。     

干涉型计算层析成像光谱仪的图像重建

针对干涉型计算层析成像光谱仪(CTII)提出了一种光谱图像数据立方体的重建方法。干涉型计算层析成像光谱仪是一种将空间调制傅里叶变换成像光谱仪(FTIS)的原理与计算层析成像光谱仪(CTIS)的原理相结合的一种新型成像光谱仪,具有高通量、高光谱分辨力以及高空间分辨力的特点。分析和讨论了干涉型计算层析成像光谱仪的工作原理以及获取图像的特征,介绍了光谱图像数据立方体的重建方法。根据多角度投影数据的特点提出采用卷积反投影计算层析成像图像重建算法,给出了图像重建步骤以及相应的数学表达式。对D65光源照明条件下的396×396像素目标进行了仿真实验,投影角度为0~180°,步长为0.5°,列出了仿真实验部分结果。实验结果验证了干涉型计算层析成像光谱仪及其图像重建算法的可行性。     

彩色数码相机单幅RGB图像光谱重建研究

通过彩色数码相机单幅RGB图像的响应值重建物体表面的光谱反射率,不仅可以有效避免基于带通滤光片光谱成像系统存在的通道间图像像素偏移问题,而且可以缩短图像采集周期和获得高空间分辨率的光谱图像,但是光谱重建误差受光谱重建方法的影响。提出了一种基于相机响应值扩展和局部反距离加权优化的光谱重建方法,以CIEDE2000色差和光谱均方根误差为评价指标,以600个矿物颜料色块为实验样本,利用佳能600D型数码相机对所提方法进行了验证,并与当前几种较先进的方法进行了对比。实验结果表明,所提方法的平均CIEDE2000色差和平均光谱均方根误差分别降低到1.0389和0.0230,所提方法的光谱重建精度优于当前几种较先进方法的光谱重建精度。