融合全局和局部深度特征的高分辨率遥感影像场景分类方法

提出了一种融合全局和局部深度特征(GLDFB)的视觉词袋模型。通过视觉词袋模型将深度卷积神经网络提取的多个层次的高层特征进行重组编码并融合,利用支持向量机对融合特征进行分类。充分利用包含场景局部细节信息的卷积层特征和包含场景全局信息的全连接层特征,完成对遥感影像场景的高效表达。通过对两个不同规模的遥感图像场景数据集的实验研究表明,相比现有方法,所提方法在高层特征表达能力和分类精度方面具有显著优势。     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.     

基于特征融合的遥感图像舰船目标检测方法

针对常用的目标检测算法对遥感图像中的舰船目标进行检测时存在检测精度与实时性兼顾不佳的问题,提出了基于特征融合的遥感图像舰船目标检测算法来检测复杂场景下的多尺度舰船目标.该算法以多尺度单发射击检测框架为基础,增加反卷积特征融合模块和池化特征融合模块,增强网络特征提取的能力.同时设计聚焦分类损失函数来解决训练过程中正负样本失衡的问题.在高分遥感舰船目标数据集上的实验结果表明,所提方法能够有效地增强复杂场景下舰船目标的检测精度.此外,该算法对遥感图像中的模糊舰船目标的检测效果也优于多尺度单发射击检测框架.     

基于光谱响应函数的遥感图像融合对比研究

遥感图像融合是一个十分重要的问题,目前已出现了很多融合方法.一些现有方法可以从高空间分辨率全色数据中提取细节特征,并注入到低空间分辨牢多光谱数据中,同时尽可能保持多光谱数据的光谱特性.现有方法一般都不能利用遥感成像系统的物理信息,因此可能导致融合结果发生严重的光谱扭曲.该文采用适当的遥感图像融合模型对图像融合问题进行分解,将融合问题归结为空间细节调制参数构建与空间细节信息提取两个子问题,在对传感器光谱响应函数(SRF)的分析基础上,构建合理的空间细节调制参数.依据对现有方法的分类,文章将三种基于SRF的空间细节调制参数构建方法,与高斯高通滤波提取的空间细节信息结合,产生三种基于SRF的遥感图像融合方法.这些方法在Ikonos数据上进行了试验和分析,并与GS和HPM方法进行对比.     

基于词向量一致性融合的遥感场景零样本分类方法

遥感场景类别的语义词向量与图像特征原型的距离结构不一致问题,严重影响遥感场景零样本分类效果。针对该问题,利用不同词向量间一致性,提出一种基于解析字典学习的语义词向量融合方法,以提升遥感场景零样本分类效果。首先,采用解析字典学习方法,提取场景类别的不同词向量的公共稀疏系数,并作为融合后的语义词向量;然后,同样采用解析字典学习方法,将场景类别的图像特征原型嵌入到融合后的词向量空间,与融合后的词向量进行结构对齐,降低距离结构的不一致性;最后,通过联合优化获得未知类的图像特征空间类别原型表示,并采用最近邻分类器完成未知类别遥感场景的分类。在3种遥感场景数据集和多种语义词向量上进行定量和定性实验。实验结果表明,通过词向量融合可以获得与图像特征原型结构更一致的语义词向量,从而显著提升遥感场景零样本分类的准确度。     

融合多尺度特征的短时音频场景识别方法EI北大核心CSCD

为解决短时音频场景识别任务中识别性能差的问题,提出一种融合多尺度特征的音频场景识别方法。首先将双声道音频中左右声道的和差作为输入,并使用长时帧长进行分帧处理,以保证提取出的帧级特征中包含足够多的音频信息。然后将特征逐帧输入到融合多尺度特征的一维卷积神经网络中,以充分利用网络中不同尺度的浅层、中层和深层嵌入特征。最后综合所有帧级软标签得到短时音频的场景分类结果。实验结果表明,该方法在国际声学场景和事件检测与分类挑战赛(DCASE) 2021短时音频场景数据集上的准确率为79.02%,实现了该数据集上目前为止的最优性能。     

基于图像特征融合的遥感场景零样本分类算法

利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。     

基于有监督对比学习的遥感图像场景分类

针对遥感场景图像中复杂背景以及类内多样性和类间相似性影响场景分类性能的问题,提出一种基于有监督对比学习的遥感场景分类方法。该方法包含判别性特征学习和线性分类两个阶段。在判别性特征学习阶段,引入有监督对比损失以拉近同类场景间的距离并增大不同类场景间的距离,提高类内多样性和类间相似性场景的判别能力;然后引入门控自注意模块对无用的背景信息进行过滤且聚焦关键场景区域,提高复杂背景的场景识别;最后引入一个预训练的Inception V3语义分支,把语义分支和原始模型提取的特征进行融合增强特征判别能力,以提高场景分类的整体性能。线性分类阶段通过对特征学习阶段训练的模型进行微调获得分类结果。在AID和NWPU-RESISC45数据集上的综合实验证明了所提方法的有效性。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

面向嵌入式平台的轻量级光学遥感图像舰船检测

针对现有基于深度学习的轻量级目标检测算法对复杂遥感场景图像中舰船目标检测精度低、检测速度慢的问题,提出了一种面向嵌入式平台的轻量级光学遥感图像舰船实时检测算法（STYOLO）。首先,针对主干网络内存访问成本较高的问题,利用高效网络架构ShuffleNet v2作为主干网络对图像进行特征提取,降低内存访问成本,提高网络并行度;其次,利用Slim-neck特征融合结构作为特征增强网络,以融合较低层级特征图中的细节信息,增强对小目标的特征响应,在多尺度信息融合区域施加坐标注意力机制,强化目标关注以提高较难样本检测以及抗背景干扰能力;最后,提出一种跨域迁移和域内迁移相结合的学习策略,减少源域与目标域的差异性,提升迁移学习效果。实验结果表明：基于光学遥感图像舰船检测公开数据集HRSC2016,与同类型快速检测算法YOLOv5s相比,所提算法的检测精度提高了2.7个百分点,参数量减少了61.77%,在嵌入式平台Jetson Nano上检测速度达到102.8 frame/s,能够有效实现对光学遥感图像中舰船目标的实时、准确检测。     

基于Contourlet域隐马尔可夫树模型的图像融合算法

针对多尺度几何变换统计信号处理这一领域的优势,提出一种基于Contourlet域隐马尔可夫树模型的图像融合算法.由于Contourlet变换能克服小波变换在处理高维信号时的不足,它比小波变换具有更好的方向性、较高的逼近精度和更好的稀疏表达性能.而隐马尔可夫树模型能有效捕获尺度间、尺度内的Contourlet系数特性.因此将Contourlet域隐马尔可夫树模型应用于图像融合领域,能充分挖掘数据之间的相关性,更好的提取图像边缘特征,为融合提取更多的特征信息.实验结果表明基于Contourlet域隐马尔可夫树图像融合算法获得的融合图像视觉效果良好,是一种有效且可行的融合算法.     

基于形态学空间特征的高光谱遥感图像分类方法

传统的高光谱图像分类主要是基于像素的光谱特征,在一定程度上忽略了高光谱遥感图像中像素之间的空间相关性。为了充分利用高光谱图像中的空间信息,提出了一种基于加权多结构元素无偏差形态学的空间特征提取方法,并基于形态学的多尺度特征和结构保持性提出了基于邻域的多尺度空间特征提取方法,得到了高光谱遥感图像的空间特征。对k-NN分类算法进行改进,提出了基于变精度粗糙集和重构误差的k-NN分类算法,实现了基于空间特征的高光谱遥感图像分类。在两个不同的高光谱遥感图像的实验验证了基于空间特征和改进k-NN分类算法的性能。     

基于局部保持的遥感场景零样本分类算法

目标域遥感图像特征分布的变化,导致遥感场景零样本分类性能下降,针对该问题,提出一种基于局部保持的遥感场景零样本分类算法。首先,为减少冗余信息,采用解析字典学习方法,将源域中的场景图像特征和类别语义词向量嵌入到同一稀疏编码空间,并实现两者稀疏系数的强制对齐,以建立图像特征与词向量之间的关系;然后,通过保留图像特征空间中场景图像间的局部近邻关系,增强场景图像对应稀疏系数的鉴别性,以有助于对稀疏系数进行聚类分析;最后,为适应目标域图像特征分布变化,采用k-means算法对目标域场景图像的稀疏系数进行聚类,并以初始中心的类别标签作为对应的聚类簇中场景的类别标签。实验分别采用GoogLeNet和VGGNet图像特征,以数据集UCM作为源域遥感场景集,对目标域场景集RSSCN7进行零样本分类,获得了最高50.67%和53.29%的总体分类准确度,比现有算法各提升了8.06%和9.70%。实验结果表明:该算法能够适应目标域遥感场景图像特征分布的变化,显著提升遥感场景零样本分类效果,具有一定的优越性。     

一种光谱与纹理特征加权的高分辨率遥感纹理分割算法

高分辨率遥感影像呈现极其丰富的光谱和结构信息,传统的基于光谱的遥感影像分割方法往往使得分割区域过于细碎且分割精度不高.尝试将纹理信息引入到特征空间以期解决该问题.本文算法中,特征空间由光谱和纹理两类构成,并采用加权最小距离分类器.光谱信息通过对原始影像的变带宽均值漂移滤波获得,纹理信息由对原始影像逐波段采用多尺度伽博(Gabor)滤波器组滤波获得;依据训练样区中各特征维的方差确定该地物类别分类时特征维的权重,并通过训练样区的特征加权平均获得各地物类别的聚类中心;最后,将像素点归为到加权聚类中心距离最小的类别.实验结果表明,提出的均值漂移带宽确定方法是有效的,加权融合算法较基于光谱的分割方法在分割精度上有一定程度的提高.     

基于GAN的半监督遥感图像场景分类

针对遥感图像背景复杂及有监督场景分类算法无法利用无标签数据的问题,提出一种基于生成对抗网络的半监督遥感图像场景分类方法.首先,引入谱归一化残差块代替传统生成对抗网络中的二维卷积,利用残差块的跳跃连接解决梯度消失问题;其次,引入特征融合思想,将浅层特征与深层特征进行融合,从而减少特征损失;最后,在生成对抗网络的判别器中加...     

无人机多光谱影像的小麦倒伏信息多特征融合检测研究

为探究多特征融合方法在作物倒伏领域快速精准识别中的适用性,利用无人机获取多田块冠层尺度的不同倒伏率麦田多光谱数据,对原始倒伏图像进行图像拼接、辐射校正、几何校正等预处理,并利用重归一化差值植被指数和阴影指数分别剔除土壤和阴影背景,提取小麦倒伏DSM模型和植被指数分别与多光谱图像进行多特征图像主成分变换融合,筛选差异性较大的纹理特征,采用支持向量机(SVM)、人工神经网络(ANN)和最大似然法(MLC)监督分类模型对多光谱和DSM融合图像、多光谱和归一化植被指数(NDVI)融合图像、多光谱图像和纹理特征图像进行监督分类,并采用总体精度(OA)、 Kappa系数和提取误差综合评价各监督模型的分类性能和倒伏提取精度。分类结果表明：各监督分类方法在不同倒伏区域提取结果建模效果趋势一致,SVM和ANN整体提取精度高于MLC,在高倒伏区域,多光谱与NDVI融合图像的SVM监督模型(OA:92.63%, Kappa系数：0.85,提取误差：1.11%)提取效果最好;在中倒伏区域,多光谱与DSM融合图像的SVM监督模型(OA:90.35%, Kappa系数：0.79,提取误差：9.34%)提取效果最好...     

基于核映射多光谱特征融合的高光谱遥感图像分类法

多光谱遥感图像的波段设定在理论和实践上都极具地物针对性,在更有效的数据挖掘方法帮助下可以提取足够的光谱特征以区分地物,本文将光谱匹配技术用于相似性度量,以提高分类准确度.首先选定光谱角制图、光谱相关制图、Mahalanobis距离、光谱相似度和光谱信息差异做为光谱度量;随后选择高斯核函数,在选定核函数之后,得到了核映射下的光谱特征度量来挖掘高光谱遥感数据的光谱特征.最后采用核映射多光谱特征融合法对多光谱遥感图像光谱特征的相似性进行描述,得到基于核映射多光谱特征融合的高光谱遥感图像分类算法.使用MATLAB中的LIBSVM工具箱对AVIRIS高光谱遥感数据进行分类实验,并与已有算法进行对比,结果表明本文提出的算法具有较高的分类准确度和性能.     

基于改进Swin transformer的遥感图像融合方法

针对现有基于transformer的方法未能充分融合遥感图像多尺度特征的问题,提出一种多光谱-全色融合网络。在融合网络中嵌入一个基于改进Swin transformer的多尺度窗口自注意力模块,在关注全局空间特征的同时,充分融合不同尺寸的特征信息,从而最大程度地保留光谱和空间结构信息。通过不同层级特征的跳跃连接,解码网络预测出原始多光谱图像缺失的纹理部分,最终使用细节注入模型恢复出目标图像。为了提升融合效果,在损失函数中加入了光谱损失和空间结构损失。与其他方法相比,本文提出的方法在WorldView-4、QuickBird和WorldView-2三种卫星数据集的主观视觉效果最好,相比于性能第二的方法,本文方法在三种数据集的相对全局误差指标分别减小了11.99%、0.4%和3.43%。     

基于加权特征融合的多尺度遥感影像分类

针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征,会丢失部分细节信息,且对小样本任务表现一般的问题,本文提出了一种三支路的3D CNN,从不同尺度上提取特征后进行加权特征融合,从而获取了更为全面的特征;并引入数据增强技术,从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接,本文采用加权拼接的特征融合方法,将各特征分别乘以一个加权系数后再进行拼接,该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练,分别得到了98.60%、99.83%、99.97%的总体准确率,与各类对比方法相比,提升了高光谱遥感影像分类问题的准确率。