基于局部Gabor二进制模式的高光谱伪装目标图像分类(英文)

为提高光谱伪装目标图像分类精度,提出了一种基于局部Gabor二进制模式(LGBP)的空间分类方法。LGBP作为一种多尺度算法,被用来提取高光谱图像的纹理特征。然后高光谱图像中的每一个像元可以用一个光谱特征向量及一个纹理特征向量表示。通过这种方法,增大类间距离。最后使用多核支持向量机结合光谱信息和空间纹理信息实现对高光谱伪装目标图像的分类。实验证明了该方法的有效性,分类总体精度和Kappa系数分别达到了95.6%和0.937。所提出的方法对于提高分类精度及鲁棒性具有重要意义。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

三维Gabor滤波器与支持向量机的高光谱遥感图像分类

根据高光谱遥感图像的特点及二维Gabor滤波器纹理分割的原理,提出了一种基于三维Gabor滤波器的高光谱遥感图像分类方法。三维Gabor滤波器能够对高光谱遥感图像所有波段同时进行滤波,将大量的图像信息抽取为少量的不同尺寸、方向和波谱的响应,极大减少了高光谱遥感图像纹理信息提取的计算量。利用不同方向和尺寸的三维Gabor滤波器对祁连山黑河流域上游地区的Hyperion影像全波段进行滤波处理,获取26个纹理响应特征,并分析不同纹理对不同地物的区分度。利用自动子空间划分的波段指数(BI)进行波段选择,选取不同的波段组合进行试验,寻找最佳降维幅度。按照纹理对不同地物响应的区分度逐一加入三维Gabor纹理特征,利用三维Gabor纹理辅助光谱信息,运用支持向量机(SVM)的方法进行监督分类。结果表明,基于三维Gabor纹理和自动子空间BI波段选择的SVM分类方法能够在有效降低光谱维数的同时,提高高光谱遥感图像分类的精度和效率。     

Classification of visible and infrared hyperspectral images based on image segmentation and edge-preserving filtering

The classification of hyperspectral images with a few labeled samples is a major challenge which is difficult to meet unless some spatial characteristics can be exploited. In this study, we proposed a novel spectral-spatial hyperspectral image classification method that exploited spatial autocorrelation of hyperspectral images. First, image segmentation is performed on the hyperspectral image to assign each pixel to a homogeneous region. Second, the visible and infrared bands of hyperspectral image are partitioned into multiple subsets of adjacent bands, and each subset is merged into one band. Recursive edge-preserving filtering is performed on each merged band which utilizes the spectral information of neighborhood pixels. Third, the resulting spectral and spatial feature band set is classified using the SVM classifier. Finally, bilateral filtering is performed to remove “salt-and-pepper” noise in the classification result. To preserve the spatial structure of hyperspectral image, edge-preserving filtering is applied independently before and after the classification process. Experimental results on different hyperspectral images prove that the proposed spectral-spatial classification approach is robust and offers more classification accuracy than state-of-the-art methods when the number of labeled samples is small.     

基于分层引导滤波与最近邻正则化子空间的高光谱图像分类

针对高光谱图像中同质异谱现象造成的分类精度较低以及边缘像元在联合空间光谱信息分类时特征易混淆的问题,提出了基于分层引导滤波与最近邻正则化子空间的分类方法.利用主成分分析获得高光谱图像的第一主成分.以第一主成分为引导图像对高光谱图像执行分层引导滤波操作,引导滤波的边缘保护特性,有效阻隔了边缘处类间光谱信息的混淆,并减小了局部区域类内光谱的差异,最后将预处理后的高光谱图像送至最近邻正则化子空间分类器进行分类识别.在Indian Pines,Salinas以及GRSS_DFC_2013高光谱数据集上与现有的方法进行对比实验.结果表明,本文提出的方法在三个数据集上分别取得了98.63%,99.13%与99.42%的总体分类准确率,有着更优的分类精度与可视化效果.     

基于邻域分割的空谱联合稀疏表示高光谱图像分类技术研究

传统的高光谱遥感影像分类算法侧重于光谱信息的应用。随着高光谱遥感影像的空间分辨率的增加,高光谱影像中相同类别的地物在空间分布上呈现聚类特性,将空间特性有效地应用于高光谱遥感影像分类算法对分类精度的提升非常关键。但是,高光谱影像的高分辨率提供空间聚类特性的同时,在不同地物边缘处表现出的差异性更加明显,若不对空间邻域像素进行甄选,直接将邻域光谱信息引入,设计空谱联合稀疏表示进行图像分割,则分类误差较大,收敛速度大大降低。将光谱角引入空谱联合稀疏表示图像分类理论中,提出了一种基于邻域分割的空谱联合稀疏表示分类算法。该算法利用光谱角计算相邻像素的空间相似度,剥离相似度较低的邻域像素,将相似度高的邻域像素定义为同类地物,引入空谱联合稀疏表示模型中,采用子联合空间追踪算子和联合正交匹配追踪算子对其优化求解,以最小重构误差为准则进行分类。选取AVIRIS及ROSIS典型光谱影像数据进行实验仿真,从中可以看出,随着光谱角分割阈值的提高,复杂的高光谱影像分类精度和平滑区域的高光谱影像分类精度均逐步提高,表明邻域分割在空谱联合稀疏表示分类中的必要性。     

基于空-谱约束的中餐馆过程混合模型高光谱图像聚类方法

高光谱图像分类是高光谱研究的重要内容,也是许多其他应用的前提。针对传统高光谱图像分类仅考虑光谱信息而忽略空间信息的问题,对距离依赖的中餐馆模型(distance dependent Chinese restaurant process, ddCRP)进行改进,提出一种基于空-谱约束的中餐馆过程混合模型(spatial-spectral Chinese restaurnt process, ssCRP)用于高光谱图像聚类。该模型充分考虑像素邻域的空间和光谱信息,并将其统一纳入模型的建模及求解过程中,得到一般基于像素的聚类方法无法实现的效果,可在一定程度上满足高光谱图像聚类分析的需求。首先,为利用高光谱图像的空间和光谱信息,定义基于像素空间距离和光谱角的指数衰变函数作为像素间相似性的度量。然后,在考虑像素相似性的基础上利用基于餐桌的构造形式为每个像素确定所在的餐桌。最后,对每张餐桌分配一道菜作为聚类类别,从而达到聚类的目的。利用航空可见-近红外成像光谱仪AVIRIS高光谱影像评估该模型性能,实验结果表明：ssCRP模型可较好地实现高光谱图像的自动聚类,与传统的K-means和ISODATA方法相比,该模型结果斑块规整,“椒盐效应”得到抑制,具有较高的空间一致性,分类精度高,其总体精度达到63.57%,Kappa系数为0.632 3,能很好反映真实地物分布。同时,分类结果的地物间边界清晰,能很好保持图像边缘。     

Stacked sparse autoencoder in hyperspectral data classification using spectral-spatial,higher order statistics and multifractal spectrum features

This paper proposes a novel classification paradigm for hyperspectral image (HSI) using feature-level fusion and deep learning-based methodologies. Operation is carried out in three main steps. First, during a pre-processing stage, wave atoms are introduced into bilateral filter to smooth HSI, and this strategy can effectively attenuate noise and restore texture information. Meanwhile, high quality spectral-spatial features can be extracted from HSI by taking geometric closeness and photometric similarity among pixels into consideration simultaneously. Second, higher order statistics techniques are firstly introduced into hyperspectral data classification to characterize the phase correlations of spectral curves. Third, multifractal spectrum features are extracted to characterize the singularities and self-similarities of spectra shapes. To this end, a feature-level fusion is applied to the extracted spectral-spatial features along with higher order statistics and multifractal spectrum features. Finally, stacked sparse autoencoder is utilized to learn more abstract and invariant high-level features from the multiple feature sets, and then random forest classifier is employed to perform supervised fine-tuning and classification. Experimental results on two real hyperspectral data sets demonstrate that the proposed method outperforms some traditional alternatives.     

Fuzzy inspired image classification algorithm for hyperspectral data using three-dimensional log-Gabor features

In hyperspectral image classification problems, the discriminative efficiency of the classifier depends on the features. To classify the heterogeneous classes present in hyperspectral imagery, biologically inspired models such as log-Gabor features are useful as they exhibit joint spatial-spectral characteristics of each pixel. Log-Gabor features occupy the state-of-the-art hyperspectral research domain for extracting the features at different scales and orientations. In this proposed work, three-dimensional log-Gabor wavelets with different scales and orientations are designed to obtain the complete spatial, spectral and joint spatial-spectral characteristics of individual pixels in the hyperspectral data. Aiming to improve the accuracy, a simple fuzzy inspired algorithm is also proposed. The performance of the proposed algorithm is evaluated and is compared with other existing methods and supremacy is observed. The proposed methods are experimented on airborne visible infrared imaging sensor (AVIRIS) data of Indian Pine Site. The results witness the accuracy of 92.13% even while only 5% of the samples in each class were used for training for 3D log-Gabor features. Fuzzy inspired 3D log-Gabor features produce the accuracy of 93.11% for 5% training samples.     

基于HSI高光谱和TM图像的土地盐渍化信息提取方法

选择黄河三角洲垦利县代表性盐碱化区域为研究区,以2011年3月15日HJ-1A卫星HSI高光谱影像和2011年3月22日TM影像为信息源,经几何纠正、图像裁剪、大气校正等预处理,分析不同盐渍化程度土地、水体、滩涂等主要地类的光谱特征,确定地类信息提取特征波段。结合土壤盐分含量,采用定量与定性相结合规则,构建地类信息提取模型,以决策树分类方法进行图像分类,提取土地盐渍化信息。利用地表点位土壤含盐量数据对地表土地盐渍化程度的化学分析结果,对遥感解译数据进行精度验证,并对高光谱和多光谱影像的分类精度进行比较分析。结果表明：HSI图像的总体分类精度达96.43%,Kappa系数为95.59%,而TM图像的总体分类精度为89.17%,Kappa系数为86.74%,说明相比多光谱TM数据,基于高光谱图像可以更为准确有效地提取土地盐渍化信息;由分类结果图可以看出,高光谱影像土地盐渍化的区分度高于多光谱影像。该研究探索了高光谱图像土地盐渍化信息的提取技术方法,提供了不同盐渍化土地的分布比例数据,可为黄河三角洲滨海盐碱土地资源的科学利用与管理提供决策依据。     

光谱谐波分析的新型HAC非监督分类器

高光谱影像分类是识别影像信息的重要途径之一,研究其算法对地物识别、动态变化监测和专题信息提取等方面具有重要意义。非监督分类由于其具有无须先验知识的特点,被广泛应用于高光谱影像分类。结合谐波分析理论提出一种新的高光谱影像非监督分类算法,即谐波分析分类器(harmonic analysis classifier,HAC)。首先,该算法统计第一谐波分量并绘制其直方图,根据波峰数目及位置确定初始地物类别和聚类中心像元。然后将待分类像元光谱的波形信息映射到谐波分解次数、振幅和相位的特征空间中,利用同类地物在特征空间中表现聚集性这一特征,根据最小距离原则对待分类像元进行归类。最后,计算聚类中心像元间的欧式距离,通过设置距离阈值完成类间合并,从而达到高光谱影像分类的目的。提取两种地物类别的光谱曲线,经谐波分析后得到谐波分解次数、振幅和相位量,并分析其在特征空间中的分布情况验证了HAC算法的正确性。同时将HAC算法应用到EO-1卫星的Hyperion高光谱影像得到其分类结果,通过对比K-MEANS,ISODATA和HAC算法的高光谱影像分类结果,证实HAC算法作为一种非监督分类方法在高光谱影像分类方面具有较好的应用性。     

Active hyperspectral imaging with a supercontinuum laser source in the dark

An active hyperspectral imaging(HSI) system was built with a supercontinuum(SC) laser illuminator and a visible/near-infrared hyperspectral camera, which was used for object spectrum detection in the dark. It was demonstrated that the Gaussian-like distribution of the SC illuminator can still be used for accurate reflectance spectrum measurement once the illuminator was characterized in advance. The validity of active HSI results was demonstrated by comparison with passive results. Then, the active HSI system was used to acquire reflectance spectra of different objects in just one pushbroom measurement successfully. With algorithms of principal component analysis clustering and unsupervised K-means spectral classification, this active HSI system with high spectral and spatial resolutions was demonstrated to be efficient and applicable for specific spectrum detections.     

应用近红外高光谱成像技术检测面粉中偶氮甲酰胺

高光谱成像技术不仅可以获得样品的图像信息,每个像素点还包含了光谱信息,因其信息量丰富的特点已在食品安全检测方面得到了应用。该研究应用近红外高光谱成像技术检测面粉中偶氮甲酰胺。分别采集纯偶氮甲酰胺、纯面粉和面粉中10种不同浓度偶氮甲酰胺混合样品的高光谱图像。通过比较纯偶氮甲酰胺和纯面粉的平均漫发射光谱,找到两者区分度较大的4个吸收波段：1 574.38,2 038.55,2 166.88和2 269.91 nm。采用二阶导数对样品图像中的像素点光谱进行预处理,通过光谱角制图、光谱相关角和光谱相关性度量三种光谱相似性分析方法对混合样品中的偶氮甲酰胺像素和面粉像素进行检测。结果表明,预处理后的平均光谱不能有效检测面粉中偶氮甲酰胺;单像素点光谱结合光谱相似性分析实现了混合样品中偶氮甲酰胺像素和面粉像素的分类;分类结果的验证显示了偶氮甲酰胺像素和面粉像素的正确分类。研究结果为利用高光谱技术检测面粉中添加剂提供了方法支持,为食品中掺杂物的检测提供参考。     

结合光谱图像技术和SAM分类法的甘蓝中杂草识别研究

杂草自动识别技术是实现变量喷洒、精准施药的关键,更是制约其实现的瓶颈,因此,准确、快速、无损地实现杂草自动识别已成为精准农业的一个重要研究方向。利用高光谱成像系统采集甘蓝幼苗及小藜、稗草、牛筋草、马唐和狗尾草等五种杂草在1 000～2 500 nm波长区间的高光谱图像数据,在ENVI中经过MNF变换对数据降噪、去相关,并将波段维数从256维降到11维,通过提取感兴趣区域获得标准光谱,最后利用SAM分类法识别甘蓝与杂草,光谱角弧度阈值为0.1弧度时,分类效果良好。在HSI Analyzer中选择训练像元获得标准光谱后,利用SAM分类法识别甘蓝与杂草,并利用人工分类图与SAM分类图比较定量度量杂草的识别正确率,结果表明,当参数设置为5点平滑、0阶导数和7度光谱角度时,分类效果最佳,杂草识别率为80.0%,非杂草类识别率为97.3%,总体识别率为96.8%。应用光谱图像技术与SAM分类法相结合的方法进行杂草检测,充分利用了光谱和图像的融合信息,该方法应用空间的分类算法来建立光谱判别方法的训练集,在像素级别上考察光谱矢量之间的相似性,融合了光谱和图像两者的优势,同时兼顾了准确性和快速性,并且在整场范围内(行间和行内)改善杂草检测范围,为农业精确管理中需要植物精准信息的应用领域提供了相关的分析手段和方法。     

结合多尺度空间滤波和层级网络的基于结构保持的高光谱特征选择

为了充分利用高光谱图像蕴含的丰富的光谱信息和空间信息,提出了结合多尺度空间滤波和层级网络的基于结构保持的高光谱特征选择算法.算法利用基于l2,1范数的数学模型,选出同时保存全局相似性结构和局部流形结构的特征子集;在多个尺度的窗口中使用双边滤波,自适应计算滤波核,自动在光谱数据中融入空间信息,增强了类内相似性和类间相异性,避免了参量选择;引入层级结构实现空间信息和光谱信息的深入融合,提高了分类准确度;讨论了层级数目和窗口尺度个数对分类准确度的影响.在Indian Pines和PaviaU两个数据集的实验表明,该算法在大部分地物种类上的分类准确度都有较大幅度的提升,总体分类准确度分别达到90.98%和94.20%,相比其他方法明显提高了地物分类准确度.     

A Hyperspectral Image Classification Approach Based on Feature Fusion and Multi-Layered Gradient Boosting Decision Trees

At present, many Deep Neural Network (DNN) methods have been widely used for hyperspectral image classification. Promising classification results have been obtained by utilizing such models. However, due to the complexity and depth of the model, increasing the number of model parameters may lead to an overfitting of the model, especially when training data are insufficient. As the performance of the model mainly depends on sufficient data and a large network with reasonably optimized hyperparameters, using DNNs for classification requires better hardware conditions and sufficient training time. This paper proposes a feature fusion and multi-layered gradient boosting decision tree model (FF-DT) for hyperspectral image classification. First, we fuse extended morphology profiles (EMPs), linear multi-scale spatial characteristics, and nonlinear multi-scale spatial characteristics as final features to extract both special and spectral features. Furthermore, a multi-layered gradient boosting decision tree model is constructed for classification. We conduct experiments based on three datasets, which in this paper are referred to as the Pavia University, Indiana Pines, and Salinas datasets. It is shown that the proposed FF-DT achieves better performance in classification accuracy, training conditions, and time consumption than other current classical hyperspectral image classification methods.     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题。针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题。首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范围的其他像素点的深度信息,采用注意力机制可以针对这一点有效提取图像的像素级全局深度信息关联。其次,基于深度信息关联得到的特征可以考虑为非欧数据,进一步使用图卷积神经网络（graph convolutional neural network, GCN）来进行推理。最后,在训练阶段将连续的深度估计回归问题转化成分类问题,使训练过程更稳定,降低了网络的学习难度。实验结果表明,该方法在红外数据集NUST-SR上获得了良好的效果,在阈值指标小于1.253时,准确率提升了1.2%,相较其他方法更具优势。     

Hyperspectral unmixing based on ISOMAP and spatial information

Several nonlinear techniques have recently been proposed for classification and unmixing applications in hyperspectral image processing. A commonly used data-driven approach for treating nonlinear problems employs the geodesic distances on the data manifold as the property of interest. Although this approach often produces better results than linear unmixing algorithms, the graph-based method treats an image as a bag of spectral signatures and ignores the relationship between the pixel and its spatial neighbors. To utilize the spatial distribution of pixels and improve hyperspectral unmixing precision effectively, a new method is proposed for incorporating nonlinear dimension reduction and spatial information, using isometric mapping (ISOMAP) to find significant low-dimensional structures hidden in high-dimensional hyperspectral data. Spatial information is also introduced into the traditional spectral-based endmember search process. A fully constrained least-squares algorithm is used to evaluate the abundance of each endmember. The experimental results for actual images reveal that the performance of the proposed method obtains much better unmixing results than the classical N-FINDR and ISOMAP algorithms.     

卫星振动频率和振幅对高光谱成像质量影响的仿真分析和实验研究

在星载推扫式高光谱成像仪成像过程中,卫星平台以振动为典型形式的姿态运动会导致探测器上不同的地物信息相互混叠,引起高光谱图像质量的退化。为了更有效地抑制、校正与补偿卫星振动引入的成像误差,针对典型色散型推扫成像光谱仪受平台振动而产生的空间维、光谱维质量退化的机理进行仿真分析和实验研究。通过分析其曝光时间内的光谱混合过程,得到了地物光谱和卫星姿态之间的关系,建立了推扫光谱成像退化模型。该模型综合考虑了不同姿态振动模式的影响,只要给出每个时刻的卫星平台姿态参数,即可通过普适的系数矩阵计算得出每个混合像元的平均混合比,进而获得仿真的退化高光谱数据立方体。详细推导了平均混合比的一般表达形式,对振幅、频率等振动参数对光谱混合的影响分别进行了定量分析。以实际运动状态下拍摄获得的高光谱数据立方体为例,进行了退化仿真和地面模拟运动退化实验,并对退化前后的高光谱数据进行了评价。结果表明,退化仿真和实际退化效果吻合,平均混合比能够直接反映高光谱图像退化的程度;卫星振动造成高光谱图像空间维质量恶化,使不同地物目标的光谱发生了混叠;高光谱数据的退化程度主要由振幅决定,振动频率对退化的影响较小。     

基于STA-CRNN模型的语声情感识别*

语声情感识别对人机交互和情感计算研究领域具有重要作用,各类研究方法层出不穷。近期研究学者应用卷积神经网络和长短期记忆网络方法提取对数Mel谱图空间特征和时间特征,取得了一定的成果。然而不论是卷积神经网络还是长短期记忆网络提取特征时,都会产生特征冗余,导致语声情感识别效果下降。针对这一问题,该文提出了一种基于时空注意力机制的卷积-递归神经网络模型,采用对数Mel谱图和其一阶差分、二阶差分作为特征输入,在使用卷积神经网络提取空间特征和长短期记忆网络提取时间特征时,加入空间注意力和时间注意力机制,从而使上述网络能够更好地提取到对数Mel谱图中有效表征情感的空间特征和时间特征。该模型在Emo-DB和IEMOCAP语声数据集上的加权准确率分别达到86.8%、69.4%,未加权准确率分别达到84.7%、65.5%,优于当前大多数先进方法。