高光谱数据基于流形的半监督特征选择

传统的高光谱数据特征选择方法分为监督和无监督模式,然而在高光谱数据实际处理中,大量无标记和少量有标记数据并存.此外,传统方法忽视了真实数据嵌入在高维空间中的流形结构.本文提出一种基于流形的半监督特征选择算法,定义一个合理的特征评判准则,考虑标记样本的先验信息以及高维数据局部和非局部结构的不变特性.通过对标记数据类间方差和类内方差的极大化和极小化,优化数据的判别结构;同时通过构建局部graph和非局部graph,挖掘高维数据的流形结构.然后,选择一组有效的特征子集,实现高维数据的特征选择.最后,通过对特征选择后的真实高光谱数据进行分类实验,结果显示本文方法可以很好地对高光谱数据实现降维并且保留数据的主要结构.     

基于半监督稀疏多流形嵌入的高光谱影像分类

提出了一种半监督稀疏多流形嵌入方法,并应用于高光谱影像分类.该方法充分利用少量标记和大量无标记样本,采用稀疏表示方法得到样本的稀疏系数,并选取来自同一流形的点作为近邻点,然后构建相似图来表征多流形结构,得到样本在每个流形上低维鉴别特征,增加来自同一流形的数据点聚集性,进而提升分类性能.本文方法在PaviaU和Salinas两个高光谱数据集上的总体分类准确度分别达到84.91%和89.74%,相较于其他方法明显提高了地物分类性能.     

基于t-SNE的恒星光谱降维与分类研究

随着天文学的发展以及天文望远镜观测能力的提升,国内外许多大型巡天望远镜将产生PB级的恒星光谱数据。恒星光谱是来自恒星的电磁辐射,通常由连续谱与吸收线叠加而成,其差异源于恒星的有效温度、表面重力加速度以及元素的化学丰度等。恒星光谱自动分类是天文数据处理的一项重要研究内容,是研究恒星演化和参数测量的基础。海量的恒星光谱对分类方法提出了高效、准确的要求。传统的人工分类方法存在速度慢、精度低等缺点,已经无法满足海量恒星光谱特别是低信噪比恒星光谱自动分类的实际需要,机器学习算法目前已经被广泛地应用于恒星光谱分类。恒星光谱的一个显著特征是数据维度较高,降维不但可以实现特征提取,而且可以降低计算量,是光谱分类的首要任务。传统的线性降维方法如主成分分析仅依据方差对光谱进行降维,不同类型的光谱在投影到低维特征空间后会出现交叉现象,而流形学习能够产生优良的分类边界,很好地避开重叠,有利于后续的分类。针对光谱数据维度较高的特点,研究了光谱数据在高维空间内的分布以及流形学习对高维线性数据降维的原理,比较了t-SNE和主成分分析两种降维方法对光谱数据降维的效果,并使用基于属性值相关距离的改进的K近邻算法进行光谱分类,最终对实验结果进行了分析并使用多种机器学习分类器进行比较和验证。采用Python语言及Scikit-learn第三方库实现了算法,对SDSS的12 000条低信噪比的恒星光谱进行实验,最终实现了光谱数据的高精度自动处理和分类。实验结果表明,对于光谱数据的降维处理,基于流形学习的t-SNE方法能够在高维光谱数据中恢复低维流形结构,即找出高维空间中的低维流形,并解出与之对应的嵌入映射,在降维过程中最大程度地保留不同类别光谱样本之间的差异从而产生明显的分类边界。特征提取后,使用机器学习分类器能够在测试数据集上达到满意的分类准确率。所使用的方法也可以应用于其他的巡天望远镜产生的海量光谱的自动分类以及稀少天体的数据挖掘。     

三维Gabor滤波器与支持向量机的高光谱遥感图像分类

根据高光谱遥感图像的特点及二维Gabor滤波器纹理分割的原理,提出了一种基于三维Gabor滤波器的高光谱遥感图像分类方法。三维Gabor滤波器能够对高光谱遥感图像所有波段同时进行滤波,将大量的图像信息抽取为少量的不同尺寸、方向和波谱的响应,极大减少了高光谱遥感图像纹理信息提取的计算量。利用不同方向和尺寸的三维Gabor滤波器对祁连山黑河流域上游地区的Hyperion影像全波段进行滤波处理,获取26个纹理响应特征,并分析不同纹理对不同地物的区分度。利用自动子空间划分的波段指数(BI)进行波段选择,选取不同的波段组合进行试验,寻找最佳降维幅度。按照纹理对不同地物响应的区分度逐一加入三维Gabor纹理特征,利用三维Gabor纹理辅助光谱信息,运用支持向量机(SVM)的方法进行监督分类。结果表明,基于三维Gabor纹理和自动子空间BI波段选择的SVM分类方法能够在有效降低光谱维数的同时,提高高光谱遥感图像分类的精度和效率。     

高光谱成像的垃圾分类识别研究

高光谱成像因光谱分辨率高、图谱合一、可实现快速无损检测等特点现已广泛应用于农业、医学、遥感等领域。现有的对可回收生活垃圾检测与分类的方法,都存在检测时间长,分类效率低,而大量多种垃圾无法同时快速分拣等问题。考虑到不同类别的生活垃圾由于其主要组成分子结构的差异,对不同波长的光有不同的吸收特性。高光谱图像在记录待分类垃圾的空间信息的同时,可以获得垃圾对不同波长的光的反射率光谱信息,通过建立识别分类模型对反射率光谱信息进行分析可以实现对高光谱图像中待分类垃圾的识别与分类。收集常见纸质、塑料、木质三种材料的可回收的垃圾样本,包括塑料瓶、食品包装袋、塑料玩具(饰品)碎片、一次性筷子、雪糕棒、木制家具碎片、木制包装盒、废旧课本、广告纸、办公用纸等多种物品共30个样本,进行清洗和裁剪处理,避免样本表面污渍对样本反射率产生影响。利用高光谱成像系统采集样本在近红外(780～1 000 nm)范围内的高光谱图像,其中18个样本做训练样本集,12个样本做测试样本集。对采集的样本图像数据做预处理,包括去噪声以及黑白校正反演反射率信息等处理;通过主成分分析(PCA)方法对训练样本集感兴趣区域(ROI)进行分析,提取到的特征波段为795.815,836.869,885.619,916.409,929.239,934.37,957.463,972.858和988.253 nm;在特征波段下分别提取这三种类别垃圾的参考光谱,通过光谱角度填图法(SAM)对测试样本ROI区域内提取的测试样本点集在特征波段下与参考光谱进行匹配,由匹配程度进行样本点归类,分析结果表明,测试样本集中纸制样本(A类别)、塑料样本(B类别)、木制样本(C类别)的分类准确度分别为100%,98%和100%,测试样本点集整体的分类准确度为99.33%;通过Fisher判别方法分析训练样本集得出判别函数式和判别准则,对测试样本点集分类,评价结果为A,B和C类样本分类准确度分别为100%,100%和97%,测试样本点集整体分类准确度为99%。通过SAM和Fisher两种判别方法对测试样本集的光谱图像进行目标物的检测与分类,结果表明,利用SAM判别方法在可回收垃圾的高光谱图像中实现检测与分类有更高的分类准确度,可达到99.33%。同时,也验证了使用高光谱成像进行可回收垃圾快速分类的科学性以及可行性,对未来系统化、机械化、智能化地解决生活中可回收垃圾的分类具有一定的实用意义。     

基于高光谱散射图像技术的UVE-LLE苹果粉质化分类

利用高光谱散射图像技术研究了苹果的粉质化无损检测.提出了一种无信息变量消除法和局部线性嵌入相结合的苹果粉质化分类的新方法.经无信息变量消除法筛选后的波段降为全谱的23.5%.将波段选择后的原始图像数据用局部线性嵌入降维作为偏最小二乘判别分析的输入变量并建模.无信息变量消除法与局部线性嵌入相结合算法和局部线性嵌入降维方法得到的粉质化分类测试准确度分别是79.0%和79.0%|无信息变量消除法与平均反射法相结合和平均反射法特征提取得到的是77.4%和75.8%.结果表明,无信息变量消除法与局部线性嵌入想结合的方法可以大大地降低高光谱散射图像的数据量,同时保证了分类准确度,为在线检测、分类和高光谱数据的存储提供了一种实时、有效的方法.     

结合多尺度空间滤波和层级网络的基于结构保持的高光谱特征选择

为了充分利用高光谱图像蕴含的丰富的光谱信息和空间信息,提出了结合多尺度空间滤波和层级网络的基于结构保持的高光谱特征选择算法.算法利用基于l2,1范数的数学模型,选出同时保存全局相似性结构和局部流形结构的特征子集;在多个尺度的窗口中使用双边滤波,自适应计算滤波核,自动在光谱数据中融入空间信息,增强了类内相似性和类间相异性,避免了参量选择;引入层级结构实现空间信息和光谱信息的深入融合,提高了分类准确度;讨论了层级数目和窗口尺度个数对分类准确度的影响.在Indian Pines和PaviaU两个数据集的实验表明,该算法在大部分地物种类上的分类准确度都有较大幅度的提升,总体分类准确度分别达到90.98%和94.20%,相比其他方法明显提高了地物分类准确度.     

基于去噪降维和蝙蝠优化的高光谱图像盲解混算法

为解决盲源分离技术难以直接用于高光谱图像解混这一问题,将丰度非负及和为1约束作为盲源分离的目标函数,改变传统的独立性假设;同时,针对目标函数中具有大量的局部极小,引入蝙蝠优化算法,解决传统梯度类优化算法易陷入局部极值的问题.在降维过程中,提出一种基于奇异值分解去噪的正交子空间投影的降维方法.仿真数据和真实遥感数据实验表明,所提出算法收敛速度和解混准确度高,具有较强的抗噪声干扰能力,适用于像元纯度很低的高光谱图像解混.     

基于分类器集成的高光谱遥感图像分类方法

高光谱遥感图像为地物的精确分类带来了机遇,但也面临着一些挑战,高光谱遥感图像分类中所面临的一个挑战是如何处理高的光谱维数和小的样本数目之间的矛盾,目前几乎全部采用降维方法来缓解这一矛盾。集成学习的出现和选择性集成概念的提出为解决这一问题提供了新的研究思路,基于这一思想提出了基于波段分组和分类器集成的方法。在高光谱遥感图像的原始光谱空间根据波段之间的相似性信息对光谱波段进行分类,从每类中随机抽取一个波段形成新的光谱组,并依靠限制不同光谱组中相同波段的数目增加不同光谱组之间的差异程度,将新的光谱组作为训练分类器的特征子集,在特征子集训练最大似然分类器,使用简单的多数投票法合成得到最终的集成分类器。实验结果表明,使用基于波段分组和分类器集成的方法可以得到更高的分类精度。     

基于自适应参数支持向量机的高光谱遥感图像小目标检测

针对高光谱遥感图像的小目标检测问题,提出了一种基于自适应参数支持向量机(SVM)的检测方法。采用主成分分析(PCA)法对高光谱遥感图像进行降维,降低数据冗余度;之后通过无监督检测方法对小目标进行快速、粗糙定位,并将该定位结果作为后验信息输入到SVM中;依据后验信息与核空间散度准则自适应确定SVM中核函数的参数,并使用SVM在核空间中寻找分离目标和背景的最佳超平面;利用该超平面将像元重新分类为背景和目标,并且迭代上述操作,得到精确且稳定的目标检测结果。大量实验结果表明,与经典RX方法、核RX方法、支持向量数据描述(SVDD)方法相比,该方法可以更有效、精确地检测出高光谱遥感图像中的小目标。     

Shrinkage-divergence-proximity locally linear embedding algorithm for dimensionality reduction of hyperspectral image

Existing manifold learning algorithms use Euclidean distance to measure the proximity of data points. However, in high-dimensional space, Minkowski metrics are no longer stable because the ratio of distance of nearest and farthest neighbors to a given query is almost unit. It will degrade the performance of manifold learning algorithms when applied to dimensionality reduction of high-dimensional data. We introduce a new distance function named shrinkage-divergence-proximity (SDP) to manifold learning, which is meaningful in any high-dimensional space. An improved locally linear embedding (LLE) algorithm named SDP-LLE is proposed in light of the theoretical result. Experiments are conducted on a hyperspectral data set and an image segmentation data set. Experimental results show that the proposed method can efficiently reduce the dimensionality while getting higher classification accuracy.     

基于高光谱图像技术的苹果粉质化LLE-SVM分类

苹果粉质化程度是衡量其内部品质的一个重要因素,采用了高光谱散射图像技术进行苹果粉质化的无损检测。针对高光谱散射图像数据量大的特点,提出了局部线性嵌入(local linear embedded,LLE)和支持向量机(support vector machine,SVM)相结合的用于检测苹果粉质化的新分类方法。LLE是一种通过局部线性关系的联合来揭示全局非线性结构的非线性降维方法,能有效计算高维输入数据在低维空间的嵌入流形。对降维后的高光谱数据采用SVM进行分类。将LLE-SVM分类方法与传统的SVM分类方法比较,仿真结果表明,对高光谱数据而言,用LLE-SVM得到的训练精度高于单纯使用SVM的训练精度;降维前后,分类器的测试精度变化不大,波动范围不超过5%。LLE-SVM为高光谱散射图像技术进行苹果粉质化无损检测提供了一个有效的分类方法。     

基于密集卷积和域自适应的高光谱图像分类

针对常规的高光谱图像分类算法不能很好地解决不同图像中的频谱偏移的问题,提出了一种基于密集卷积和域自适应的高光谱图像分类算法,首先在源域中使用密集卷积进行深度特征学习,然后应用域自适应技术转移到目标域。目前的域自适应高光谱图像分类框架中常用卷积神经网络进行特征学习,但是当深度增加时会出现因梯度消失而导致分类精度下降的情况,因此本文通过引入密集卷积进行深度特征学习,提高域自适应高光谱图像分类的精度。在Indiana高光谱数据集和Pavia高光谱数据集上验证所提算法的有效性,整体分类精度分别为61.06%和89.63%,与其他域自适应高光谱图像分类方法对比,所提方法具有更好的分类精度。     

半透射高光谱结合流形学习算法同时识别马铃薯内外部缺陷多项指标

针对马铃薯内外部缺陷多项指标难以同时识别的问题,提出了一种半透射高光谱成像技术采用流形学习降维算法与最小二乘支持向量机(LSSVM)相结合的方法,该方法可同时识别马铃薯内外部缺陷的多项指标。试验以315个马铃薯样本为研究对象,分别采集合格、外部缺陷(发芽和绿皮)和内部缺陷(空心)马铃薯样本的半透射高光谱图像,同时为了符合生产实际,将外部缺陷马铃薯的缺陷部位以正对、侧对和背对采集探头的随机放置方式进行高光谱图像采集。提取马铃薯样本高光谱图像的平均光谱(390~1 040 nm)进行光谱预处理,然后分别采用有监督局部线性嵌入(SLLE)、局部线性嵌入(LLE)和等距映射(Isomap)三种流形学习算法对预处理光谱进行降维,并分别建立基于纠错输出编码的最小二乘支持向量机(ECOC-LSSVM)多分类模型。通过分析和比较建模结果,确定SLLE为最优降维算法,SLLE-LSSVM为最优马铃薯内外部缺陷识别模型,该方法对测试集合格、发芽、绿皮和空心马铃薯样本的识别率分别达到96.83%,86.96%,86.96%和95%,混合识别率达到93.02%。试验结果表明：基于半透射高光谱成像技术结合SLLE-LSSVM的定性分析方法能够同时识别马铃薯内外部缺陷的多项指标,为马铃薯内外部缺陷的快速在线无损检测提供了技术参考。     

Hyperspectral unmixing based on ISOMAP and spatial information

Several nonlinear techniques have recently been proposed for classification and unmixing applications in hyperspectral image processing. A commonly used data-driven approach for treating nonlinear problems employs the geodesic distances on the data manifold as the property of interest. Although this approach often produces better results than linear unmixing algorithms, the graph-based method treats an image as a bag of spectral signatures and ignores the relationship between the pixel and its spatial neighbors. To utilize the spatial distribution of pixels and improve hyperspectral unmixing precision effectively, a new method is proposed for incorporating nonlinear dimension reduction and spatial information, using isometric mapping (ISOMAP) to find significant low-dimensional structures hidden in high-dimensional hyperspectral data. Spatial information is also introduced into the traditional spectral-based endmember search process. A fully constrained least-squares algorithm is used to evaluate the abundance of each endmember. The experimental results for actual images reveal that the performance of the proposed method obtains much better unmixing results than the classical N-FINDR and ISOMAP algorithms.     

高光谱图像和叶绿素含量的水稻纹枯病早期检测识别

基于高光谱成像技术和化学计量方法,实现了对水稻纹枯病病害的早期检测识别。以幼苗时期的水稻植株为研究对象,对其进行纹枯病病菌侵染,获得染病植株,采集358～1 021 nm波段范围的高光谱图像,三次实验共240个样本,包括染病植株120个样本和健康植株120个样本。根据高光谱图像的光谱维,对染病水稻叶片和健康水稻叶片提取感兴趣区域（ROI）,利用感兴趣区域的光谱数据,对其进行Savitzky-Golay（SG）平滑、Savitzky-Golay（SG）一阶求导、Savitzky-Golay（SG）二阶求导、变量标准化（SNV）和多元散射校正（MSC）预处理,建立线性判别分析（LDA）和支持向量机（SVM）分类模型,结果表明：采用SG二阶求导预处理后的线性判别分析（LDA）模型取得了较好的性能,正确识别率在建模集达98.3%,在预测集达95%;利用载荷系数法（x-loading weights, x-LW）对原始光谱和5种预处理的光谱数据进行特征波长提取,然后根据选取的特征波长建立线性判别分析（LDA）和支持向量机（SVM）分类模型,其中采用SG二阶求导预处理后提取的12个特征波长的线性判别分析（LDA）模型取得了较好的性能,其正确识别率在建模集达97.8%,在预测集达95%,而且基于载荷系数法建立的模型性能与全波段相当,可以通过载荷系数法减少数据量对水稻纹枯病病害进行识别;根据高光谱图像的图像维,研究了基于图像主成分分析、基于概率滤波和基于二阶概率滤波的图像特征提取方法,利用提取的特征变量建立反向传播神经网络(BPNN)和支持向量机（SVM）分类模型,其中基于图像主成分分析的反向传播神经网络（BPNN）模型取得了较好的性能,建模集准确识别率达90.6%,预测集的准确识别率达83.3%;根据高光谱图像光谱维和图像维的最优模型,特将叶绿素含量作为建模的另一个特征,分别与光谱特征、图像特征组合,建立反向传播神经网络（BPNN）和线性判别分析（LDA）模型,提出基于光谱特征加叶绿素含量、图像特征加叶绿素含量和光谱、图像特征加叶绿素含量三种组合方式,其中,光谱特征和图像特征分别与叶绿素组合的方式比之前单独的光谱和图像特征建模性能都有所提升,而且三种组合方式中光谱特征加叶绿素含量的反向传播神经网络（BPNN）建模方式取得本研究所有建模方式中较优的性能,其准确识别率在建模集达100%,在预测集达96.7%。以上研究表明,基于高光谱图像和叶绿素含量对水稻纹枯病病害进行早期识别是可行的,为水稻病害的早期识别提供了一种新方法。     

直接校正算法的柑橘溃疡病高光谱模型传递

针对目前所建立的柑橘溃疡病高光谱模型普适性差、预测精度低的问题,提出了基于不同仪器间高光谱模型传递来提高模型稳健性的方法。以脐橙52和卡拉卡拉红肉脐橙为研究对象,利用实验室高光谱成像平台(System 1, S1)和便携式高光谱成像仪(System 2, S2)采集了健康和染病柑橘的高光谱图像,建立了独立的柑橘溃疡病判别模型,并分析了不同预处理方法和判别模型对模型预测性能的影响。将S1和S2分别作为源机和目标机,利用直接校正算法对目标机获取的高光谱图像进行校正,分析模型传递前后的模型判别能力。结果表明,采用二阶导数预处理,极限学习机预测性能最佳,基于S1和S2检测的预测集识别率分别为97.5%和98.3%;以S1数据建立主模型,对经直接校正算法校正后的S2高光谱图像进行识别,预测集的识别率从校正前的38.1%提高到了86.2%。说明该方法可用于不同型号高光谱成像仪之间的定标模型传递,对于建立稳健可靠的柑橘溃疡病判别模型具有重要意义。     

基于正交投影散度的高光谱遥感波段选择算法

由于高光谱数据的海量高维特征,对其进行降维处理成为高光谱遥感研究的一个重要问题.波段选择算法由于能够有效地保留原始数据的信息,在高光谱数据降维及后续的遥感识别与分类等方面具有明显的优越性.文章提出了一种基于正交投影散度(OPD)的波段选择方法,该方法继承了正交子空间投影(OSP)算法的特点,通过把原始数据投影到特征空间...     

基于流形学习的单类分类算法及其在不均衡声目标识别中的应用

针对数据不均衡条件下的目标识别性能下降问题,首先讨论了目标声信号所包含低维流形的特点,在此基础上设计了基于流形学习的单类分类算法,通过比较测试样本与正类样本在流形上的符合程度判决其是否属于正类。将此分类算法应用于包含不均衡数据的声目标识别,三组不同环境和识别目标的实验数据集测试结果显示该算法可以有效地从多种目标中识别特定类别目标,与其他单类分类算法相比,提高数据不均衡条件下的识别性能,并对样本的混叠分布具有较好的鲁棒性。