基于t-SNE的恒星光谱降维与分类研究

随着天文学的发展以及天文望远镜观测能力的提升,国内外许多大型巡天望远镜将产生PB级的恒星光谱数据。恒星光谱是来自恒星的电磁辐射,通常由连续谱与吸收线叠加而成,其差异源于恒星的有效温度、表面重力加速度以及元素的化学丰度等。恒星光谱自动分类是天文数据处理的一项重要研究内容,是研究恒星演化和参数测量的基础。海量的恒星光谱对分类方法提出了高效、准确的要求。传统的人工分类方法存在速度慢、精度低等缺点,已经无法满足海量恒星光谱特别是低信噪比恒星光谱自动分类的实际需要,机器学习算法目前已经被广泛地应用于恒星光谱分类。恒星光谱的一个显著特征是数据维度较高,降维不但可以实现特征提取,而且可以降低计算量,是光谱分类的首要任务。传统的线性降维方法如主成分分析仅依据方差对光谱进行降维,不同类型的光谱在投影到低维特征空间后会出现交叉现象,而流形学习能够产生优良的分类边界,很好地避开重叠,有利于后续的分类。针对光谱数据维度较高的特点,研究了光谱数据在高维空间内的分布以及流形学习对高维线性数据降维的原理,比较了t-SNE和主成分分析两种降维方法对光谱数据降维的效果,并使用基于属性值相关距离的改进的K近邻算法进行光谱分类,最终对实验结果进行了分析并使用多种机器学习分类器进行比较和验证。采用Python语言及Scikit-learn第三方库实现了算法,对SDSS的12 000条低信噪比的恒星光谱进行实验,最终实现了光谱数据的高精度自动处理和分类。实验结果表明,对于光谱数据的降维处理,基于流形学习的t-SNE方法能够在高维光谱数据中恢复低维流形结构,即找出高维空间中的低维流形,并解出与之对应的嵌入映射,在降维过程中最大程度地保留不同类别光谱样本之间的差异从而产生明显的分类边界。特征提取后,使用机器学习分类器能够在测试数据集上达到满意的分类准确率。所使用的方法也可以应用于其他的巡天望远镜产生的海量光谱的自动分类以及稀少天体的数据挖掘。     

基于高光谱图像技术的苹果粉质化LLE-SVM分类

苹果粉质化程度是衡量其内部品质的一个重要因素,采用了高光谱散射图像技术进行苹果粉质化的无损检测。针对高光谱散射图像数据量大的特点,提出了局部线性嵌入(local linear embedded,LLE)和支持向量机(support vector machine,SVM)相结合的用于检测苹果粉质化的新分类方法。LLE是一种通过局部线性关系的联合来揭示全局非线性结构的非线性降维方法,能有效计算高维输入数据在低维空间的嵌入流形。对降维后的高光谱数据采用SVM进行分类。将LLE-SVM分类方法与传统的SVM分类方法比较,仿真结果表明,对高光谱数据而言,用LLE-SVM得到的训练精度高于单纯使用SVM的训练精度;降维前后,分类器的测试精度变化不大,波动范围不超过5%。LLE-SVM为高光谱散射图像技术进行苹果粉质化无损检测提供了一个有效的分类方法。     

高光谱数据基于流形的半监督特征选择

传统的高光谱数据特征选择方法分为监督和无监督模式,然而在高光谱数据实际处理中,大量无标记和少量有标记数据并存.此外,传统方法忽视了真实数据嵌入在高维空间中的流形结构.本文提出一种基于流形的半监督特征选择算法,定义一个合理的特征评判准则,考虑标记样本的先验信息以及高维数据局部和非局部结构的不变特性.通过对标记数据类间方差和类内方差的极大化和极小化,优化数据的判别结构;同时通过构建局部graph和非局部graph,挖掘高维数据的流形结构.然后,选择一组有效的特征子集,实现高维数据的特征选择.最后,通过对特征选择后的真实高光谱数据进行分类实验,结果显示本文方法可以很好地对高光谱数据实现降维并且保留数据的主要结构.     

基于高光谱散射图像技术的UVE-LLE苹果粉质化分类

利用高光谱散射图像技术研究了苹果的粉质化无损检测.提出了一种无信息变量消除法和局部线性嵌入相结合的苹果粉质化分类的新方法.经无信息变量消除法筛选后的波段降为全谱的23.5%.将波段选择后的原始图像数据用局部线性嵌入降维作为偏最小二乘判别分析的输入变量并建模.无信息变量消除法与局部线性嵌入相结合算法和局部线性嵌入降维方法得到的粉质化分类测试准确度分别是79.0%和79.0%|无信息变量消除法与平均反射法相结合和平均反射法特征提取得到的是77.4%和75.8%.结果表明,无信息变量消除法与局部线性嵌入想结合的方法可以大大地降低高光谱散射图像的数据量,同时保证了分类准确度,为在线检测、分类和高光谱数据的存储提供了一种实时、有效的方法.     

基于高光谱散射图像技术的UVE-LLE苹果粉质化分类

利用高光谱散射图像技术研究了苹果的粉质化无损检测.提出了一种无信息变量消除法和局部线性嵌入相结合的苹果粉质化分类的新方法.经无信息变量消除法筛选后的波段降为全谱的23.50％.将波段选择后的原始图像数据用局部线性嵌入降维作为偏最小二乘判别分析的输入变量并建模.无信息变量消除法与局部线性嵌入相结合算法和局部线性嵌入降维方...     

基于Gabor特征与局部保护降维的高光谱图像分类算法

提出了两种基于Gabor特征与局部保护降维的高光谱图像分类算法。该算法利用嵌入主成分分析的Gabor变换对高光谱图像进行特征提取。为了保护相邻特征的局部信息,利用局部Fisher判别分析或局部保护非负矩阵分离对Gabor特征进行降维,并采用高斯混合模型分类器对降维后的特征进行分类。两组高光谱数据的实验结果表明,本文算法不但能充分挖掘高光谱图像的谱间-空间特征,而且有效保护了高光谱图像的局部特征信息与多模型结构。与现有的几种算法相比,本文算法能得到更高的分类精度和Kappa系数,在高斯噪声环境中也具有更强的稳健性。     

半透射高光谱结合流形学习算法同时识别马铃薯内外部缺陷多项指标

针对马铃薯内外部缺陷多项指标难以同时识别的问题,提出了一种半透射高光谱成像技术采用流形学习降维算法与最小二乘支持向量机(LSSVM)相结合的方法,该方法可同时识别马铃薯内外部缺陷的多项指标。试验以315个马铃薯样本为研究对象,分别采集合格、外部缺陷(发芽和绿皮)和内部缺陷(空心)马铃薯样本的半透射高光谱图像,同时为了符合生产实际,将外部缺陷马铃薯的缺陷部位以正对、侧对和背对采集探头的随机放置方式进行高光谱图像采集。提取马铃薯样本高光谱图像的平均光谱(390~1 040 nm)进行光谱预处理,然后分别采用有监督局部线性嵌入(SLLE)、局部线性嵌入(LLE)和等距映射(Isomap)三种流形学习算法对预处理光谱进行降维,并分别建立基于纠错输出编码的最小二乘支持向量机(ECOC-LSSVM)多分类模型。通过分析和比较建模结果,确定SLLE为最优降维算法,SLLE-LSSVM为最优马铃薯内外部缺陷识别模型,该方法对测试集合格、发芽、绿皮和空心马铃薯样本的识别率分别达到96.83%,86.96%,86.96%和95%,混合识别率达到93.02%。试验结果表明：基于半透射高光谱成像技术结合SLLE-LSSVM的定性分析方法能够同时识别马铃薯内外部缺陷的多项指标,为马铃薯内外部缺陷的快速在线无损检测提供了技术参考。     

高光谱图像降维的判别流形学习方法

本文提出了一种高光谱图像降维的判别流形学习方法.针对获取的大量遥感对地观测数据存在大量冗余信息的特点,引入改进的流形学习方法对高光谱遥感数据进行降维处理,以提高遥感图像自动分类的总体准确度.该方法充分利用遥感图像自动分类中训练样本的判别信息,将输入样本的类别信息加入到常规流形学习方法的框架中,从本质上提高输出的特征在低维空间中的判别力.同时,引入线性化模型以解决流形学习方法中常见的小样本问题.对高光谱遥感图像自动分类的实验表明,基于判别流形学习的高光谱遥感图像自动分类方法能够显著地提高图像分类准确度.     

面向高光谱影像分类的空间正则化流形鉴别分析方法

针对传统高光谱影像特征提取算法大多仅考虑光谱信息或提取空间信息不够精细的问题,提出了一种监督空间正则化流形鉴别分析(SSRMDA)算法,以提高遥感地物的分类性能。该算法首先利用样本数据的标签信息构建谱域类内图和类间图,以揭示高光谱数据潜在的非线性流形结构;然后构建空域类内图,并将空间信息以正则化方式与光谱信息融合,实现谱-空信息的有效融合,并可在低维空间内使类内数据更加聚集,增强嵌入数据的可分性。在Indian Pines和Washington DC Mall数据集上的实验表明,所提算法的总体分类精度分别为91.58%和96.67%,说明所提算法有效提升了地物分类能力,尤其在小样本下的优势更为明显,更有利于实际应用。     

基于Wasserstein散度的t-SNE相似性度量方法研究

近红外光谱具有高维、高冗余、非线性的特性,严重影响了样本之间的相似性度量的精准,故而提出了一种基于Wasserstein散度的t分布随机近邻嵌入算法(Wt-SNE)。基于流形学习算法思想,利用高斯分布将高维数据的距离转换为概率分布,使用更加偏重长尾分布的方式t分布表示低维空间中对应数据点的概率分布。将高维数据的概率分布嵌入映射至低维度空间,重构低维流形结构,引入Wasserstein散度度量两个空间内概率分布的差异,通过降低散度值来提高两个分布的相似度,以此来实现高维数据降维处理。为验证Wt-SNE算法的有效性,首先对烟叶近红外光谱数据进行降维投影,并与PCA、 LPP、 t-SNE算法比较,结果表明Wt-SNE算法降维后的数据,在低维空间内样本类别边界更加明显。其次,采用KNN、 SVM和PLS-DA分类器对降维后的数据进行烟叶产地预测,准确率分别为93.8%、 91.5%、 92.7%,表明降维后的数据不仅重构了原始光谱的空间结构而且保留了样本间的相似度关系。最后,选取某一卷烟叶组配方中的烟叶进行单料目标烟叶的替换,根据备选样本与目标样本之间的马氏距离选取替换样本。实验表明,Wt-...     

基于稀疏表示和学习图正则的高光谱图像特征提取

针对传统局部特征提取算法难以确定邻域参数,以及仅考虑数据间的单一结构而漏掉重要信息的问题,提出一种基于稀疏表示和学习图正则的局部判别与全局稀疏保持投影算法。该算法首先对稀疏表示模型施加基于学习的图正则器,用该改进的稀疏表示模型自适应揭示样本数据间的局部线性结构,通过局部判别模型全局集成算法来提取局部线性结构中的判别信息;利用基于学习图正则稀疏表示模型构建的新型稀疏图来揭示数据间的全局稀疏结构;使得数据的局部判别结构和全局稀疏结构在低维特征空间得以保持。通过1-近邻和支持向量机分类器对实验结果进行评估,在PaviaU和Indian Pines两个高光谱公共数据集上的实验显示,提出的局部判别与全局稀疏保持投影算法较对比算法取得了最好的性能,由于提取了全局和局部的判别信息,有效提升了高光谱图像的地物分类精度。     

面向高光谱图像分类的空谱半监督局部判别分析

针对传统的基于特征提取的高光谱图像分类算法大多只考虑光谱信息而忽略空间信息的问题,提出了一种基于空谱半监督局部判别分析(S3 ELD)和空谱最近邻(SSNN)分类器的高光谱图像分类算法。该算法结合高光谱图像的空间一致性,在利用标记样本的判别信息保持数据集可分性的基础上,定义空间近邻像元散度矩阵来保存像元的空间近邻结构,提出基于空谱距离的相似性度量并将其应用于局部流形结构的发现和SSNN的构建。S3 ELD算法不仅能揭示数据集的局部几何关系,而且增强了光谱域同类像元和空间域近邻像元在低维嵌入空间的聚集性。结合SSNN进行分类,进一步提升了分类精度。利用PaviaU和Salinas数据集进行的实验结果表明,S3 ELD算法的总体分类精度分别达到了92.51%和96.29%;与现有几种算法相比,该算法能更有效地提取出判别特征信息,并达到更高的分类精度。     

基于扩散映射的太赫兹光谱识别

特征提取对于太赫兹光谱识别来说至关重要。传统方法是通过人工选取太赫兹光谱中差异性较大的吸收峰作为特征进行光谱识别,但当部分物质在太赫兹波段没有明显波峰、波谷等光谱图形特征时,这种方式便不再适用。为此,研究人员利用统计学习与机器学习方法对高维太赫兹光谱数据进行降维和特征提取。由于物质的太赫兹光谱数据各维度呈现非线性,尤其是当不同物质的太赫兹光谱曲线整体非常相似时,线性处理方法易产生较大误差。针对这一问题,提出了一种基于扩散映射(DM)的太赫兹光谱识别方法。扩散映射能在保持数据内在几何结构的同时对其进行非线性降维,提取的流形特征区分度较高,对数据还有聚类效果。首先用S-G滤波器对Alloxazine等10种物质的太赫兹光谱样本进行滤波,并用三次样条插值法对截取相同频段后的光谱样本进行统一分辨率处理;然后利用DM将高维太赫兹光谱数据映射到低维特征空间并提取太赫兹光谱的流形特征;最后用多分类支持向量机(M-SVM)对十种物质的太赫兹透射光谱进行分类。实验结果表明,相比于主成分分析(PCA)和等距映射(ISOMAP),使用DM提取的太赫兹光谱流形特征具有更高的区分度,而且DM可以直接得到太赫兹光谱数据本征维数的估计值,这为相似太赫兹光谱的快速精准识别提供了一条新的途径。     

基于监督稀疏流形嵌入的高光谱遥感影像分类

稀疏流形聚类和嵌入算法通过仿射空间中的稀疏表示获得稀疏系数,并能由稀疏系数自适应地选取来自同一流形的数据点.但稀疏流形聚类和嵌入算法没有直接的投影矩阵,且为非监督学习方法.针对稀疏流形聚类和嵌入算法算法的不足,提出一种新的监督稀疏流形嵌入算法.该方法首先在仿射空间中采用稀疏优化法得到稀疏系数,然后根据稀疏系数构建相似权值,并在权值中嵌入样本类别信息,增加同类数据间的聚集性,并在低维嵌入空间中保持这种相似性不变,提取鉴别特征来提升分类性能.实验结果表明:该文方法不仅能保持数据的稀疏特性,而且通过利用样本数据的类别信息使同类数据在低维空间尽可能聚集,提取鉴别特征,进而改善高光谱影像的地物分类效果.     

基于流形学习和空间信息的改进N-FINDR端元提取算法

光谱端元提取是对高光谱数据进一步分析的重要前提。由于双向反射分布函数(BRDF),像元内的多重散射和亚像元成分的异质性等因素,高光谱图像中的混合像元实际上是非线性光谱混合。传统的端元提取算法是以线性光谱混合模型为基础,因此提取的端元精度不高。在光谱非线性混合的基础上,提出一种将流形学习与空间信息结合的改进N-FINDR端元提取算法。首先通过自适应的局部切空间排列算法寻找嵌入在高维非线性数据空间的本质的低维结构,将原始高光谱数据非线性降维到低维空间。接着利用地物分布具有连续性的特点,通过增大空间同质区域的像元的权重进行空间预处理。最后通过寻找最大单形体体积进行端元提取。提出算法很好的解决了高光谱遥感数据非线性结构,并利用了空间信息,提高了端元提取的精度。模拟数据实验和真实高光谱遥感数据实验结果均表明,采用该算法得到的结果优于顶点成分分析(VCA) 算法、基于测地线距离的最大单形体体积(GSVM)算法和空间预处理的N-FINDR(SPPNFINDR)算法。     

一种基于流形学习的近红外光谱分析建模方法

近红外光谱分析的重要内容之一是基于校正样品集建立光谱和化学成分或类别之间的回归模型。流形学习是一类新的机器学习方法,它能够揭示出复杂数据的本质维数,提取最重要的特征信息,并用于建立回归或分类模型。文章以近红外光谱为研究对象,针对近红外光谱数据维数高、谱带归属难以确定等特点,基于流形学习中局部线性嵌入(LLE)算法的思想,提出了一种最小二乘局部加权回归(LS-LWR)建模方法。最后,利用各种浓度葡萄糖溶液的近红外光谱,对该方法进行了验证。同时建立主成份回归(PCR)和偏最小二乘回归(PLSR)模型,通过计算预测标准偏差(SEP)与LS-LWR模型进行比较。实验结果表明,LS-LWR模型有更好的预测效果,而且具有模型简单、稳定性好和计算省时等优点。     

核映射和Rank-Order距离的局部保持投影相似性度量方法

针对近红外光谱高维、高冗余、非线性和小样本等特点导致光谱相似性度量时出现的“维度灾难”,提出一种基于核映射和rank-order距离的局部保持投影（KRLPP）算法。首先将光谱数据经过核变换映射到更高维空间,有效保证了流形结构的非线性特征。然后改进局部保持投影(LPP)算法对数据进行降维操作,将rank-order距离替代传统的欧氏距离或测地线距离,通过共享邻近点的信息,得到更加准确的局部邻域关系。最后在低维空间通过距离的计算实现光谱的度量。该方法不仅有效解决了高维空间存在的“距离失效”问题,同时还提高了相似性度量结果的精度。为了验证KRLPP算法的有效性,首先根据降维前后数据集信息残差的变化确定了最佳参数近邻点的个数k和降维后的维数d。其次,从光谱降维投影效果和模型分类效果两个角度与PCA,LPP和INLPP算法进行了对比,结果表明KRLPP算法对于烟叶的部位有较好的区分能力,降维效果以及对于不同部位的正确识别率明显优于PCA,LPP和INLPP。最后,从某品牌卷烟叶组配方中选取了5个代表性烟叶作为目标烟叶,分别采用PCA,LPP和KRLPP方法从300个用于配方维护的烟叶样品中为每个目标烟叶寻找相似烟叶,并从化学成分和感官评价两方面对替换前后的烟叶及叶组配方进行了评价分析。其中LPP和KRLPP用于降维的参数选择保持一致,PCA选择前6个主成分。结果表明,由KRLPP选出的替换烟叶与替换配方在总糖、还原糖、总烟碱、总氮等化学成分以及香气、烟气、口感等感官指标上较PCA、LPP方法差异最小,相似性度量准确度最高。该方法可应用于配方产品替换原料的查找,辅助企业实现产品质量的维护。     

基于LLE与Gold-SA-SVM的海藻三维荧光光谱门类识别

针对海藻三维荧光光谱线性降维方法不理想、模型识别准确率低的问题,提出通过局部线性嵌入(LLE)算法进行降维、通过黄金正弦算法(Gold-SA)对支持向量机(SVM)进行优化来构建分类模型的方法.将LLE算法降维后的海藻三维荧光光谱数据作为SVM的输入,并与其他两种降维方法进行对比.结果 显示:LLE算法的降维效果最好,...     

基于半监督稀疏多流形嵌入的高光谱影像分类

提出了一种半监督稀疏多流形嵌入方法,并应用于高光谱影像分类.该方法充分利用少量标记和大量无标记样本,采用稀疏表示方法得到样本的稀疏系数,并选取来自同一流形的点作为近邻点,然后构建相似图来表征多流形结构,得到样本在每个流形上低维鉴别特征,增加来自同一流形的数据点聚集性,进而提升分类性能.本文方法在PaviaU和Salinas两个高光谱数据集上的总体分类准确度分别达到84.91%和89.74%,相较于其他方法明显提高了地物分类性能.     

对比主成分分析的近红外光谱测量及其在水果农药残留识别中的应用

近红外光谱(NIR)分析具有测试方便、不破坏样本、响应快速等优势,但是,由于在谱带分布和结构分析中存在着许多复杂因素,使得在提取特征光谱信息时存在许多困难。现阶段,虽然已经有多种光谱数据降维方式被广泛使用,但是这些传统的数据降维方式都有一个局限性,就是数据的降维仅仅针对于一个数据集,当数据集中有多个关键因素形成干扰时,数据降维和分类的结果往往不是很理想,得不到想要分析的信息。这一问题造成了在分析近红外光谱时建立的数据降维模型极差,无法正确的对样品进行预测分类。对比主成分分析(contrastive principle component analysis, cPCA)是一种基于主成分分析(PCA)的改进算法,起源于对比学习,并应用于基因组信息解析。cPCA算法的优势就是能够将一个数据集中的降维推广到两个相关联数据集之间的降维,从而能够得到数据集中的关键信息。将cPCA算法应用于近红外光谱处理中,建立了准确的近红外光谱数据降维模型。在实验验证中,使用cPCA算法对不同类型水果(苹果和梨)表面农药残留进行分析。结果表明,在对不同类型的水果进行农药残留分析时,使用PCA算法进行数据降维只能区分出不同的水果类型,而水果表面是否喷洒农药这一关键的特征信息并不能分析出来;而使用cPCA算法进行数据降维分析时,由于对背景光谱的约束作用,能够清晰的将有无喷洒农药的样本分类。这说明了, cPCA在近红外光谱数据降维中有着明显的优势,解决了近红外光谱数据降维模型中数据集受限和特征信息的提取问题,进而建立准确的近红外光谱数据降维模型。