基于非参数回归与Adaboost的恒星光谱自动分类方法

通过对恒星光谱进行分析可以研究银河系的演化与结构等科学问题,光谱分类是恒星光谱分析的基本任务之一。提出了一种结合非参数回归与Adaboost对恒星光谱进行MK分类的方法,将恒星按光谱型和光度型进行分类,并识别其光谱型的次型。恒星光谱的光谱型及其次型代表了恒星的表面有效温度,而光度型则代表了恒星的发光强度。在同一种光谱型下,光度型反映了谱线形状细节的变化,因此光度型的分类必须在光谱型分类基础上进行。本文把光谱型的分类问题转化为对类别的回归问题,采用非参数回归方法进行恒星光谱型和光谱次型的分类;基于Adaboost方法组合一组K近邻分类器进行光度型分类,Adaboost将一组弱分类器加权组合产生一个强分类器,提升光度型的识别率。实验验证了所提出分类方法的有效性,光谱次型识别的精度达到0.22,光度型的分类正确率达到84%以上。实验还对比了两种KNN方法与Adaboost方法的光度型分类,结果表明,利用KNN方法对光度型分类精度低,而基于弱分类器KNN的Adaboost方法将识别率大幅提升。     

基于分层引导滤波与最近邻正则化子空间的高光谱图像分类

针对高光谱图像中同质异谱现象造成的分类精度较低以及边缘像元在联合空间光谱信息分类时特征易混淆的问题,提出了基于分层引导滤波与最近邻正则化子空间的分类方法.利用主成分分析获得高光谱图像的第一主成分.以第一主成分为引导图像对高光谱图像执行分层引导滤波操作,引导滤波的边缘保护特性,有效阻隔了边缘处类间光谱信息的混淆,并减小了局部区域类内光谱的差异,最后将预处理后的高光谱图像送至最近邻正则化子空间分类器进行分类识别.在Indian Pines,Salinas以及GRSS_DFC_2013高光谱数据集上与现有的方法进行对比实验.结果表明,本文提出的方法在三个数据集上分别取得了98.63%,99.13%与99.42%的总体分类准确率,有着更优的分类精度与可视化效果.     

基于非参数回归与最近邻方法的恒星光谱自动分类

恒星光谱数据的自动识别与分类是现代巡天望远镜所产生的海量光谱数据处理的一项重要研究内容.针对流量末定标的低分辨率恒星光谱设计了一种有效的自动分类方案,实现恒星光谱的MK分类:光谱型及其次型分类,光度型分类.该方案由三部分实现:(1)连续谱归一化:基于小波技术提取低频信号逼近连续谱的方法;(2)七种光谱型及其次型的分类通过非参数回归方法实现.(3)光度型分类通过基于最近邻的x~2方法实现.实验结果表明该方案能够有效实现恒星光谱的MK分类,光谱型及其次型的分类精度为3.2个光谱次型,Ⅰ-Ⅴ光度型的正确识别率为60%,次优统计率为78%.该方案训练速度快,方法实现容易,适用于海量恒星光谱自动分类处理系统.     

基于K-L变换的虹膜识别方法

提出了一种基于K-L变换和最近邻分类器的虹膜识别方法。该方法采用K-L变换得到一组虹膜图像基,并利用这组基图像构造一子空间,将待识别图像在这个空间上的投影系数作为待识别图像的特征向量。采用最近邻分类器进行了分类。基于CASIA虹膜数据库的试验表明,将K-L变换应用在虹膜特征提取上可以取得较高的识别率。     

基于Transformer特征提取的A型恒星光谱子型分类算法

恒星光谱分类是恒星光谱分析的重要工作之一。我国大型巡天项目LAMOST能够获得海量的恒星光谱数据,为了对海量恒星光谱数据进行高效分类,特别是对恒星光谱子型数据进行分类,需要研究快速有效的恒星光谱自动分类算法。提出一种基于Transformer特征提取的混合深度学习算法Bert+svm(简记为Besvm)实现A型恒星光谱子型的自动分类。该算法将A型恒星光谱26个线指数作为输入特征,应用Bert模型对26个线指数进行更深层次的学习,通过学习26个线指数的内在关联,进而提取到更有利于A型恒星光谱子型分类的特征。提取好的新特征被输入到分类器算法支持向量机(简记为SVM)中,进而对A型恒星光谱的三个子型A1、 A2和A3进行自动分类。此前,SVM算法在恒星光谱分类任务中已经有过应用,一些衍生的SVM算法在恒星光谱分类任务中也有较高的分类正确率。相比从前应用到恒星光谱分类任务的SVM算法,我们的混合深度学习算法受数据的信噪比影响较小,使用低信噪比数据也能有较高的分类正确率,并且所用数据量较少。通过五组实验验证了该算法的有效性和优越性：实验1用来对比选择优秀的核函数,通过光谱数据的匹配实验,最终选择...     

基于Bayes决策的光谱分类

天文观测技术的迅速发展推动了大规模的星系光谱巡天计划如SDSS、LAMOST等,面对这些巡天项目所观测到的海量光谱数据,研究自动的光谱分析方法已成为必然的选择。研究了基于Bayes决策的光谱分类方法,将光谱分为恒星,星系和类星体三类。首先采用主分量分析来进行特征提取,将光谱投影到由三个主分量构成的特征空间中;然后,采用非参数密度估计Parzen窗法来估计类条件概率密度函数;最后利用基于最小错误率的Bayes决策进行分类。在Parzen窗法中,核宽很大程度上影响着估计效果,从而影响着分类效果。通过详尽的实验分析了核宽和分类效果的关系,发现当核宽接近某个阈值时,识别率将会增加,但小于这个阈值时,识别率反而下降。     

基于广义判别分析的光谱分类

提出了基于广义判别分析(generalized discriminant analysis,GDA)方法对恒星(Star)、星系(Galaxy)和类星体(Quasars)的光谱进行分类.广义判别分析将核技巧与Fisher判别分析结合起来,通过非线性映射将样本集映射到高维特征空间F,在F空间中进行线性判别分析.实验对比了LDA,GDA,PCA,KPCA算法对于恒星、星系和类星体的光谱分类性能.结果表明基于GDA的算法对于这3种类型光谱的分类正确率最高,LDA次之;尽管KPCA也是一种基于核的方法,但是选择主成分个数较少时效果较差,甚至低于LDA;基于PCA的分类效果最差.     

确定恒星表面有效温度的非参数估计方法

恒星表面有效温度是恒星的一个重要物理参量,是恒星光谱差异的重要因素。文章采用非参数估计算法对恒星表面温度进行估计。首先对历史光谱数据进行主成分分析（PCA）处理,再根据PCA特征数据与其表面温度的对应关系建立温度的估计模型,该模型是基于高斯核函数的。方法不依赖对光谱进行精确测量,就可以得到较高估计精度的温度值,对大样本光谱分析具有重要意义。     

利用高性能混合深度学习网络提升光谱分类性能研究

随着观测设备的不断完善,人们获得的光谱数量持续上升,如何进一步提高光谱自动分类的性能引起广泛关注。为此,以恒星光谱为研究对象,在近年来新出现的BERT和CNN等深度学习模型的基础上,试图融合了BERT模型和CNN模型在特征提取和智能分类方面的优势,提出高性能混合深度学习网络BERT-CNN,用以探讨该模型在提升光谱分类性能方面的有效性。该模型首先将恒星光谱数据输入BERT模型;然后,利用BERT模型中的Transformer进行特征提取,得到特征向量;最后,将特征向量输入CNN模型,通过softmax分类器获得分类结果。该实验的编程语言为Python3.7,引入TensorFlow1.14作为深度学习模型框架,并以SDSS DR10中的K型、F型、G型的恒星光谱数据作为实验数据集。使用min-max方法对恒星光谱数据做归一化处理,通过与SVM、CNN等分类模型的比较来验证BERT-CNN混合模型在恒星光谱分类中的有效性。引入网格搜索和10折交叉验证来获得模型的实验参数。实验包括两部分：一是利用精准率P、召回率R、调和平均值F1等指标对BERT-CNN模型的恒星光谱分类性能进行评价。当训练数据集占比实验数据集的30%～70%时,BERT-CNN模型处理K,F和G型恒星光谱数据集的精准率P、召回率R、调和平均值F1随训练样本数的增加而提升。在相同规模的训练样本条件下,BERT-CNN模型在K型恒星光谱数据集上的P,R和F1值均最高,其次是G型恒星光谱数据集,F型恒星光谱数据集上的分类效果较差。二是利用准确率对SVM,CNN和BERT-CNN等模型的对比实验结果进行评价。对K,F和G型恒星光谱数据集上,BERT-CNN模型分类效果最优,其次是CNN模型,SVM模型分类效果较差。表明,BERT-CNN模型有助于提升光谱分类性能。     

基于t-SNE的恒星光谱降维与分类研究

随着天文学的发展以及天文望远镜观测能力的提升,国内外许多大型巡天望远镜将产生PB级的恒星光谱数据。恒星光谱是来自恒星的电磁辐射,通常由连续谱与吸收线叠加而成,其差异源于恒星的有效温度、表面重力加速度以及元素的化学丰度等。恒星光谱自动分类是天文数据处理的一项重要研究内容,是研究恒星演化和参数测量的基础。海量的恒星光谱对分类方法提出了高效、准确的要求。传统的人工分类方法存在速度慢、精度低等缺点,已经无法满足海量恒星光谱特别是低信噪比恒星光谱自动分类的实际需要,机器学习算法目前已经被广泛地应用于恒星光谱分类。恒星光谱的一个显著特征是数据维度较高,降维不但可以实现特征提取,而且可以降低计算量,是光谱分类的首要任务。传统的线性降维方法如主成分分析仅依据方差对光谱进行降维,不同类型的光谱在投影到低维特征空间后会出现交叉现象,而流形学习能够产生优良的分类边界,很好地避开重叠,有利于后续的分类。针对光谱数据维度较高的特点,研究了光谱数据在高维空间内的分布以及流形学习对高维线性数据降维的原理,比较了t-SNE和主成分分析两种降维方法对光谱数据降维的效果,并使用基于属性值相关距离的改进的K近邻算法进行光谱分类,最终对实验结果进行了分析并使用多种机器学习分类器进行比较和验证。采用Python语言及Scikit-learn第三方库实现了算法,对SDSS的12 000条低信噪比的恒星光谱进行实验,最终实现了光谱数据的高精度自动处理和分类。实验结果表明,对于光谱数据的降维处理,基于流形学习的t-SNE方法能够在高维光谱数据中恢复低维流形结构,即找出高维空间中的低维流形,并解出与之对应的嵌入映射,在降维过程中最大程度地保留不同类别光谱样本之间的差异从而产生明显的分类边界。特征提取后,使用机器学习分类器能够在测试数据集上达到满意的分类准确率。所使用的方法也可以应用于其他的巡天望远镜产生的海量光谱的自动分类以及稀少天体的数据挖掘。     

低信噪比巡天数据中特殊恒星光谱的搜寻方法

特殊恒星是金属丰度异常的恒星，其中包含的信息对于研究宇宙起源、太阳系的演变以及生命的演化都有着重要的意义。因此，特殊恒星的搜寻是国内外巡天项目中的重要目标。恒星光谱中包含着恒星的化学成分、物理性质以及运动状态等丰富的信息，它是开展恒星研究的重要依据。恒星的识别、分类以及特殊恒星的发现主要依据的是恒星光谱数据。随着LAMOST和SDSS等国内外大规模数字巡天项目的深入展开，恒星光谱的数据量达到了前所未有的高度，如此大的数据量为特殊恒星的发现提供了强有力的支撑。因此如何利用这些数据快速准确地发现特殊、稀少甚至于未知类型的恒星光谱是天文学研究的重要问题。数据挖掘是结合模式识别、机器学习、统计分析及相关专家背景知识，从数据中提取出隐含的过去未知的有价值的潜在信息的技术，其在处理大数据方面有着天然的优势，越来越多的数据挖掘方法被应用到巡天数据处理及分析之中。目前针对特殊恒星搜寻的数据挖掘算法主要包含随机森林、聚类分析以及异常值检测等，但随着巡天深度的拓展，观测的目标越来越暗，进而观测光谱的信噪比也随之变低。低信噪比光谱中存在着大量的无用信息，直接利用相关算法对其进行分析处理得到的结果往往存在很大的偏差。因此，如何从大量低信噪比恒星光谱巡天数据中有效地搜寻出特殊的恒星光谱，是当前面临的一个重要问题。由于低信噪比恒星光谱本身的特点，对于从中搜寻特殊恒星光谱的工作开展较少。为了解决此问题，在仔细研究光谱数据处理方法的基础上，针对低信噪比巡天数据中特殊恒星光谱的搜寻，提出了一种以主成分分析（PCA）和基于密度峰值聚类为基础的方法。该方法首先选取O，B，A，F，G，K和M各种类型的高信噪比恒星光谱，进行波长统一和流量插值后，利用主成分分析得到特征光谱；然后利用方差贡献率最大的前几个特征光谱对低信噪比的恒星光谱进行重构得到高信噪比的光谱；最后利用重构之后的高信噪比光谱进行聚类，聚类分析中得到的离群数据即为所要搜寻的特殊恒星光谱。在聚类时，考虑到恒星光谱数据本身的特点，采用了一种基于密度峰值的聚类方法来进行聚类及离群点的挖掘。实验表明，该方法能够在低信噪比的恒星光谱巡天数据中准确地搜寻出数量相对较少的特殊恒星。同时，也可应用于诸如LAMOST、SDSS等各种银河系巡天的光谱数据分析与挖掘中。     

一种基于Map/Reduce分布式计算的恒星光谱分类方法

天体光谱中蕴含着非常丰富的天体物理信息,通过对光谱的分析,可以得到天体的物理信息、化学成分以及天体的大气参数等。随着LAMOST和SDSS等大规模巡天望远镜的实施,将会产生海量的光谱数据,尤其是LAMOST正式运行后,每个观测夜产生大约2~4万条光谱数据。如此海量的光谱数据对光谱的快速有效的处理提出了更高的要求。恒星光谱的自动分类是光谱处理的一项基本内容,该研究主要工作就是研究海量恒星光谱的自动分类技术。Lick线指数是在天体光谱上定义的一组用以描述光谱中谱线强度的标准指数,代表光谱的物理特性,以每个线指数最突出的吸收线命名,是一个相对较宽的光谱特征。研究了基于Lick线指数的贝叶斯光谱分类方法,对F,G,K三类恒星进行分类。首先,计算各类光谱的Lick线指数作为特征向量,然后利用贝叶斯分类算法对三类恒星进行分类。针对海量光谱的情况,基于Hadoop平台实现了Lick线指数的计算,以及利用贝叶斯决策进行光谱分类的方法。利用HadoopHDFS高吞吐率和高容错性的特点,结合Hadoop MapReduce编程模型的并行优势,提高了对大规模光谱数据的分析和处理效率。该研究的创新点为:(1)以Lick线指数作为特征,基于贝叶斯算法实现恒星光谱分类;(2)基于Hadoop MapReduce分布式计算框架实现Lick线指数的并行计算以及贝叶斯分类过程的并行化。     

基于FFCNN的二维恒星光谱分类

天体光谱处理中的一项基本任务是对大量的恒星光谱进行自动分类。到目前为止,恒星光谱的分类工作多是基于一维光谱数据。该研究打破传统的天体光谱数据处理流程,提出了基于二维恒星光谱分类的方法。在LAMOST(the large sky area multi-object fiber spectroscopic telescope)的数据处理流程中,所有的一维光谱都是由二维光谱抽谱、合并得来。二维光谱是由光谱仪产生的图像,包括蓝端图像和红端图像。基于LAMOST二维光谱数据,提出了特征融合卷积神经网络（FFCNN）分类模型,用于二维恒星光谱的分类。该模型是一个有监督的算法,通过两个CNN模型分别提取蓝端图像和红端图像的特征,然后将二者进行融合得到新的特征,再利用CNN对新特征进行分类。所使用的数据全部来源于LAMOST,我们在LMOST DR7中随机选择了一批源,然后获得了它们的二维光谱。一共有14 840根F,G和K型恒星的二维光谱用于FFCNN模型的训练,其中包括7 420根蓝端光谱和7 420根红端光谱。由于三类恒星光谱的数量并不均衡,在训练的过程中分别为每类恒星光谱设置了不同权重,防止模型出现分类失衡现象。同时,为了加快模型收敛,对二维光谱数据采用Z-score归一化处理。此外,为了充分利用所有样本,提高模型的可靠度,采用五折交叉验证的方法验证模型。3 710根二维光谱用作测试集,使用准确率、精确率、召回率和F1-score来对FFCNN模型的性能进行评价。实验结果显示,F,G和K型恒星的精确率分别达到87.6%,79.2%和88.5%,而且它们超过了一维光谱分类的结果。实验结果证明基于FFCNN的二维恒星光谱分类是一种有效的方法,它也为恒星光谱的处理提供了新的思路和方法。     

马氏距离度量LAMOST早型星光谱的分类研究

随着天文大数据不断积累，我国大天区多目标光纤光谱望远镜LAMOST已完成6年的大规模巡天观测，获得DR5数据集已达到900多万条光谱，其中含有观测比例较低的早型恒星光谱，具备重要的研究价值。利用准确的恒星分类模板库可提升恒星的分类精度与可靠性，由于LAMOST第一年的巡天光谱中并没有完整覆盖B型恒星包含的所有子类型，造成后续观测数据分类的子类型范围受限。依据LAMOST已发布DR5数据中B型恒星光谱为研究对象，选取ELODIE发布的B型恒星实测光谱模板库来检测LAMOST在用的分类光谱。首先完成ELODIE发布37条B型光谱模板的相关性分析，去掉相关性弱的三条光谱后，筛选出ELODIE 34条B型恒星实测模板作为中心，通过计算LAMOST DR5发布的绝大多数被标记为B6型（7 662条）和B9型（3 969条）实测光谱的马氏距离，经有监督聚类LAMOST早型恒星光谱数据，标记13个子类型在涵盖B2-B9子类的34条ELODIE光谱模板中的分布。经线性分析判别每条谱线子类型的类内距离，确保波长覆盖范围和分辨率与LAMOST数据完全一致，去掉距离数值偏差较大的数据，计算相应子类的平均谱线，得到LAMOST源于DR5观测数据早型B型恒星的13条子类型光谱分类模板，为后期完善模板提供较好的参考性。     

一种基于卷积神经网络的恒星光谱快速分类法

恒星光谱数据的分类是天体光谱自动识别的最基本任务之一，光谱分类的研究能够为恒星的演化提供线索。随着科技的发展，天文数据也向大数据时代迈进，需要处理的恒星光谱数量越来越多，如何对其进行自动而精准地分类成为了天文学家要解决的难题之一。当前恒星光谱自动分类问题的解决方法相对较少，为此本文使用了一种基于卷积神经网络的方法对恒星光谱MK系统进行分类。该网络由数据输入层、四个卷积层、四个池化层、全连接层、输出层构成，与传统网络相比具有局部感知、参数共享等优点实验。在Python3.5的环境下编程，利用Tensorflow构建了一个简单高效的具有四个卷积层的卷积神经网络，并将Dropout作用于全连接层之后以防止过度拟合。Dropout的基本思想：当网络模型进行训练时，把一些神经网络节点按一定的比例丢弃，使其暂时不发挥作用。Dropout可以理解成是一种十分高效的神经网络模型平均方法，由于它不依赖于某些局部特征所以能够让网络模型更加鲁棒。实验中使用的一维恒星光谱图是取自LAMOST DR3数据库，首先进行预处理截取光谱3 600~7 300 Å的部分，均匀采样后使用min-max标准化法对其进行初始化。实验包括两部分：第一部分为依据恒星光谱MK系统对光谱进行分类，每一类的训练样本包含1 000条光谱数据，测试样本为400条光谱数据，首先通过训练样本对CNN网络进行训练，进行3 000次的迭代，用训练后的网络将测试样本进行分类以验证网络的准确性；第二部分为相邻两类的恒星光谱的分类，其中O型星数据集样本为250条光谱，其余类别恒星样本数据集均为4 000条光谱，将数据5等分，每次选取当中的一份当作测试集，其余部分当作训练集，采用5折交叉验证法求得模型准确率，用BP神经网络进行对比实验。选择对网络模型进行评估的指标包括精确率P、召回率R、F-score、准确率A。实验结果显示CNN在对六类恒星光谱进行分类时其准确率都在95%以上，在对相邻类别的恒星进行分类时，由于O型星样本量较少，所以得到的分类结果不太理想，对其余类别的恒星分类准确率都高于98%，以上结果都证明了CNN算法能够很好地解决恒星光谱的分类问题。