基于分类模式树的恒星光谱自动分类方法

频繁模式是频繁出现在数据集中的模式,在数据挖掘中起着非常重要的作用。针对恒星光谱分类任务,在频繁模式的基础上,提出一种基于分类模式树的恒星光谱分类规则挖掘方法。首先根据数据库中恒星光谱各属性出现的频率不同,其在分类中的重要程度也不同的特征,提出一种新的树型结构——分类模式树,给出了相关概念及其构造方法SSCPTC,然后,将恒星光谱的特征信息映射到分类模式树上,通过采用自顶向下和自底向上两种模式相结合的方法对分类模式树进行遍历,实现分类规则的提取,同时引入模式有用度的概念来调整分类规则的数量、提高分类模式树的构造效率;最后采用国家天文台提供的SDSS恒星光谱作为实验数据,验证了该方法的正确性,而且具有较高的分类正确率。     

一种新的光谱特征提取方法

研究了天体光谱的特征提取问题,这是光谱自动处理中的一个关键环节.通过特征提取,不仅能够约简数据、减少冗余,而且亦能抑制噪声干扰,对识别系统的精度和效率均有重要影响.提出了一种基于空间转换和分解的特征分析模型(STP),基于此,可实现对常用光谱特征提取方法的分析,例如,无监督的主成分分析(PCA),小波变换(Wavele...     

一种基于约束概念格的恒星光谱数据自动分类方法

概念格是数据分析与知识提取的一种有效形式化工具,约束概念格是一种新的概念格结构,具有构造的时空复杂性低,所提取知识的实用性和针对性强等特点。针对海量恒星光谱自动分类任务,依据约束概念格结点外延与训练样本数据集等价划分之间的关系,通过引入外延支持度和划分支持度的概念,提出了一种基于约束概念格的恒星光谱数据分类规则挖掘方法,并采用SDSS恒星光谱数据集,实验验证了由该方法所提取出的分类规则具有较高的分类效率和分类正确率,从而为海量的恒星光谱数据自动分类提供了一种有效方法。     

一种基于Map/Reduce分布式计算的恒星光谱分类方法

天体光谱中蕴含着非常丰富的天体物理信息,通过对光谱的分析,可以得到天体的物理信息、化学成分以及天体的大气参数等。随着LAMOST和SDSS等大规模巡天望远镜的实施,将会产生海量的光谱数据,尤其是LAMOST正式运行后,每个观测夜产生大约2~4万条光谱数据。如此海量的光谱数据对光谱的快速有效的处理提出了更高的要求。恒星光谱的自动分类是光谱处理的一项基本内容,该研究主要工作就是研究海量恒星光谱的自动分类技术。Lick线指数是在天体光谱上定义的一组用以描述光谱中谱线强度的标准指数,代表光谱的物理特性,以每个线指数最突出的吸收线命名,是一个相对较宽的光谱特征。研究了基于Lick线指数的贝叶斯光谱分类方法,对F,G,K三类恒星进行分类。首先,计算各类光谱的Lick线指数作为特征向量,然后利用贝叶斯分类算法对三类恒星进行分类。针对海量光谱的情况,基于Hadoop平台实现了Lick线指数的计算,以及利用贝叶斯决策进行光谱分类的方法。利用Hadoop HDFS高吞吐率和高容错性的特点,结合Hadoop MapReduce编程模型的并行优势,提高了对大规模光谱数据的分析和处理效率。该研究的创新点为：(1) 以Lick线指数作为特征,基于贝叶斯算法实现恒星光谱分类;(2) 基于Hadoop MapReduce分布式计算框架实现Lick线指数的并行计算以及贝叶斯分类过程的并行化。     

一种基于卷积神经网络的恒星光谱快速分类法

恒星光谱数据的分类是天体光谱自动识别的最基本任务之一,光谱分类的研究能够为恒星的演化提供线索。随着科技的发展,天文数据也向大数据时代迈进,需要处理的恒星光谱数量越来越多,如何对其进行自动而精准地分类成为了天文学家要解决的难题之一。当前恒星光谱自动分类问题的解决方法相对较少,为此本文使用了一种基于卷积神经网络的方法对恒星光谱MK系统进行分类。该网络由数据输入层、四个卷积层、四个池化层、全连接层、输出层构成,与传统网络相比具有局部感知、参数共享等优点实验。在Python3.5的环境下编程,利用Tensorflow构建了一个简单高效的具有四个卷积层的卷积神经网络,并将Dropout作用于全连接层之后以防止过度拟合。Dropout的基本思想：当网络模型进行训练时,把一些神经网络节点按一定的比例丢弃,使其暂时不发挥作用。Dropout可以理解成是一种十分高效的神经网络模型平均方法,由于它不依赖于某些局部特征所以能够让网络模型更加鲁棒。实验中使用的一维恒星光谱图是取自LAMOST DR3数据库,首先进行预处理截取光谱3 600~7 300 Å的部分,均匀采样后使用min-max标准化法对其进行初始化。实验包括两部分：第一部分为依据恒星光谱MK系统对光谱进行分类,每一类的训练样本包含1 000条光谱数据,测试样本为400条光谱数据,首先通过训练样本对CNN网络进行训练,进行3 000次的迭代,用训练后的网络将测试样本进行分类以验证网络的准确性;第二部分为相邻两类的恒星光谱的分类,其中O型星数据集样本为250条光谱,其余类别恒星样本数据集均为4 000条光谱,将数据5等分,每次选取当中的一份当作测试集,其余部分当作训练集,采用5折交叉验证法求得模型准确率,用BP神经网络进行对比实验。选择对网络模型进行评估的指标包括精确率P、召回率R、F-score、准确率A。实验结果显示CNN在对六类恒星光谱进行分类时其准确率都在95%以上,在对相邻类别的恒星进行分类时,由于O型星样本量较少,所以得到的分类结果不太理想,对其余类别的恒星分类准确率都高于98%,以上结果都证明了CNN算法能够很好地解决恒星光谱的分类问题。     

流形判别分析和支持向量机的恒星光谱数据自动分类方法

尽管经典的分类方法支持向量机SVM在天文学领域广泛应用,但其只考虑类间的绝对间隔而忽略类内的分布性状,因而分类性能有待于进一步提升。鉴于此,提出一种新颖的基于流形判别分析和支持向量机的恒星光谱数据自动分类方法。该方法引入流形判别分析的两个重要概念：基于流形的类内离散度M_W和基于流形的类间离散度M_B。所提方法找到的分类面同时保证M_W最小且M_B最大。可建立相应最优化问题,然后将原最优化问题转化为QP对偶形式求得支持向量和判别函数,最后利用判别函数判断测试样本的类属。该方法的最大优势在于进行分类决策时,不仅考虑样本的类间信息和分布特征,而且还保持了各类的局部流形结构。SDSS恒星光谱数据上的比较实验表明该方法的有效性。     

基于卷积神经网络的恒星光谱自动分类方法

恒星光谱自动分类是研究恒星光谱的基础内容,快速、准确自动识别、分类恒星光谱可提高搜寻特殊天体速度,对天文学研究有重大意义。目前我国大型巡天项目LAMOST每年发布数百万条光谱数据,对海量恒星光谱进行快速、准确自动识别与分类研究已成为天文学大数据分析与处理领域的研究热点之一。针对恒星光谱自动分类问题,提出一种基于卷积神经网络(CNN)的K和F型恒星光谱分类方法,并与支持向量机(SVM)、误差反向传播算法(BP)对比,采用交叉验证方法验证分类器性能。与传统方法相比CNN具有权值共享,减少模型学习参数;可直接对训练数据自动进行特征提取等优点。实验采用Tensorflow深度学习框架,Python3.5编程环境。K和F恒星光谱数据集采用国家天文台提供的LAMOST DR3数据。截取每条光谱波长范围为3 500~7 500 部分,对光谱均匀采样生成数据集样本,采用min-max归一化方法对数据集样本进行归一化处理。CNN结构包括：输入层,卷积层C1,池化层S1,卷积层C2,池化层S2,卷积层C3,池化层S3,全连接层,输出层。输入层为一批K和F型恒星光谱相同的3 700个波长点处流量值。C1层设有10个大小为1×3步长为1的卷积核。S1层采用最大池化方法,采样窗口大小为1×2,无重叠采样,生成10张特征图,与C1层特征图数量相同,大小为C1层特征图的二分之一。C2层设有20个大小为1×2步长为1的卷积核,输出20张特征图。S2层对C2层20张特征图下采样输出20张特征图。C3层设有30个大小为1×3步长为1的卷积核,输出30张特征图。S3层对C3层30张特征图下采样输出30张特征图。全连接层神经元个数设置为50,每个神经元都与S3层的所有神经元连接。输出层神经元个数设置为2,输出分类结果。卷积层激活函数采用ReLU函数,输出层激活函数采用softmax函数。对比算法SVM类型为C-SVC,核函数采用径向基函数,BP算法设有3个隐藏层,每个隐藏层设有20,40和20个神经元。数据集分为训练数据和测试数据,将训练数据的40%,60%,80%和100%作为5个训练集,测试数据作为测试集。分别将5个训练集放入模型中训练,共迭代8 000次,每次训练好的模型用测试集进行验证。对比实验采用100%的训练数据作为训练集,测试数据作为测试集。采用精确率、召回率、F-score、准确率四个评价指标评价模型性能,对实验结果进行详细分析。分析结果表明CNN算法可对K和F型恒星光谱快速自动分类和筛选,训练集数据量越大,模型泛化能力越强,分类准确率越高。对比实验结果表明采用CNN算法对K和F型恒星光谱自动分类较传统机器学习SVM和BP算法自动分类准确率更高。     

基于模糊大间隔最小球分类模型的恒星光谱离群数据挖掘方法

由于人类对宇宙的认识有限,因此,如何通过对光谱数据分析发现一些新的、特殊的天体成为天文学家面临的重要课题。目前,常见特殊天体发现方法的基本思想是利用智能分类算法对离群数据进行分析。然而,当前主流分类算法大多对离群数据不敏感,分类性能甚至受离群点影响较大,因而无法完成特殊天体发现任务。鉴于此,提出基于模糊大间隔最小球分类模型的离群数据挖掘方法,该方法利用部分一般样本和离群样本建立最小球模型,并在此基础上引入模糊技术,通过降低噪声的权重,尽量减少噪声的影响。与C-SVM,SVDD,KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性。     

基于熵学习机的恒星光谱分类

数据挖掘被广泛应用于恒星光谱分类。为了提高传统光谱分类方法性能,提出熵学习机(Entropy-based Learning Machine, ELM)。在该方法中,熵用来刻画分类的不确定性。为了得到理想的分类结果,分类的不确定性应最小,基于此,可得ELM的最优化问题。ELM在处理二分类问题和稀有光谱发现等方面具有一定优势。SDSS中K型、F型、G型恒星光谱数据集上的比较实验表明：ELM在进行恒星光谱分类时,其分类性能优于k近邻(k Nearest Neighbor)和支持向量机(Support Vector Machine)等传统分类方法。     

一种基于主分量分析的恒星光谱快速分类法

恒星光谱分类是天体光谱自动识别中的重要组成部分。本文主要介绍一种实用的基于主分量分析(PCA)法对恒星光谱进行快速自动的分类方法。该方法在恒星的主分量空间中对样本点进行投影 ,并利用最近邻分类器进行分类 ,获得与恒星MK分类标准的光谱型基本一致的结果。本文的主要工作有 :(1 )利用PCA方法构造恒星光谱的特征矩阵 ,建构恒星的主分量空间 ;(2 )对恒星光谱进行主分量投影 ,对投影点进行光谱型和光度级的分类器设计 ,利用最近邻法分类 ,最后得出恒星的分类树。该分类法速度快 ,分类准确率较高 ,对目前许多大型光谱巡天计划所获得的大量光谱数据的处理有着重要的意义。     

基于多类支持向量机的恒星光谱分类方法

支持向量机作为一种经典的分类方法被广泛应用于恒星光谱分类领域。该方法在实际应用中取得了较为理想的分类效果,但其面临无法解决多分类问题的挑战。在支持向量机的基础上,提出多类支持向量机,建立基于多类支持向量机的恒星光谱分类模型。该方法的最大优势是经过一次分类过程,可以确定多类样本的类属。SDSS DR8恒星光谱数据上的比较实验表明,本研究所提的方法较之已有多分类方法在分类性能上有一定的提升。     

利用带无标签数据的双支持向量机对恒星光谱分类

恒星光谱分类是天文技术与方法领域一直关注的热点问题之一。随着观测设备持续运行和不断改进,人类获得的光谱数量与日俱增。这些海量光谱为人工处理带来了极大挑战。鉴于此,研究人员开始关注数据挖掘算法,并尝试对这些光谱进行数据挖掘。近年来,神经网络、自组织映射、关联规则等数据挖掘方法广泛应用于恒星光谱分类。在这些方法中,支持向量机(SVM)以其强大的学习能力和高效的分类性能而备受推崇。SVM的基本思想是试图在两类样本之间找到一个最优分类面将两类分开。SVM在求解时,通过将其最优化问题转化为具有(QP)形式的凸问题,进而得到全局最优解。尽管该方法在实际应用中表现优良,但为了进一步提高其分类能力,有的学者提出双支持向量机(TSVM)。该方法通过构造两个非平行的分类面将两类分开,每一类靠近某个分类面,而远离另一个分类面。TSVM的计算效率较之传统SVM提高近4倍,因此,自TSVM提出后便受到研究人员的持续关注,并出现若干改进算法。在恒星光谱分类中,一般分类算法都是根据历史观测光谱来建立分类模型,其中最关键的是对光谱进行人工标注,这项工作极为繁琐,且容易犯错。如何利用已标记的光谱以及部分无标签的光谱来建立分类模型显得尤为重要。因此,提出带无标签数据的双支持向量机(TSVMUD)用以实现对恒星光谱智能分类的目的。该方法首先将光谱分为训练数据集和测试数据集两部分;然后,在训练集上进行学习,得到分类依据;最后利用分类依据对测试集上的光谱进行验证。继承了双支持向量机的优势,更重要的是,在训练集上学习分类模型过程中,不仅考虑有标记的训练样本,也考虑部分未标记的样本。一方面提高了学习效率,另一方面得到更优的分类模型。在SDSS DR8恒星光谱数据集上的比较实验表明,与支持向量机SVM、双支持向量机TSVM以及K近邻(KNN)等传统分类方法相比,带无标签数据的双支持向量机TSVMUD具有更优的分类能力。然而,该方法亦存在一定的局限性,其中一大难题是其无法处理海量光谱数据。该工作将借鉴海量数据随机采样思想,利用大数据处理技术,来对所提方法在大数据环境下的适应性展开进一步研究。     

利用融合数据分布特征的模糊双支持向量机对恒星光谱分类

恒星光谱分类是天文学研究的一个热点问题。随着观测光谱数量的急剧增加,传统的人工分类无法满足实际需求,急需利用自动化技术,特别是数据挖掘算法来对恒星光谱进行自动分类。关联规则、神经网络、自组织网络等数据挖掘算法已广泛应用于恒星光谱分类。其中,支持向量机（SVM）分类能力突出,被广泛应用于恒星光谱分类。该方法试图在两类样本之间找到一个最优分类面将两类分开。该方法具有较高的时间复杂度,计算效率有限。双支持向量机（TWSVM）的出现有效地解决了SVM面临的效率问题。该方法通过构造两个非平行的分类面将两类分开,每一类靠近某个分类面,而远离另一个分类面。TWSVM的计算效率较之传统SVM提高近4倍,因此,自TWSVM提出后便受到研究人员的持续关注。但上述方法在分类决策时,一方面没有考虑数据的分布特征,另一方面较易受噪声点和奇异点的影响,分类效率难以显著提升。鉴于此,在双支持向量机的基础上,提出融合数据分布特征的模糊双支持向量机（TWSVM-SDP）。该方法引入线性判别分析（LDA）的类间离散度和类内离散度,用以表征光谱数据的分布性状;引入模糊隶属度函数用以降低噪声点和奇异点对分类结果的影响。在SDSS DR8恒星光谱数据集上的比较实验表明,与支持向量机SVM、双支持向量机TWSVM等传统分类方法相比,融合数据分布特征的模糊双支持向量机TWSVM-SDP具有更优的分类能力。该方法亦存在一定的局限性,其中一大难题是其无法处理海量光谱数据。接下来将利用大数据处理技术,来对所提方法在大数据环境下的适应性展开进一步研究。     

基于非参数回归与最近邻方法的恒星光谱自动分类

恒星光谱数据的自动识别与分类是现代巡天望远镜所产生的海量光谱数据处理的一项重要研究内容。针对流量未定标的低分辨率恒星光谱设计了一种有效的自动分类方案,实现恒星光谱的MK分类：光谱型及其次型分类,光度型分类。该方案由三部分实现：(1)连续谱归一化：基于小波技术提取低频信号逼近连续谱的方法;(2)七种光谱型及其次型的分类通过非参数回归方法实现。(3)光度型分类通过基于最近邻的χ2方法实现。实验结果表明该方案能够有效实现恒星光谱的MK分类,光谱型及其次型的分类精度为3.2个光谱次型,Ⅰ-Ⅴ光度型的正确识别率为60%, 次优统计率为78％。该方案训练速度快,方法实现容易,适用于海量恒星光谱自动分类处理系统。     

一种基于Ca线线指数回归的恒星大气金属丰度估计方法

提出一种基于BP神经网络及Ca线线指数估计恒星大气金属丰度的方法。该方法以从斯隆数字巡天SDSS中恒星光谱以及SSPP给出的参数作为训练样本,其中每条恒星光谱计算16个Ca线线指数,结合其他方法得到的表面有效温度Teff作为输入, 以SSPP得到的金属丰度[Fe/H]作为输出,对训练样本进行重采样后通过训练得到一个人工神经网络,通过该网络可以用来预测恒星光谱的[Fe/H]。通过相关实验表明,提出的方法能够准确而且有效的测量出恒星光谱的[Fe/H]。     

一种新的恒星光谱间距离度量方法：残差分布距离

距离度量是光谱巡天数据处理中的一个重要研究内容,其定义了一种不同光谱间的距离计算方法,以此为基础可进行光谱的分类、聚类、参数测量及离群数据挖掘等工作。距离度量方法的好坏在一定程度上影响了分类、聚类、参数测量及离群数据挖掘的效果及性能,同时随着大规模恒星光谱巡天项目的开展,如何针对恒星光谱定义更为有效的距离度量方法成为其数据处理中一个非常关键的问题。基于此问题,在充分考虑到恒星光谱的特点及其数据特征的基础上,提出一种新的恒星光谱间的距离度量方法：残差分布距离。该距离度量有别于传统计算恒星光谱间距离计算方法,利用该方法计算恒星光谱间的距离时,首先将两条光谱归一化到同一尺度下,然后计算对应波长处的残差,以残差谱分布的标准差作为距离度量。该距离度量方法可用于恒星分类、聚类以及恒星大气物理参数测量等应用中。本文以恒星光谱细分类为例来比较检验该距离度量方法,结果表明该方法定义的距离在分类时能更为有效的刻画不同类别光谱间的差距,可以很好的用于相关应用中。同时还研究了信噪比对该距离度量方法的影响：残差分布距离一定程度上受光谱信噪比影响,信噪比越小,对距离的影响越大;在信噪比大于10之后,残差分布距离对分类的影响很小。     

基于线指数特征的海量恒星光谱聚类分析研究

聚类分析是数据挖掘中用以发现数据分布和隐含模式的一种重要算法,能简单有效地研究大样本、多参量和类别未知的光谱数据。以线指数作为光谱数据的特征值能够在尽可能多的保留光谱物理特征的同时,有效解决高维光谱数据聚类分析中运算复杂度较高的问题。本文提出了基于线指数特征的海量恒星光谱数据聚类分析的方法,提取恒星光谱中的Lick线指数作为海量巡天光谱数据的特征,使用k均值聚类算法完成对光谱数据的聚类,然后对聚类结果进行有效的分析。实验结果证明该方法能够快速有效地将具有相似物理特征的恒星光谱数据聚集到一起,该方法可以应用到巡天数据的研究中。     

低信噪比巡天数据中特殊恒星光谱的搜寻方法

特殊恒星是金属丰度异常的恒星,其中包含的信息对于研究宇宙起源、太阳系的演变以及生命的演化都有着重要的意义。因此,特殊恒星的搜寻是国内外巡天项目中的重要目标。恒星光谱中包含着恒星的化学成分、物理性质以及运动状态等丰富的信息,它是开展恒星研究的重要依据。恒星的识别、分类以及特殊恒星的发现主要依据的是恒星光谱数据。随着LAMOST和SDSS等国内外大规模数字巡天项目的深入展开,恒星光谱的数据量达到了前所未有的高度,如此大的数据量为特殊恒星的发现提供了强有力的支撑。因此如何利用这些数据快速准确地发现特殊、稀少甚至于未知类型的恒星光谱是天文学研究的重要问题。数据挖掘是结合模式识别、机器学习、统计分析及相关专家背景知识,从数据中提取出隐含的过去未知的有价值的潜在信息的技术,其在处理大数据方面有着天然的优势,越来越多的数据挖掘方法被应用到巡天数据处理及分析之中。目前针对特殊恒星搜寻的数据挖掘算法主要包含随机森林、聚类分析以及异常值检测等,但随着巡天深度的拓展,观测的目标越来越暗,进而观测光谱的信噪比也随之变低。低信噪比光谱中存在着大量的无用信息,直接利用相关算法对其进行分析处理得到的结果往往存在很大的偏差。因此,如何从大量低信噪比恒星光谱巡天数据中有效地搜寻出特殊的恒星光谱,是当前面临的一个重要问题。由于低信噪比恒星光谱本身的特点,对于从中搜寻特殊恒星光谱的工作开展较少。为了解决此问题,在仔细研究光谱数据处理方法的基础上,针对低信噪比巡天数据中特殊恒星光谱的搜寻,提出了一种以主成分分析（PCA）和基于密度峰值聚类为基础的方法。该方法首先选取O,B,A,F,G,K和M各种类型的高信噪比恒星光谱,进行波长统一和流量插值后,利用主成分分析得到特征光谱;然后利用方差贡献率最大的前几个特征光谱对低信噪比的恒星光谱进行重构得到高信噪比的光谱;最后利用重构之后的高信噪比光谱进行聚类,聚类分析中得到的离群数据即为所要搜寻的特殊恒星光谱。在聚类时,考虑到恒星光谱数据本身的特点,采用了一种基于密度峰值的聚类方法来进行聚类及离群点的挖掘。实验表明,该方法能够在低信噪比的恒星光谱巡天数据中准确地搜寻出数量相对较少的特殊恒星。同时,也可应用于诸如LAMOST、SDSS等各种银河系巡天的光谱数据分析与挖掘中。