一种基于属性权值和w_k-距离的天体光谱异常特征线挖掘方法

采用信息熵思想,给出一种基于属性权值和wk-距离的异常天体光谱特征线挖掘方法,并开发了天体光谱异常特征线挖掘系统。首先采用信息熵思想计算天体光谱特征线属性权值,从而有效地刻画每条特征线的重要程度;其次采用邻域半径的剪枝技术,对海量天体光谱特征线数据集约简,删除不可能成为异常的数据对象,形成一个候选异常数据集;然后根据离候选异常数据中对象之间的偏差,计算wk-距离和,并选取wk-距离和较大的前TOP-NN个数据对象作为天文光谱异常特征线数据;最后采用SDSS恒星光谱特征线数据集,实验和系统运行结果验证了该方法的有效性和可行性。     

基于随机森林的激变变星候选体的数据挖掘

提出一种适用于在郭守敬望远镜海量光谱中自动、快速筛选激变变星的方法。利用已证认的激变变星光谱作为模板,通过随机森林分类训练,得到一个分类模型,该模型给出了各个波长对应流量的重要性排序,可根据该排序进行降维并用于激变变星判别,结果作为反馈进一步丰富模板库。实验中共发现了16个新的激变变星候选体,表明了该方法的可行性。     

海量光谱中激变变星候选体的数据挖掘

提出一套适用于海量光谱自动快速筛选激变变星的方法.利用已证认的激变变星光谱作为模板,使用主分量分析提取主特征后构造光谱特征矩阵,将海量光谱利用光谱特征矩阵映射到特征空间后,使用支持向量机排除大部分非候选体,最后对较少数量的候选体进行模板匹配并证认,结果作为反馈进一步丰富模板库.实验发现了58个新的激变变星候选体,表明了该方法的可行性,为在LAMOST海量光谱中快速搜索激变变星等稀少天体提供了有效途径.     

LAMOST-DR1中激变变星光谱的数据挖掘研究

LAMOST-DR1是郭守敬望远镜正式巡天发布的首批数据,其数量超过目前世界上所有已知恒星巡天项目的光谱总数。这为进一步扩大特殊和稀少天体如激变变星的数量提供了样本,同时也对天文数据处理方法和技术提出了更高的要求。针对LAMOST的数据特点,提出一种能够在海量天体光谱中自动、快速发现激变变星的方法。该方法使用拉普拉斯特征映射对天体光谱进行降维和重构。结果表明不同类别的天体光谱在拉普拉斯空间中能够得到较明显的区分。在使用粒子群算法对神经网络的参数进行优化后,对LAMOST-DR1的全部数据进行了自动识别。实验共发现了7个激变变星,经过证认,其中2个是矮新星,2个是类新星,1个是高度极化的武仙座AM型。这些光谱,补充了现有的激变变星光谱库。本文验证了拉普拉斯特征映射对天体光谱进行特征提取的有效性,为高维光谱进行降维提供了另一途径。在郭守敬望远镜正式发布的数据中寻找激变变星的首次尝试,实验结果表明该自动化的方法鲁棒性好,速度快,准确率高。该方法也可用于其他大型巡天望远镜的海量光谱处理。     

激变变星光谱参数测量研究

激变变星是一类特殊而且数量稀少的双星系统,其主星是一颗白矮星, 伴星通常是一颗充满洛希瓣的光谱型为G,K或M型的晚型星或矮星。激变变星是一类爆发型的恒星,对于研究密近双星的演化具有积极的意义。激变变星按照爆发特征和光变特征可以分为很多亚型,如新星、再发新星、矮新星、类新星和磁激变变星。同时激变变星又是一类周期型的变星,这些因素都导致其可见光光谱非常复杂。目前对于激变变星的参数测量,主要通过后续观测来测量其轨道周期、主星和伴星之间的距离等。由于在吸积的过程中,物质在白矮星的表面累积,无法直接测量主星的物理参数,而且激变变星本身是一种暗弱的天体,实测光谱数量较少,因此极大限制了对激变变星物理参数的系统研究。目前唯一能够生成激变变星理论光谱的软件是基于光致电离模型的CLOUDY,但CLOUDY存在采样点过于稀少以及参数太多等问题,不能作为理想的理论光谱模板。法国ELODIE高分辨率的光谱可以作为M型恒星光谱参数测量的理论模板。前期工作中,通过机器学习等方法在美国斯隆巡天和中国郭守敬望远镜巡天数据中发现了一批激变变星。通过人工筛选,选择了伴星是M型的407条实测光谱,这些光谱大部分是宁静期的矮新星,光谱的主要特征是巴尔末线系和氦的发射线。再通过与高分辨率的ELODIE光谱交叉,利用SDSS-casjob数据库中的ELODIE参数,对激变变星的红端部分进行模板匹配,系统测量了其伴星的物理参数。为了降低计算量,对高维的光谱分别通过主分量分析和局部线性嵌入两种方法进行了特征提取和降维。实验结果表明LLE方法在邻域大小15,维度59时达到最高贡献率94.91%。根据PCA和LLE的交集,最终光谱的维度确定为59。实验中发现激变变星的伴星中M2型数量极少,具体原因需要更多的样本来解释。因为实验中激变变星光谱中,只有部分有明显的分子带特征,因此那些在爆发下降阶段或者光谱被吸积盘特征控制的激变变星没有进行参数测量。该实验弥补了激变变星光谱物理参数测量的空白。     

自动识别发射线恒星光谱的新方法

恒星光谱一般具有明显的吸收线或者吸收带特征,而具有发射线的恒星光谱对应着特殊类型的恒星,如激变变星、Herbig Ae/Be等。对这些光谱的后续研究有着重要的意义。本文提出了一种能够自动识别发射线恒星光谱的方法。该方法首先对光谱进行连续谱归一化,然后通过比较谱线对应的流量及其邻域流量的均值和标准差,来判断是否存在发射线。对SDSS DR8大样本数据的实验表明,该方法能够完整、准确地识别发射线恒星。而且,由于该方法不涉及复杂的变换和运算,因而识别速度非常快,可用于诸如LAMOST和SDSS这样大型光谱巡天项目中发现发射线恒星光谱。     

矮新星候选体的自动搜索研究

美国斯隆数字巡天望远镜已经发布了第9期数据。这些海量的天文光谱数据除了可以用来进行大样本的研究,如探寻银河系的结构和进行多波段证认外,还蕴藏着稀少和特殊的天体,其中就包括矮新星。矮新星是激变变星中所占比例最高的一个亚型,发现更多的矮新星样本对于研究密近双星的演化和参数有积极的意义。目前针对激变变星这类稀少天体的发现主要使用测光粗筛选结合后期观测证认的方法,不但准确率低,而且需要耗费较多的人工处理时间,无法满足在海量光谱数据中快速发现矮新星候选体的需要。本文提出一种适用于在海量光谱中自动、快速发现矮新星的方法。该方法针对SDSS的DR9数据,先使用支持向量机约束主分量分析进行降维,确定特征空间的维数,然后再使用训练后得到的最优分类器对海量光谱进行自动识别,寻找矮新星候选体。实验共发现了276个矮新星,其中6个是未被收录的新的源,表明了该方法的有效性,为在海量光谱中快速发现稀少和特殊天体提供了有效途径。实验中发现的新结果补充了现有的矮新星模板光谱库,可以构造更准确的特征空间。本方法也可用于在其他的巡天望远镜如郭守敬望远镜的海量光谱中进行特殊天体的自动搜索。     

恒星巡天光谱中天光残留成分的自动识别与检测

天光作为一种主要的噪声,叠加在目标天体光谱之中,降低了光谱的信噪比。经过减天光处理后,若光谱中仍含有大量强度高的天光残差将不利于对目标光谱的后续分析。自动识别减天光异常恒星光谱的研究较少,目前只能通过人工检测的方法去寻找减天光异常的光谱,效率较低。首先对影响减天光结果的因素进行分析,找出减天光异常光谱的特征,然后提出一种简单有效的方法能够自动识别LAMOST巡天经过Pipeline处理之后仍然存在减天光异常的恒星光谱并检测其位置。该方法先对光谱进行归一化处理,然后通过检测天光线附近是否有一定强度的类似发射线或吸收线的残留来判定该天光线位置是否出现减天光异常,最后得出光谱中所有的减天光异常的天光位置。通过对LAMOST光谱数据的实验表明,这种方法可以有效识别出减天光异常的光谱和发现不同残留强度的天光线异常位置,并且该方法简单易懂,识别效率高,可以应用于大量的减天光异常光谱的识别与检测问题。     

SDSS-DR8中激变变星候选体的数据挖掘

提出一套适用于在海量光谱中快速发现激变变星的方法。针对SDSS发布的DR8数据,尝试流型学习方法在海量光谱数据挖掘中的应用。首先使用非线性局部线性嵌入方法(LLE)对海量光谱数据进行降维,然后使用人工神经网络对低维数据进行分类,最后对较少数量的候选体进行人工证认。实验共发现了6个新的激变变星候选体,并与传统的PCA方法进行了比较,验证了LLE方法在天文数据挖掘中的可行性。     

利用近红外及中红外融合技术对小麦产地和烘干程度的同时鉴别

小麦是制作馒头的主要原料之一,小麦中水、蛋白质、淀粉会因产地以及烘干程度的差异而不同,进而影响到加工成馒头的品质。所以实现对小麦产地和烘干程度的快速鉴别就显得尤为重要。感官评定是鉴别小麦产地和烘干程度常用的方法,对比感官评定,光谱分析可以识别样品中的分子结构等信息。基于此,尝试利用近红外和中红外光谱融合技术实现对不同产地和不同烘干程度的小麦同时鉴别。首先选取了两个不同产地的小麦,再利用微波干燥法对两个不同产地的小麦做烘干预处理,使烘干的小麦水含量为12%±0.5%,原麦水含量为18%±0.5%。分别标记为原麦A,烘干A,原麦B,烘干B,再将小麦研磨成粉末,过100目筛网筛选后,置于自封袋中备用。随后分别采集四种小麦样品的近红外和中红外光谱信息,在Matlab 7.10的环境下使用标准正态变量变换(standard normal variable transformation, SNVT)对采集到的原始光谱数据进行预处理,利用主成分分析对预处理后的数据进行降维处理,再结合线性判别分析（linear discriminant analysis,LDA）和支持向量机（support vector machine, SVM）分别建立小麦近红外、中红外光谱数据识别模型。另外利用联合区间偏最小二乘法（synergy interval partial least square, SiPLS）筛选出利用标准正态变量变换(SNVT)预处理后的小麦近红外和中红外光谱数据特征光谱区间,将筛选出的近红外和中红外光谱数据特征光谱区间融合后再结合线性判别分析（LDA）和支持向量机（SVM）建立小麦融合光谱信息的识别模型。然后比较同种光谱数据下利用线性判别分析（LDA）和支持向量机（SVM）建立的小麦识别模型识别率、比较同种建模方法下近红外和中红外光谱数据建立小麦识别模型识别率、比较同种建模方法下光谱数据融合和单一光谱数据建立小麦识别模型识别率。结果表明,同种光谱分析方法,利用SVM建立的四种小麦识别模型识别率高于利用LDA建立的小麦识别模型识别率。同种建模方法,近红外光谱数据建立的小麦识别模型识别率优于中红外光谱数据建立的小麦识别模型识别率。而在同种建模方法下,利用SiPLS筛选出近红外和中红外光谱数据的特征光谱区间数据融合后建立小麦识别模型识别率最高,光谱数据融合后结合LDA建立的小麦识别模型校正集识别率为98.75%,预测集识别率为97.50%;而将此选择的变量结合SVM建立的小麦识别模型的校正集和预测集识别率都达到100.0%。对比利用单一光谱数据建立的小麦识别模型识别率,光谱数据融合之后建立的小麦识别模型识别率得到显著提高,该研究从纵向和横向上全面地比较了光谱数据建立的小麦模型识别率,结果可为更准确地运用光谱融合技术建立小麦产地以及烘干程度识别模型提供参考。     

面向LAMOST的天体光谱离群数据挖掘系统研究

在宇宙中寻求未知天体是人类探索宇宙奥妙所追求的目标之一,离群数据挖掘是发现未知天体光谱数据的一种有效途径。文章首先以VC++和Oracle9i为开发工具,设计与实现了面向LAMOST的恒星光谱离群数据挖掘系统,并给出了其软件体系结构和模块功能。其次,对基于中值滤波器的恒星光谱数据预处理、基于距离的恒星光谱数据聚类、基于距离支持度的恒星光谱数据离群数据挖掘、基于主分量分析法PCA的恒星光谱数据离群数据的三维可视化等主要关键技术进行了详细描述。最后,基于SDSS恒星光谱数据的运行结果表明,利用该系统寻找天体光谱离群数据是可行的,从而为寻找未知的、特殊的天体光谱数据提供了一种新途径。     

低信噪比巡天数据中特殊恒星光谱的搜寻方法

特殊恒星是金属丰度异常的恒星,其中包含的信息对于研究宇宙起源、太阳系的演变以及生命的演化都有着重要的意义。因此,特殊恒星的搜寻是国内外巡天项目中的重要目标。恒星光谱中包含着恒星的化学成分、物理性质以及运动状态等丰富的信息,它是开展恒星研究的重要依据。恒星的识别、分类以及特殊恒星的发现主要依据的是恒星光谱数据。随着LAMOST和SDSS等国内外大规模数字巡天项目的深入展开,恒星光谱的数据量达到了前所未有的高度,如此大的数据量为特殊恒星的发现提供了强有力的支撑。因此如何利用这些数据快速准确地发现特殊、稀少甚至于未知类型的恒星光谱是天文学研究的重要问题。数据挖掘是结合模式识别、机器学习、统计分析及相关专家背景知识,从数据中提取出隐含的过去未知的有价值的潜在信息的技术,其在处理大数据方面有着天然的优势,越来越多的数据挖掘方法被应用到巡天数据处理及分析之中。目前针对特殊恒星搜寻的数据挖掘算法主要包含随机森林、聚类分析以及异常值检测等,但随着巡天深度的拓展,观测的目标越来越暗,进而观测光谱的信噪比也随之变低。低信噪比光谱中存在着大量的无用信息,直接利用相关算法对其进行分析处理得到的结果往往存在很大的偏差。因此,如何从大量低信噪比恒星光谱巡天数据中有效地搜寻出特殊的恒星光谱,是当前面临的一个重要问题。由于低信噪比恒星光谱本身的特点,对于从中搜寻特殊恒星光谱的工作开展较少。为了解决此问题,在仔细研究光谱数据处理方法的基础上,针对低信噪比巡天数据中特殊恒星光谱的搜寻,提出了一种以主成分分析（PCA）和基于密度峰值聚类为基础的方法。该方法首先选取O,B,A,F,G,K和M各种类型的高信噪比恒星光谱,进行波长统一和流量插值后,利用主成分分析得到特征光谱;然后利用方差贡献率最大的前几个特征光谱对低信噪比的恒星光谱进行重构得到高信噪比的光谱;最后利用重构之后的高信噪比光谱进行聚类,聚类分析中得到的离群数据即为所要搜寻的特殊恒星光谱。在聚类时,考虑到恒星光谱数据本身的特点,采用了一种基于密度峰值的聚类方法来进行聚类及离群点的挖掘。实验表明,该方法能够在低信噪比的恒星光谱巡天数据中准确地搜寻出数量相对较少的特殊恒星。同时,也可应用于诸如LAMOST、SDSS等各种银河系巡天的光谱数据分析与挖掘中。     

线指数特征空间内恒星光谱离群数据挖掘与分析

大规模光谱巡天将产生海量的光谱数据,为搜寻一些奇异甚至于未知类型的光谱提供了机会,对这些特殊天体的研究有助于揭示宇宙的演变规律和生命起源,巡天数据的离群数据挖掘有助于这些特殊的光谱的发现。利用线指数对光谱数据进行降维能够在尽可能多的保留光谱物理特征的同时,有效解决高维光谱数据聚类分析中运算复杂度较高的问题。提出了基于线指数特征的海量恒星光谱离群数据挖掘及分析的方法,以恒星光谱的Lick线指数作为光谱数据的特征,利用聚类搜寻离群数据的方法在海量光谱巡天数据搜寻离群数据,以此为基础并给出线指数特征空间内离群光谱数据的分析方法。实验结果证明：(1)以线指数作为光谱的特征值能快速的完成对高维光谱数据的离群数据挖掘,可以解决高维光谱数据运算复杂度高的问题;(2)该方法是在聚类结果上进行的离群数据挖掘,能够有效的挖掘出数量较少的发射线恒星、晚M型恒星、极贫金属星、缺失数据光谱等数据;(3)线指数特征空间的离群数据挖掘可以得到线指数特征空间内特殊恒星的发现规则。本文所提出的基于线指数特征的离群数据挖掘及分析方法可以应用到巡天数据的相关研究中。     

面阵探测下的污染云团红外光谱仿真

研究污染云团的红外光谱仿真,对于利用仿真光谱进行光谱识别的算法研究十分重要.在单元探测器探测方式下污染云团的红外光谱仿真研究取得了一定成果,并且已经被应用于识别算法的研究工作中.针对基于成像光谱仪的污染云团识别算法研究缺乏实测数据的问题,利用具有高仿真精度的基于物理模型的污染云团扩散模型及其仿真结果网格化的特点,研究相应的云团红外光谱仿真多层模型,提出了面阵探测方式下污染云团红外光谱的仿真方法,生成了同时具有光谱维和空间维信息的数据立方体,为该研究领域提供了新的研究方法.提出的面阵探测方式下的污染云团红外光谱仿真直观地反映了污染云团的扩散,提供了完备且符合实际情况的污染云团红外光谱立方体数据,对于提高和完善红外光谱识别算法具有重要意义.     

拉曼光谱特征提取在化学纤维定性鉴别中的应用

拉曼光谱作为快速、无损的检测技术受到越来越广泛的关注,已经成功的应用于过程监控、质量监测、考古鉴定等领域。针对纺织纤维拉曼光谱的特性,提出了一种基于特征提取的拉曼光谱定性鉴别方法。该方法通过直接测取织物、纤维的激光拉曼光谱,并结合光谱预处理技术与特征峰提取、匹配识别方法,能够定性地鉴别织物、纤维的成分归属,对纺织品检验中的难点化学纤维成分的鉴别效果尤其显著。利用94份测试样品对织物成分中普遍存在的4种纤维品种——涤纶、腈纶、锦纶和粘胶进行了鉴别以验证算法的有效性。实验结果表明,该鉴别方法快速、有效,并具有很好的扩展性能,且该方法属纯粹的光学方法,需要样品量少、无需前处理,测试过程对样品无损,不产生化学污染物,适宜对各类织物成分的定性鉴别,突破了现有检测方法存在的局限。     

基于LASSO方法的傅里叶变换红外光谱快速定性识别方法

采用红外光谱技术对未知气体组分进行监测,需要对气体组分进行定性识别分析。基于多元线性回归模型的LASSO变量选择技术广泛应用于数据分析领域。将LASSO方法引入到红外光谱分析领域,提出一种LASSO变量选择技术结合循环线性最小二乘(LCLS)分析的定性识别方法,并开展了相关的实验对其进行验证。实验采集CO,C₂H₄,NH₃,C₃H₈,C₄H₁₀和C₆H₁₄六种单组分傅里叶变换红外(FTIR)光谱吸光度谱以及一组C₂H₄和NH₃混合组分的吸光度谱,结合实验室自建光谱数据库,先采用LASSO方法对采集的光谱进行初步定性分析,然后使用LCLS方法剔除干扰组分。实验结果表明,LASSO结合LCLS的方法能有效识别出光谱中的目标组分,即使是在干扰严重的光谱波段也可以剔除掉大部分的干扰组分。     

基于信息理论的γ能谱辨识新方法

提出了一种基于相对熵的放射源γ能谱识别方法。首先,利用主成分分析(PCA)算法压缩数据,构造γ射线能谱的特征空间。然后,采用随机化技术(RT)来使特征空间中γ射线能谱的特征值归一化,这样,γ射线能谱的特征空间可以看作是概率空间。最后,定义两个概率空间的相对熵来测量两个γ射线能谱的相对差异。大量实验表明,所提方法能够更加有效地辨识γ射线能谱, 不仅计算量小,而且对诸如统计浮动、谱峰偏移、底噪等因素具有很高的鲁棒性。     

The criteria for selecting a method for unfolding neutron spectra based on the information entropy theory

To further expand the application of an artificial neural network in the field of neutron spectrometry, the criteria for choosing between an artificial neural network and the maximum entropy method for the purpose of unfolding neutron spectra was presented. The counts of the Bonner spheres for IAEA neutron spectra were used as a database, and the artificial neural network and the maximum entropy method were used to unfold neutron spectra; the mean squares of the spectra were defined as the differences between the desired and unfolded spectra. After the information entropy of each spectrum was calculated using information entropy theory, the relationship between the mean squares of the spectra and the information entropy was acquired. Useful information from the information entropy guided the selection of unfolding methods. Due to the importance of the information entropy, the method for predicting the information entropy using the Bonner spheres' counts was established. The criteria based on the information entropy theory can be used to choose between the artificial neural network and the maximum entropy method unfolding methods. The application of an artificial neural network to unfold neutron spectra was expanded.     

基于反贝叶斯学习的WDMS光谱自动识别研究

天体光谱是天体物理学重要的研究对象,通过光谱可以获取天体的许多物理、化学参数如有效温度、金属丰度、表面重力加速度和视向速度等。白矮主序双星是一类致密的双星系统,对研究致密双星的演化特别是公共包层的演化有着重要的意义。国内外的大型巡天望远镜如美国斯隆望远镜以及中国的郭守敬望远镜,每天都产生大量光谱数据。如此海量的光谱数据无法完全用人工进行分析。因此,使用机器学习方法从海量的天体光谱中自动搜索白矮主序双星光谱,有着非常现实的意义。目前的光谱自动识别方法主要通过对已有的标签样本进行分析,通过训练得到分类器,再对未知目标进行识别。这类方法对样本的数量有明确的要求。白矮主序双星的实测光谱数量有限。若要通过有限的样本集准确学习白矮主序双星的光谱特征,不仅需要扩大样本数量,还需要提高特征提取和分类算法的精度。在前期工作中,通过机器学习等方法在海量巡天数据中识别了一批白矮主序双星的光谱,为该实验提供了数据源。使用对抗神经网络生成新的白矮主序双星光谱,扩大训练数据量至原数据集约两倍的数量,增强了分类模型的泛化能力。通过反贝叶斯学习修正损失函数,将损失函数的大小与样本的方差相关联,抑制了异常数据对模型造成的影响,提升了模型的鲁棒性,解决了由于训练样本集偏差带来的梯度消失以及训练陷入局部最优解等问题。该实验基于Tensorflow深度学习库。使用Tensorflow搭建的生成对抗网络具有较好的鲁棒性,并且封装了内部实现细节,使得算法得以更好地实现。除此之外,由Tensorflow搭建的卷积神经网络在该实验中用于分类准确度测试。实验结果表明,二维卷积神经网络能够利用卷积核有效地提取白矮主序双星的卷积特征并进行分类。基于反贝叶斯学习策略的卷积神经网络分类器在白矮主序双星原始数据及对抗神经网络生成光谱的识别任务中达到了约98.3%的准确率。该方法也可用于在巡天望远镜的海量光谱中搜索其他特殊和稀少天体如激变变星、超新星等。     

PCA-BP模型在判别基于LIF技术煤矿突水水源的应用

防治煤矿突水时需迅速精准地判别突水水源,激光诱导荧光(LIF)光谱技术具有灵敏度高、快速准确监测特点,为检测突水水源提供了一种新的方法。该研究引入该技术以获取突水荧光光谱数据。采用卷积(SG)平滑和多元散射校正(MSC)方法对光谱图进行预处理,以消除光谱采集过程中噪声干扰。采用主成分分析(PCA)方法提取特征信息,针对SG预处理后的数据,当主成分个数为3时,累积贡献率可达到99.76%,已基本保留原数据的全信息。选择3层结构BP神经网络建立分类判别模型,通过不同方式构造训练集和测试集,SG预处理数据构建的分类模型可以达到精准判别,而对于MSC预处理和原始数据出现很少的误判。实验结果表明SG预处理结果要优于MSC预处理。研究结果表明,将PCA和BP神经网络结合建立分类模型,能有效判别煤矿突水水源,且具有较强的自组织、自学习能力。