基于线指数的核偏最小二乘回归在恒星大气物理参数测量中的应用

恒星大气物理参数(有效温度、表面重力、化学丰度)的自动测量是天体光谱数据自动处理中的一项重要内容。由于光谱数据的高维性的特点,处理运算量非常大,对于光谱的实时分析及处理会造成延误。文章提出了一种基于Lick线指数,利用核偏最小二乘回归(KPLSR) 对恒星大气物理参数进行测量的方法。可以有效地减少运算量并可达到理想的准确率。首先计算Kurucz合成光谱的Lick线指数,利用核偏最小二乘回归方法建立Lick线指数与大气物理参数之间的核回归模型,并利用DR8实测光谱数据对得到的模型进行测试,将测试的结果与SEGUE SSPP提供的大气物理参数进行了对比,取得了比较好的效果。此外,为了检验噪声对参数测量的影响,本文还对Kurucz光谱分别加了信噪比为10, 20, 30, 40, 50, 70, 90, 120的高斯白噪声,对得到的不同信噪比的Kurucz数据进行了测试,实验结果表明,核回归模型对噪声比较敏感,光谱数据的信噪比越高,其大气物理参数的预测精度越高。提出的基于线指数建立核偏最小二乘回归模型的方法运算量小,训练速度快,适合用于恒星大气物理参数的测量。     

基于核岭回归方法的恒星大气物理参数的自动测量

我国大科学工程项目LAMOST巡天计划每观测夜能获取多达数万条天体光谱数据,天文学家通过对天体光谱的分析观察可以获取有效的天文信息用于天文学或天体物理学的研究。而针对海量数据,寻找自动方法分析天体光谱并进行天体各种物理参数的测量就具有重要研究意义和价值。这一课题也吸引了许多学者进行研究,但目前所尝试的算法和相应结果仍然需要进一步改进,针对这一需求深入研究了核岭回归(KRR)方法在恒星大气物理参数(包括有效温度、表面重力和金属丰度)自动测量方面的应用,特别是在我国大科学工程项目LAMOST所释放光谱数据上的应用。核岭回归是岭回归算法的进一步发展,而岭回归是最小二乘方法的一种变形,其具有解决高维多重共线性问题的能力。所以KRR方法适合于处理高维的天体光谱信息,从LAMOST的第五期释放数据中随机选择了2万条被识别为恒星的光谱数据用于实验测试,该数据既包含低信噪比数据,也包含高信噪比数据(g,r,i波段平均信噪比最低至6.7,最高到793)。首先,本文对光谱进行预处理,包括三个步骤:(1)利用小波变换对光谱数据进行去噪处理;(2)因为LAMOST采用的是后期修正的流量定标设计,所以还通过流量归一化来避免部分光谱流量值不准确的问题;(3)由于每条光谱维数高达数千维,利用主成分分析方法(PCA)对光谱进行了降维。然后,利用KRR方法建立了光谱数据和标准化后的三大参数值之间的回归模型。最后,通过设计进行不同的组合实验对KRR算法模型进行了测试分析,并与经典算法支持向量回归(SVR)进行了对比。综合所有实验结果显示KRR方法对应的有效温度、表面重力和金属丰度的测试平均绝对误差分别为82.9897 K,0.1858 dex和0.1211 dex,优于SVR的144.2308 K,0.1886 dex和0.1246 dex。特别是KRR在温度测试结果上有较大优势,由此表明KRR方法能够有效地应用于天体光谱特别是恒星光谱参数的自动测量处理中。     

不同炮制方法黄精的红外光谱鉴别研究

利用傅里叶变换红外(FTIR)光谱和多元统计分析对黄精及其不同炮制品进行分析研究。实验共采集贵州凯里出产的生黄精、酒黄精、蒸黄精104个样品,分析各自的FTIR光谱特征。运用自动基线校正、标准正态变量变换(SNV)、多元散射校正(MSC)、正交信号校正(OSC)、 Savitzky-Golay导数、 Savitzky-Golay卷积平滑等方法对光谱进行预处理。通过建立偏最小二乘(PLS)模型和支持向量机非线性分类(SVC)模型来探索最佳数据预处理方法。选择最佳组合的预处理方法处理光谱数据,建立主成分分析(PCA)模型和偏最小二乘判别分析(PLS-DA)模型来验证其分类鉴别效果。结果显示,该方法可对三种黄精样品进行准确分类,可以用于黄精炮制品的快速鉴别。     

基于非参数回归与最近邻方法的恒星光谱自动分类

恒星光谱数据的自动识别与分类是现代巡天望远镜所产生的海量光谱数据处理的一项重要研究内容。针对流量未定标的低分辨率恒星光谱设计了一种有效的自动分类方案,实现恒星光谱的MK分类：光谱型及其次型分类,光度型分类。该方案由三部分实现：(1)连续谱归一化：基于小波技术提取低频信号逼近连续谱的方法;(2)七种光谱型及其次型的分类通过非参数回归方法实现。(3)光度型分类通过基于最近邻的χ2方法实现。实验结果表明该方案能够有效实现恒星光谱的MK分类,光谱型及其次型的分类精度为3.2个光谱次型,Ⅰ-Ⅴ光度型的正确识别率为60%, 次优统计率为78％。该方案训练速度快,方法实现容易,适用于海量恒星光谱自动分类处理系统。     

近红外光谱和化学计量方法用于火箭煤油快速分析检测的研究

基于火箭煤油的近红外光谱数据和化学计量学方法,成功地对火箭煤油的密度、馏程、粘度、碘值等四种特性指标进行了测定.本文测定了70多个火箭煤油样品的近红外光谱,在适当的光谱区间内用偏最小二乘法(PLS)法建立模型,各参数的相关性R2在0.862～0.999之间.用该模型对10个未知样品进行测定,近红外光谱法预测的准确度均符合标准分析方法的要求.研究表明,该方法为火箭煤油分析检测提供了一种简便、快捷、准确的方法.     

近红外光谱和化学计量学方法用于橄榄油品质分析与掺杂量检测

基于橄榄油的近红外光谱数据,用判别分析(Discriminant analysis)方法把20个样品成功地分为特级初榨橄榄油和普通橄榄油两类,正确率为100％。同时测定了纯橄榄油中分别掺入菜籽油、玉米油、花生油、山茶油、葵花籽油、罂粟油的混合油的近红外光谱,掺杂油体积百分数范围为0～100%。选择最佳的光谱波段组合用偏最小二乘(PLS)法分别建立定量分析模型,预测相对误差范围在-5.67%～5.61%之间。研究结果表明,基于化学计量学方法和近红外光谱数据可为橄榄油的品质鉴定和掺杂量检测提供了一种简便、快捷、准确的方法。     

高斯拟合算法在光谱建模中的应用研究

采用高斯拟合算法对光谱进行特征提取,利用拟合得到的特征参量表征光谱信息,并结合多元校正方法对光谱模型进行优化和解释,建立了样品快速准确的测定方法。实验以玉米活体叶片为研究对象,建立叶片光谱与叶绿素含量之间的关系模型,采用三个高斯峰对原始光谱的1 551个数据拟合后,光谱数据转换为9个高斯特征量(约为整个波段的0.58%),进而利用该高斯特征量来预测叶绿素含量。实验结果显示,采用高斯拟合分别与偏最小二乘法和主成分回归结合建模,其预测集相关系数分别为0.960和0.962;不采用高斯拟合算法而直接采用偏最小二乘法和主成分回归对全光谱建模,其预测集相关系数分别为0.957和0.919。可见,将高斯拟合算法运用到定量分析模型中是可行的,该方法不仅简化了模型参数,而且提高了模型的可解释性。     

基于可见-近红外光谱比较主成分回归、偏最小二乘回归和反向传播神经网络对土壤氮的预测研究

建模方法是影响可见-近红外光谱定量结果的主要因素之一。在470～1000nm波段的12个土壤剖面对48个剖面样经过风干、研磨、过筛后进行光谱采集。经一阶微分变换及Savizky-Golay平滑处理后,分别应用主成分回归(PCR)、偏最小二乘回归(PLSR)和反向传播神经网络(BPNN)3种方法建立土壤全氮(TN)的定量模型。PCR与PLSR两线性模型的决定系数(R2)分别为0.74和0.8,其剩余预测偏差(RPD)分别为2.23和2.22,但两模型仅能用于TN的粗略估计。由PCR提供主成分数,PLSR提供潜变量(LV)数分别作为BPNN的输入所构建的两个非线性模型均明显优于线性模型PCR和PLSR。其中以4个LV作为输入的BPNN-LV模型预测性能最优,R2以及RPD分别达到0.9和3.11。实验结果表明,提取可见-近红外光谱的PLSR LV因子作为BPNN的输入,所建定量模型可用于土壤氮纵向时空分布的快速准确预测。     

多因变量LS-SVM回归算法及其在近红外光谱定量分析中的应用

以LS-SVM算法为基础,建立了权重可优化的多因变量LS-SVM回归模型,给出了相应的算法(MIS-SVM),并从理论上说明了它与IS-SVM的关系.以64个高粱样品为实验材料,其中建模集与预测集中样品的比例为51:13.从区间[0,1]之间均匀地随机选取5组权重,根据预测平均相对误差最小的准则,按照LOO方式确定了一组合适的权重及参数,建立了近红外光谱同时分析三个化学组分蛋白质、赖氨酸和淀粉的多因变量定量分析模型.结果得到三个组分模型的预测值与实际值的平均相对误差分别为1.65%,6.47%和1.37%,相关系数分别为0.994 0,0.839 2和0.882 5,而LS-SVM算法建模预测三个组分的平均相对误差分别为1.68%,6.25%和1.47%,相关系数分别为0.994 1,0.831 0和0.880 0.可见MIS-SVM算法与LS-SVM算法的建模分析效果相当,且都取得了较满意的结果,验证了MLS-SVM算法同时定量分析多组分含量的可行性.另外,文章也验证了不同权重对MLS-SVM算法的预测性能有一定影响,由此表明在实际多因变量建模分析中对权重进行优化是必要的.     

有监督主成分回归法在近红外光谱定量分析中的应用研究

介绍了运用有监督主成分回归法建立近红外光谱定量分析模型的原理和方法.利用该方法先进行近红外光谱定量分析建模的波长信息选择,达到降低光谱数据维数的目的,然后建立数学模型,并用其分析预测集样品.文中以66个小麦样品为实验材料,随机选择其中40个样品建立小麦样品中蛋白质含量的近红外光谱定量分析模型,首先优选出4个波长点:4 632,4 636,5 994,5 997 cm-1,利用这4个波长点处光谱信息建立主成分回归模型预测26个样品的蛋白质含量,其结果与凯氏定氮法分析结果的相关系数为0.991,平均相对误差为1.5%.该方法从大量光谱数据中筛选出最重要的部分波长信息,实现了"少而精"的波长点选择,对建立抗共线性信息干扰的光谱定量分析模型,同时对指导专用近红外分析仪器设计中波长点的选择等方面都有一定的意义.     

一种基于主分量分析的恒星光谱快速分类法

恒星光谱分类是天体光谱自动识别中的重要组成部分。本文主要介绍一种实用的基于主分量分析(PCA)法对恒星光谱进行快速自动的分类方法。该方法在恒星的主分量空间中对样本点进行投影 ,并利用最近邻分类器进行分类 ,获得与恒星MK分类标准的光谱型基本一致的结果。本文的主要工作有 :(1 )利用PCA方法构造恒星光谱的特征矩阵 ,建构恒星的主分量空间 ;(2 )对恒星光谱进行主分量投影 ,对投影点进行光谱型和光度级的分类器设计 ,利用最近邻法分类 ,最后得出恒星的分类树。该分类法速度快 ,分类准确率较高 ,对目前许多大型光谱巡天计划所获得的大量光谱数据的处理有着重要的意义。     

A型恒星光谱线指数岭回归有效温度的预测分析

天文光谱线指数数据能够较好地保留着恒星的物理特征信息,为此借助线指数特征数据构建多参数模型,有利于更好地回归分析数据的共变关系及谱线的内在规律。世界上光谱获取率最高的施密特天文望远镜LAMOST发布的观测光谱都已经过标记,利用天文可视化工具分析这些标记的恒星光谱线指数会产生预测因子自相关,多元线性回归时因变量存在共线性,导致方差较大、得到最小二乘回归系数不稳定,虽不影响使用回归的有效性,但较难从回归方程中得到独立预测因子的评估系数。利用LAMOST巡天光谱数据中A型恒星Lick线指数为数据源,选取有效温度T_eff为7 000～8 500 K,取信噪比大于50的光谱特征值实现回归分析恒星参数T_eff值,经箱线图呈现DR5星表中,A型光谱86 097条具备T_eff值大样本光谱数据的整体分布,统计分析26种线指数的特征值后,选取分布相似且带宽为12 Å的kp12,halpha12和hgamma12字段,减少解释线指数变量的数目,优化冗余变量方差膨胀因子（VIF）系数。实验选取两两变量间观测数据集,局部拟合回归散点、同样的数据源使用散点图的总体轮廓生成高密度散点图,利用色差透明性突出显示数据密集区域。结果表明多元线性回归和岭回归算法都能从低分辨率光谱中确定A型恒星的有效温度,但经过共线性数据分析有偏估计实验,使用岭回归分析寻找最佳模型,能更准确地确定恒星有效温度,进而得到预测A型恒星有效温度及谱线回归特性。     

一种新的恒星大气物理参数自动估计方案SVR(Haar)

提出了一种新的恒星大气物理参数自动估计的新方案,并称之为SVR(Haar)。由于观测光谱受到大量宇宙辐射、大气和观测设备等引起的噪声干扰,且这种噪声干扰往往是其中的频率较高成分。所以该方案的基本思想是首先使用Haar小波剔除高频噪声成份,以提高恒星大气物理参数估计的准确性;然后使用支持向量机回归方法(SVR)对恒星参数做出估计,该方法能通过ε不敏感域进一步提高对光谱微小畸变和干扰的容许能力,增强解决方案的鲁棒性。为了验证SVR(Haar)方案的有效性,针对相关研究中的权威模拟恒星光谱和SLOAN发布的实测光谱,以及文献中的典型处理方法,做了大量比较实验。实验结果表明,所提出的SVR(Haar)恒星参数估计方案比文献中常用的主成分分析和非参数回归模型均要好。     

基于熵学习机的恒星光谱分类

数据挖掘被广泛应用于恒星光谱分类。为了提高传统光谱分类方法性能,提出熵学习机(Entropy-based Learning Machine, ELM)。在该方法中,熵用来刻画分类的不确定性。为了得到理想的分类结果,分类的不确定性应最小,基于此,可得ELM的最优化问题。ELM在处理二分类问题和稀有光谱发现等方面具有一定优势。SDSS中K型、F型、G型恒星光谱数据集上的比较实验表明：ELM在进行恒星光谱分类时,其分类性能优于k近邻(k Nearest Neighbor)和支持向量机(Support Vector Machine)等传统分类方法。     

基于核的k-最近邻在水下目标识别中的应用*

针对水中目标特征类型多、非线性强的特点,本文将K-KNN应用于水中目标识别。该方法采用PCA对特征矩阵进行降维,利用Kernel技巧将降维后的特征映射到高维空间进行KNN分类识别,并讨论了邻近点个数K对试验结果的影响。实际试验数据验证结果表明：与传统的KNN和BP神经网络分类器相比,K-KNN分类器的综合性能更优。     

不确定度评估在中药近红外定量分析中的应用

采集六一散混合过程中样品近红外光谱,建立甘草酸含量近红外(NIR)偏最小二乘(PLS)定量模型。结果校正集相关系数r_cal=0.998 5,RMSEC=0.044 0 mg·g-1,预测集r_val=0.947 4,RMSEP=0.124 mg·g-1,表明近红外光谱法可作为六一散混合过程中甘草酸含量的快速测定方法。在定量模型建立的基础上,设计验证试验,采用由Liao等提出的基于蒙特卡罗仿真的方法,估计β-容度-γ-置信容许区间,并计算NIR定量分析不确定度,绘制不确定度轮廓。结果表明甘草酸含量高于1.56 mg·g-1时,测量不确定度在可接受范围(λ=±20%)内,表明所建不确定度评估方法可有效评价不同浓度水平下的甘草酸含量NIR定量模型的准确性和可靠性,可为其他中药NIR定量分析方法的不确定度评估提供借鉴。     

基于线性回归算法的春玉米叶面积指数的冠层高光谱反演研究

利用辽宁锦州地区2013年生长季不同土壤水分控制条件下的春玉米冠层高光谱数据,及对应的植株叶面积指数(leaf area index,LAI)数据,分析在不同发育期内不同生长状况下的春玉米冠层高光谱特征及其与植株叶面积指数的关系。采集并计算共313组有效样本,包括350～2 500 nm波段范围光谱的反射率、反射率倒数的对数、反射率一阶导数及LAI,应用多元逐步线性回归法和偏最小二乘回归法,对剔除了受大气水分影响较为严重光谱波段的其他波段数据进行降维,构建叶面积指数的全波段冠层高光谱数据模型,并进行精度检验与比较。结果表明,春玉米LAI与光谱反射率在可见光波段(350～680 nm)、红外波段(1 430～1 800和1 950～2 450 nm)均呈显著的负相关;反射率倒数的对数在对应区间为显著的正相关;反射率一阶导数则在可见光和近红外波段(350～1 350 nm)存在较显著相关波段。三种全波段冠层高光谱数据在春玉米LAI的线性回归中,偏最小二乘法在以冠层反射率为自变量的模型构建中,比多元逐步线性回归拟合度好,其总均方根误差为0.480 7;以冠层光谱反射率的倒数的对数及一阶导数为自变量,应用逐步线性回归法建模,拟合度较好,其总均方根误差分别为0.333 5和0.348 8;三种光谱数据的春玉米LAI两种回归算法中,以冠层反射率倒数的对数为自变量,应用逐步线性回归方法建模的拟合度最佳。