基于LASSO算法的光谱变量选择方法研究

光谱分析技术由于具有简单、快速、无损等优势,在复杂体系的定性和定量分析中得到了广泛应用。然而光谱中往往包含成百上千的波长点,有些波长点与研究的目标性质并不相关,加大了计算量并降低了模型的预测准确度。因此,在建立模型前需要进行变量选择。最小绝对收缩与选择算子（LASSO）可将回归系数收缩为0,进而达到变量选择的目的。该研究将LASSO用于三元调和油样品近红外光谱和生物样品拉曼光谱的变量选择,基于偏最小二乘（PLS）和多元线性回归（MLR）模型,分别对香油和肌氨酸的含量进行定量分析,并与无信息变量消除－PLS（UVE－PLS）、蒙特卡罗结合UVE－PLS（MCUVE－PLS）和随机检验－PLS（RT－PLS）3种变量选择方法进行比较。结果表明,基于LASSO的变量选择方法保留的变量数最少,运算速度最快。对三元调和油样品,LASSO－PLS预测的准确度最高;对生物样品,LASSO－MLR预测的准确度最高。因此,基于LASSO的变量选择算法有望在光谱分析领域中得到良好应用。     

光谱预处理方法选择研究

复杂样品光谱信号往往会受到杂散光、噪声、基线漂移等因素的干扰,从而影响最终的定性定量分析结果,因此通常需要在建模前对原始光谱进行预处理。目前已有的光谱预处理方法包括很多种,如何寻找合适的预处理方法是很棘手的问题。一种途径是观察光谱信号特点选择预处理方法（visual inspection）,另一种途径是根据建模性能的优劣反过来选择预处理方法（trial-and-error strategy）。前者无需建模,更具有解释性,但是有时会由于选择者主观的因素导致错误的结果;后者无需观察光谱特点,但需要考察大量的预处理方法,对大数据集比较费时。因此需要探讨哪种选择方式更科学与合理。本研究采用9组数据,通过对10种预处理方法的120种排列组合来探讨预处理的必要性及预处理方法的选择。首先,优化偏最小二乘（PLS）的因子数及一阶导数、二阶导数、SG平滑的窗口参数,连续小波变换（CWT）的小波函数和分解尺度。然后把无预处理及一阶导数、二阶导数、CWT、多元散射校正（MSC）、标准正态变量（SNV）、SG平滑、中心化、Pareto尺度化、最大最小归一化、标准化10种预处理方法按照背景校正、散射校正、平滑和尺度化的顺序进行排列组合,得到120种预处理及其组合方法。最后对不同数据及相同数据的不同组分分别进行120种预处理,分析光谱信号特点及预处理后PLS建模的预测均方根误差值（RMSEP）。结果表明,相比观察光谱信号特点,根据光谱与预测组分的建模效果可以更为准确地选择最佳预处理方法。对于多数数据,采用合适的预处理方法可以提高建模效果;对于不同的数据集,因为其数据集信息和复杂性不同,所以其最佳预处理方法也不同;对于相同数据集,即使光谱相同,但不同组分的预处理方法也不相同。因此,不存在普适性的最佳预处理方法,最佳预处理方法除了与光谱有关,还与预测组分有关。通过对已有预处理方法按照预处理目的进行分类再排列组合是选择最佳预处理方法的一种有效途径。     

近红外光谱结合化学计量学对五元调和油中单组分油的定量分析

有关调和油快速准确定量检测的研究对于调和油质量控制具有重要意义。以往对调和油定量分析的研究大多集中于二元、三元和四元调和油,对更高元数调和油的研究很少,难以满足调和油检测需求。该研究的目的是探讨近红外光谱结合化学计量学对五元调和油中各单组分油进行定量分析的可行性。由玉米油、大豆油、稻米油、葵花油和芝麻油配制成51个五元调和油样品,并采集各样品12 000～4 000 cm-1范围内的近红外透射光谱。首先,采用光谱-理化值共生距离（SPXY）算法将调和油样品划分为38个校正集和13个预测集样品。其次,考察了主成分回归（PCR）、偏最小二乘（PLS）、支持向量回归（SVR）、人工神经网络（ANN）、极限学习机（ELM）等五种多元校正方法对五元调和油各组分定量分析的建模效果。然后,在最佳建模方法的基础上比较了SG平滑、标准正态变量（SNV）、多元散射校正（MSC）、一阶导数（1st Der）、二阶导数（2nd Der）和连续小波变换（CWT）六种光谱预处理方法,并讨论了预处理方法有效地原因。最后,在最佳预处理方法的基础上进一步利用竞争自适应重加权采样（CARS）和蒙特卡罗无信息变量消除法（MCUVE）筛选与预测组分相关的变量。结果显示,在五种建模方法中,PLS是最佳的建模方法,对玉米油、大豆油、稻米油、葵花油和芝麻油五种组分的预测均方根误差（RMSEP）分别为5.564 4,5.559 2,3.592 6,7.421 8和4.193 0。经过光谱预处理-变量选择,再建立PLS模型,对五种组分的RMSEP分别降低至1.955 3,0.562 4,1.145 0,1.619 0和1.067 1,预测相关系数（R_p）均高于0.98,表明采用合适的光谱预处理和变量选择方法,可以明显提高五元调和油中各单组分油定量分析的预测准确度。该研究为多组分调和油的快速无损定量检测提供了一种参考。     

基于经验模态分解及t检验的X射线衍射谱噪声去除方法研究

X射线衍射（X-ray diffraction, XRD）技术因其能够快速分析材料成分、材料内部原子或分子结构形态等优点而被广泛应用于分析测试领域。然而,由于仪器振动和电磁干扰等因素的影响,X射线衍射仪测得的XRD谱噪声较大。本研究引入经验模态分解（Empirical mode decomposition, EMD）结合t检验的方法对XRD谱进行去噪。首先,采用EMD将XRD谱分解,得到一系列频率不同的固有模态函数（Intrinsic mode functions, IMFs）分量。高频的IMFs分量代表噪声,低频的IMFs分量代表有用信息。但是,噪声和有用信息有时难以区分。因此,本研究引入统计学t检验的方法判断IMFs分量均值与零之间的显著性差异,将无显著性差异的分量删除,并重构有显著性差异的分量,得到去噪后的XRD谱,通过一个仿真XRD谱和两个实测XRD谱验证本方法的可行性。结果表明,与Savitzky-Golay(SG)平滑相比,EMD结合t检验的方法能够有效去除XRD谱中的噪声。     

基于灰狼算法的近红外光谱变量选择方法研究

基于群体智能的灰狼优化(GWO)算法具有参数少、结构简单、易于实现的优点,但在光谱领域的应用较少。该研究将GWO算法引入近红外光谱的变量筛选中,以玉米数据为例,考察了GWO算法中狼群性能、迭代次数、狼群数量及运算效率,并建立了偏最小二乘(PLS)模型对玉米样品中蛋白质、脂肪、水分以及淀粉含量的测定。结果显示,GWO算法运算效率很高,经过参数调优后建立PLS模型,其蛋白质、脂肪、水分及淀粉的保留变量数分别为19、19、14、34,预测均方根误差(RMSEP)从全波长PLS建模的0.245 8、0.122 4、0.339 8、1.105 8分别下降到0.147 7、0.080 1、0.176 2、0.739 8,分别下降了40%、35%、48%、33%,相关系数也相应地提高。因此,GWO算法不仅优化速度快,选择变量数少,还可以显著提高PLS模型的预测精度,是一种近红外光谱变量选择的有效方法。