基于稳定一致波长筛选的无标样近红外光谱模型传递方法

测量环境及仪器间光谱信号的差异导致近红外光谱模型从主机传递到从机后,经常会产生过大误差。本研究提出了一种基于稳定一致波长筛选的无标样近红外模型传递方法(Screening stable and consistent wavelengths,SSCW),剔除主从仪器间差谱的标准偏差大于样品精密度测试光谱标准偏差的波长,以及精密度测试偏差过大的波长,筛选出仪器间光谱信号一致性好且稳定的波长建立近红外光谱定标模型。分别以玉米和黄芩样本集对本算法的有效性进行了检验。结果表明,SSCW模型传递后对从机样品的预测均方根残差RMSEP较全波长PLS模型直接传递结果小一个量级,大部分情况下优于分段直接校正算法(Piecewise direct standardization,PDS)的结果和文献报道的无标样模型传递结果。本方法具有传递性能好、模型参数少、稳健等优点,在不同仪器间可实现近红外光谱模型的无标样传递。     

基于尺度不变特征变换筛选稳定特征波长的近红外光谱模型传递方法

该研究利用一维尺度不变特征变换(SIFT)算法寻找烟叶近红外光谱(Near infrared spectroscopy,NIRS)的稳定特征波长,根据样品精密度测试光谱筛选的波长计算重现率和重现度,采用L_9(3~3)正交表优化SIFT算法中的相关参数,使重现率和重现度尽可能高。基于优化的参数和主机上10个代表性样品的光谱,筛选出10个稳定特征波长集合,以这些波长集合并集的光谱响应为自变量,采用偏最小二乘(PLS)方法构建烟叶总植物碱NIRS模型(简称SIFT-PLS)。该模型直接传递到3台从机后,对3台从机样品总植物碱的平均相对预测误差(MRE)均满足小于6%的企业内控要求,而全光谱模型(WW-PLS)直接转移后仅1台从机的MRE满足要求,经分段直接校正(PDS)方法校正从机光谱后,WW-PLS模型也仅对1台从机的MRE小于6%。采用SIFT算法筛选稳定特征波长建立的NIRS模型可在3台从机直接共享,无需转移集,不需对从机光谱或光谱模型进行校正,实现了真正意义的无标样NIRS模型的直接转移。     

基于MC-UVE-VIP两步波长筛选实现近红外光谱模型的无标样传递

该文将蒙特卡洛-无变量信息消除(MC-UVE)算法和变量重要性投影(VIP)算法结合,挑选出重要、有信息的波长变量,建立了MC-UVE-VIP两步波长筛选方法。该法首先采用MC-UVE筛选出稳定性参数大于某一阈值(M_threshold)的有信息波长集合U_UVE,然后采用VIP算法从U_UVE中筛选出VIP参数大于U_UVE中所有波长VIP均值的波长,作为重要、有信息的波长集合U_UVE-VIP。基于U_UVE-VIP建立玉米中蛋白质含量的偏最小二乘回归(PLSR)近红外光谱预测模型,模型的潜变量个数根据累计贡献率大于99.9%确定。该模型变量少、稳健、可解释性强、运算速度快,其预测两台从机样品蛋白质的平均相对误差(MARE)分别为1.64%与1.88%,均小于MC-UVE模型的从机MARE(5.40%与5.19%)和VIP模型的从机MARE(6.23%与7.16%)。因此,基于MC-UVE-VIP两步波长筛选法所建立的玉米蛋白质含量近红外光谱模型可直接传递到从机,...     

基于麻雀搜索算法结合深度前馈神经网络的近红外模型转移方法研究

该文提出了一种基于麻雀搜索算法结合深度前馈神经网络（SSA－DFN）的近红外光谱模型转移方法。使用深度前馈神经网络拟合不同仪器采集到的光谱之间的非线性函数映射,并将麻雀搜索算法用于网络各层连接权值和阈值的初始化,通过种群中个体位置的迭代更新,求得连接权值和阈值的最优初始值;通过多次调整深度前馈神经网络模型的超参数,使网络拟合效果趋于最优,最终确定转移函数。为验证方法的有效性,分别从烟叶近红外光谱谱图、主成分投影和预测结果的角度,将SSA－DFN方法与分段直接校正算法（PDS）、典型相关性分析算法（CCA）转移前后的效果进行了对比。结果表明SSA－DFN方法转移后的从机光谱与原主机光谱重合度最高,转移后主、从机总糖、烟碱含量的预测结果差异不显著,预测平均误差从8.32%、9.15%分别降至4.65%、4.82%,预测均方根误差（RMSEP）和决定系数（R2）等指标均优于PDS和CCA,取得了最佳的转移效果,可满足企业需求。结果表明该方法是一种有效的模型转移方法。     

小波多尺度分段直接校正法用于近红外光谱模型传递的研究

分段直接校正(PDS)算法是目前最常用的近红外光谱模型传递方法,但它在对整个谱区进行校正时,始终依赖大小不变的传递窗口.为了提高传递效果,本研究在PDS基础上提出了一种新的算法--小波多尺度分段直接校正法(WMPDS),用于混胺的近红外光谱模型传递,并详细讨论了模型的传递参数和传递结果.本算法首先对混胺的近红外光谱进行...     

苹果可溶性固形物含量的近红外模型传递研究

研究了苹果可溶性固形物含量(SSC)的近红外模型传递问题。样品集经过异常剔除和预处理之后,建立了主机的偏最小二乘(PLS)预测模型。分别采用一元线性回归直接标准化(SLRDS)、斜率/截距(S/B)法和专利算法(Shenk's)进行主机和从机间的模型传递,讨论了3种算法的传递效果和转换集标样数对传递效果的影响。结果表明,经过3种方法传递后预测集的预测效果比传递前均有不同程度提高,其中SLRDS算法传递效果最佳,经SLRDS传递后相关系数(R)、预测标准偏差(RMSEP)、相对分析误差(RPD)和光谱平均差异(ADS)分别为0.9614,0.4735,3.3866和0.0661。因此利用SLRDS算法实现两台便携式光谱仪之间的模型传递是可行的。     

基于光谱比值分析的无标样近红外模型传递方法

测量环境及光谱仪台间差异导致近红外光谱(NIRS)模型传递到从机后,常产生较大误差。该文使用标准正态变量变换(SNV)+微分处理光谱消除光谱散射和基线漂移的影响,提出通过仪器间光谱信号比值分析筛选波长的方法(Screening wavelengths based on spectrum ratio analysis,SWSRA),选出仪器间一致性较好且样本间差异大的光谱特征波长,采用筛选出的波长信号建立待测性质的偏最小二乘近红外光谱定标模型。以80个玉米样品中水分、油、蛋白质含量及72个黄芩样品中黄芩苷含量的NIRS预测对该方法进行了检验。结果表明,SWSRA主机模型预测从机样品的各成分含量的平均相对误差均小于4.3%,明显优于全波长模型直接传递的结果,且其预测均方根残差RMSEP与文献报道的其他模型传递方法的结果相当或更优。SWSRA方法具有模型参数少、稳健、简便易行等优点,可以在同类型近红外光谱仪器之间实现模型的无标样传递。     

波长筛选结合直接校正法用于近红外光谱模型传递研究

该文提出了一种新的传递方法模型--波长筛选结合直接校正法(WSDS).首先利用样品的性质信息筛选出最有代表性的波长点信息,然后用直接校正法消除这些信息中包含的仪器间差异,以预测标准偏差(SEP)考察模型传递的效果.利用此算法对航空煤油的近红外光谱分析模型在不同仪器之间进行传递研究.经WSDS校正后,对航空煤油密度预测的...     

一种消除在线多通道近红外分析仪各通道光谱差异的方法

针对在线多通道近红外分析仪因光纤耦合器件加工精度和装配过程存在细微差异而引起通道间光谱不一致的问题,在对光谱差异进行解析的基础上,提出了一种运算简捷、且在实际应用中易于实现的平均光谱差值校正(MSSC)方法,并与常用的模型传递算法如斜率／偏差(S／B)算法、分段直接校正(PDS)算法,以及通过偏最小二乘-人工神经网络(PLS-ANN)建立多通道混合校正模型进行了对比。结果表明,该方法可有效消除各通道所测光谱之间存在的差异,实现了多通道分析模型的通用性。     

烟叶总还原糖近红外光谱稳健模型的建立及其在多台仪器的长期应用

该文使用基于光谱图像特征抽提的尺度不变特征变换（SIFT）的多步波长筛选方法建立了烟叶总还原糖（TRS）的近红外光谱（NIRS）稳健模型，实现了其在多台仪器的直接共享和长期应用。首先采用SIFT方法根据代表性主机样品光谱挑选特征光谱点集合Uc，然后从Uc中剔除样本光谱标准方差（SDSS）过低的点，挑选重要特征光谱点集合Uic，此两步波长筛选法简称为SIFT-SDSS。随后进一步从Uic中挑选对水分不敏感（Moisture-unsensitive,MUS）的波长点，得到重要且稳定的光谱点集合Uisc，此3步波长筛选法简称为SIFT-SDSSMUS。从2011～2013年采集的292个主机烟叶样品中按TRS浓度区间选择80%样品作为建模集，建立不同波长集合下烟叶TRS的偏最小二乘回归（PLSR）校正模型。结果表明，基于SIFT-SDSS两步波长筛选的光谱点建立的TRS模型传递到6台从机预测另外77个2011～2013年样品的TRS时，所有从机样品的平均相对误差绝对值（MARE）均小于6%，满足企业内控要求。该模型对5台近红外仪上2014～2020年各年度样品、1台近红外仪上2014～201...     

基于改进鲸鱼优化算法的近红外光谱波长变量选择方法及其应用

该文在群体智能的鲸鱼优化算法（WOA）基础上,提出了一种改进的鲸鱼优化算法（iWOA）用于近红外光谱波长的选择。首先引入混沌策略初始化种群,避免算法过早陷入局部最优;其次引入一种非线性时变Sigmoid传递函数和贪心算法思想,提升算法探优能力,使得模型获得更好的预测精度。为验证算法的有效性,以玉米脂肪、蛋白质、淀粉、水4个指标的近红外光谱数据进行偏最小二乘（PLS）建模分析,并与其他算法进行对比。结果表明,iWOA算法能在最短时间内,有效地筛选出波长变量,降低模型的复杂度,提升模型的预测精度。在玉米脂肪、蛋白质、淀粉、水含量的预测上,与全光谱相比,模型的预测集均方根误差（RMSEP）分别从0.077 2、0.122 4、0.334 4、0.059 5降至0.033 2、0.050 7、0.139 2、0.004 4,预测精度分别提升了57.0%、58.6%、58.3%、92.6%;算法选出的波长数目分别为：84、69、87、66。     

基于X射线荧光光谱与多特征串联策略的土壤重金属含量预测

针对土壤重金属快速检测需求,基于模型集群分析方法进行特征波长变量选择,提出了利用X射线荧光光谱技术检测农田土壤中重金属含量的方法。采集91个配制土壤样品的X射线荧光光谱值,用于构建土壤重金属检测模型。通过多特征串联方法提取特征波长变量,首先采用区间组合优化算法(ICO)粗选波长,然后采用竞争适应性重加权采样法(CARS)剔除区间波长中的无关变量,最后采用连续投影算法(SPA)进行波长精简。通过多特征串联ICO-CARS-SPA算法对X射线荧光光谱进行特征变量选择,得到5组(26、25、29、39、33)特征波长点,据此建立Cu、Zn、As、Pb、Cr 5种土壤重金属含量偏最小二乘(PLS)检测模型,并与其他传统特征波长选择方法进行了对比。结果表明,ICO-CARS-SPA算法所选变量结合偏最小二乘(PLS)的建模效果最优,Cu、Zn、As、Pb、Cr的验证集决定系数分别为0.993 3、0.992 6、0.995 6、0.993 2和0.988 6,均方根误差分别为6.938 5、23.698 4、3.632 6、8.510 6和14.764 5,验证集平均相对偏差分别为0.255 1、0.065 0、0.102 5、0.241 4、0.104 7。基于X射线荧光光谱结合多特征串联策略的ICO-CARS-SPA算法可剔除更多无效波长,提升有效信息贡献度,简化了检测模型复杂度,为土壤重金属含量预测模型选取合适的特征波段提取方法提供了理论支撑。     

小波变换-分段直接校正法用于近红外光谱模型传递研究

提出了一种新的传递算法(WT-PDS)———小波变换-分段直接校正法,并详细讨论了模型传递参数和传递结果。首先利用小波变换对光谱进行压缩处理,采用PDS算法消除不同仪器之间压缩数据的差异,最后利用经校正的压缩数据进行分析,实现模型传递。本方法能够扣除不同仪器之间的大部分差异,大幅度改善分析精度。传递后模型分析精度与源机模型稳健性紧密相关。如果源机模型稳健性强,则能够实现不同仪器之间的共享。本方法能够实现源机的0#轻柴十六烷值、凝点、馏出温度;-10#轻柴十六烷值、凝点以及-10#军柴凝点和馏出温度共10个模型在5台仪器之间共享,简化了建模的成本。与传统的PDS相比,WT-PDS方法具有传递和建模变量少、速度快、光谱校正性能高等优点,而其模型分析精度与传统PDS基本一致。     

近红外光谱混合模型定量分析不同物理状态样品的研究

近红外光谱(NIRS)以漫反射模式对非均质样本进行测量时,由于其光谱散射和吸收系数差异较大,建立的校正模型准确性和稳健性较低,因此,本研究提出了一种基于均质样本和模型转移方法建立混合模型的策略,解决非均质样本近红外光谱检测的问题.以烟叶样本为研究对象,分别建立了基于Shenk专利算法(Shenk′s)、分段直接标准化(PDS)和基于典型相关分析的模型转移算法(CTCCA)的烟粉+烟丝、烟粉+烟片混合模型,用于烟丝和烟片样本中烟碱含量的预测.结果表明,混合模型对烟丝和烟片样本的预测均方误差(RMSEP)较直接建模分别降低了1.39%和2.73%,预测结果有一定的改善,稳健性提高,3种方法中CTCCA表现最优.因此,采用近红外光谱均质模型和模型转移方法建立的混合模型对非均质样本的测定具有可行性,有利于在线近红外光谱分析技术的发展,可为近红外光谱模型的共享提供参考.     

基于移动窗口-迭代遗传算法的近红外光谱波长选择方法

光谱样本数据常会受到环境噪声和其它组分的干扰，应作波长选择，以提高分析精度。近红外光谱谱区宽，搜索空间过大，难以直接采用遗传算法进行波长选择。为此本研究提出先用移动窗口偏最小二乘法（MWPLS）从宽谱区中初选出信息区间，再采用改进的迭代遗传算法（IGA）从中选出最优的信息子区间。MWPLS用移动窗口沿全谱区扫描，对信息区间的定位效果好，而IGA将顾及光谱数据的连续相关特性，运行多轮GA，并以上轮选择结果平滑处理后作为先验知识支持下轮的种群初始化。由此选出的连续相邻的波长点作为自变量，进行PLS建模，既可显著地简化模型，又保留一定的数据冗余，模型的稳健性好、分析精度高。将其用于小麦水分的近红外分析，效果良好，预测性能明显优于其它方法。     

二进制蜻蜓算法-直接校正算法优选标样集在小麦粉蛋白质近红外模型传递中的应用

为了实现小麦粉蛋白质含量近红外分析模型的传递，探究二进制蜻蜓算法(Binary Dragonfly Algorithm, BDA)与直接校正算法(Direct Standardization, DS)相结合构成的BDA-DS算法挑选标样集对模型传递结果的影响。以棱光S450光栅型近红外光谱仪为主机，NeoSpectra Micro傅里叶变换型近红外光谱仪为从机，采集了126个小麦粉的近红外光谱，用偏最小二乘回归法建立了主机近红外光谱与小麦粉蛋白质的关联模型。经BDA-DS算法模型传递后，主机模型对从机样品预测决定系数为0.9812,预测标准偏差为0.1838,从机与主机的光谱集合平均马氏距离由22.34下降到1.40,均接近于主机模型精度水平。该研究同时与采用Kennard/Stone(K/S)挑选标样集再结合DS构成的传统K/S-DS算法进行了对比，结果表明：相对于K/S-DS算法，BDA-DS算法挑选出较少的标样集就能表征仪器的差异，有效地提高了主机模型对从机样品的预测精度，为近红外模型传递提供了一种更加有效的标样集选择方法。     

自适应蚁群优化算法的近红外光谱特征波长选择方法

为提高近红外光谱预测模型的精度和适用性,同时简化模型,提出了自适应蚁群优化偏最小二乘法优选特征波长的方法,建立不同产地苹果可溶性固形物含量混合分析模型。收集山东、陕西和新疆的富士苹果,采集3800~14000 cm"1范围的近红外光谱,并对其重要品质指标可溶性固形物含量进行测定。利用蚁群算法启发式全局搜索的特点,结合蒙特卡罗轮盘赌随机选择机制,优选苹果可溶性固形物含量的近红外光谱特征波长,然后用偏最小二乘法建立分析模型。与全光谱偏最小二乘模型和遗传偏最小二乘模型相比,蚁群优化算法选择的波长数最少,模型预测能力最强,预测的相关系数R和预测均方根误差RMSEP分别为0.9708和0.5144。研究结果表明,自适应蚁群优化算法可以有效选择近红外光谱特征波长,提高模型的稳健性和适用性。     

近红外光谱模型转移新算法

模型转移是解决分析仪器或分析方法通用性的关键技术。近红外光谱受测量仪器或测量条件的影响较大,模型转移对近红外光谱技术的实际应用尤为重要。本文综述了近年来近红外光谱分析中被广泛应用和新提出的模型转移算法,从计算原理角度梳理了有标样和无标样算法的联系和区别。有标样算法重点介绍了基于多元校正、因子分析、人工神经网络、多任务学习的模型转移方法,无标样算法重点介绍了基于光谱校正、模型参数校正和稳健建模的模型转移方法。从算法的角度分析了各种模型转移方法的特点和转移效果,并展望了模型转移算法的进一步发展。在综述的众多方法中分段直接标准化及其变体仍是模型转移的黄金标准,但是,基于因子分析的算法正变得受欢迎且基于神经网络和多任务学习的方法近年来也吸引了越来越多的注意。但是,在实际应用中,获得标准样品以在主机和子机上测得其光谱比较困难甚至是不可能的,无标样模型转移则更加实用。此外,随着仪器小型化、成像及超光谱成像的发展,模型转移在未来会变得愈加必不可少。     

PDS算法进行近红外定量模型更新的效果评估

以不同厂家阿莫西林胶囊及其内容物近红外(Near infrared,NIR)光谱为例,寻找评价分段直接标准化算法(Piecewise direct standardization,PDS)进行光谱校正是否成功的量化指标。本研究共涉及76批阿莫西林胶囊样品,其中54批用于建立胶囊剂的定量模型。通过聚类分析,所有胶囊的NIR光谱分成5类,每类视为一个均质样本;分别计算每个均质样本的平均光谱,从该样本中选择10~15张光谱作为PDS校正的目标光谱,对76批阿莫西林胶囊内容物粉末光谱进行校正,利用阿莫西林胶囊定量模型对校正后的光谱进行含量预测;计算校正后的光谱与PDS校正中目标光谱所属均质样本的平均光谱的相似系数,分析其与预测误差的关系。结果表明,校正结果与所选择的目标光谱关系密切。PDS校正光谱与模型中不同均质样本平均光谱的相似系数(r)越大,通常校正效果越好;当r<99%时,一般可判断PDS校正失败(预测误差>5%)。因此,可以用PDS校正后光谱与校正时使用的目标光谱所属的均质样本的平均光谱的相似系数作为判断PDS校正是否成功的标志。     

基于改进免疫遗传算法的近红外光谱变量选择方法

该文在免疫遗传算法（IGA）的基础上,提出一种改进免疫遗传算法（iIGA）用于近红外光谱波长变量的选择。该算法舍去了原算法中固定抗体相似度阈值的思想,取而代之的是抗体相似度阈值自适应,同时引入精英保留策略和贪心算法思想,使得算法朝着正确的方向进行局部性探优。将该算法在玉米的淀粉和蛋白质含量数据集上进行实验测试,建立偏最小二乘（PLS）分析模型,并与IGA、遗传算法（GA）以及全谱方法进行了对比。结果表明,在玉米淀粉含量的预测上,iIGA相较于原IGA算法,预测集均方根误差（RMSEP）从0.312 0降至0.298 0,预测集预测精度提升4.5%;在玉米蛋白质含量的预测上,RMSEP从0.124 4降至0.110 3,预测集预测精度提升11.3%。分别对预测淀粉和蛋白质模型的RMSEP值进行显著性检验,F值分别为165.22和182.05,P值分别为9.5 × 10－23和4.5 × 10－24,P值均小于0.05,因此,iIGA能显著提升模型预测精度。