DS算法在近红外光谱多元校正模型传递中的应用

模型传递问题是近红外光谱分析技术中一个关键的共性基础技术问题。模型传递通过在同一型号的两台仪器之间寻求一种变换关系,使得在一台仪器上建立起的模型能够应用于另外一台仪器样品光谱响应的预测。文章将直接校正(direct standardization,DS)算法应用于化学计量学多元校正中的模型传递,并研究了模型转换集样品的选择方法。在两台AOTF近红外光谱仪上进行了模型传递实验,首先采用Kennard/Stone算法选择转换集样品,然后采用DS方法进行模型传递。实验结果表明采用DS算法取得了较好的模型传递效果。DS算法不仅可以应用于不同仪器之间的光谱分析模型传递,而且该方法对于同一仪器的长时间漂移或者由于部件的更换、测量环境的改变等引入的光谱差异校正也是适用的。     

蛋白饲料原料粗蛋白含量近红外光谱模型转移研究

建立良好的蛋白饲料近红外光谱定量分析模型及实现在不同仪器间的模型共享,能极大提高模型的利用效率,满足饲料行业快速发展的需要。针对蛋白饲料原料粗蛋白含量近红外分析模型适用性问题,首次采用光谱差值转移、直接校正和分段直接校正法进行了三台不同类型的近红外光谱仪之间的模型转移研究。实验样品为四种蛋白饲料原料：玉米蛋白粉、菜粕、酒糟和鱼粉。实验仪器包括MATRIX-Ⅰ傅里叶变换型近红外光谱仪(主仪器),Spectrum 400傅里叶变换型近红外光谱仪(从仪器1)和SupNIR-2750光栅扫描型近红外光谱仪(从仪器2)。研究表明,同一样品体系在主仪器和从仪器2上所得光谱数据的差异性相对较小,且均与从仪器1所得光谱数据的差异性相对较大。除分段直接校正法对玉米蛋白粉从仪器2的预测结果无促进作用之外,其他模型的预测均方根误差和系统偏差均明显低于转移前。玉米蛋白粉、菜粕和酒糟样品采用三种方法转移后的模型预测相对分析误差(RPD)均大于3.0,预测效果良好。鱼粉样品模型转移后的预测RPD均大于2.5,预测效果较好。三种方法对于蛋白饲料原料不同仪器间的光谱差异进行了有效校正。该研究结果对于蛋白饲料品质近红外快速分析模型的广泛应用具有重要意义。     

一种新的多元校正模型分子光谱传递方法

无论是近红外还是红外光谱,多元校正模型的传递问题都尚未解决。为了实现模型和光谱的传递,提出了一种改进的PDS算法——SA-PDS算法,论方法通过PDS算法进行模型传递,使用光谱间的夹角大小作为判定准则来选择传递参数,使得模型传递过程不受到样品性质参考值的影响,也不再依赖于模型,并且可以双向传递。该方法分别通过在近红外数据和中红外数据中应用来证明模型传递的可行性,实验收集烟叶样本测得其近红外光谱,沥青样本测得其中红外光谱,将烟叶总糖会计师和沥青蜡含量作为模型预测对象。使用光谱夹角作为PDS参数选择标准与使用预测标准偏差作为判定准则相比,实验表明：对于近红外光谱的从机向主机的传递,其验证集预测精密度RMSEP从5.257 4降低至1.337 1,优于RMSEP(1.350 3)方法,预测偏差也同样被改善。对于中红外光谱从机向主机的传递,新方法验证集预测精密度RMSEP从0.525 1降低至0.186 9,优于RMSEP(0.219)方法。主机向从机的传递也取得了满意的传递结果。     

近红外光谱模型传递研究

针对不同型号的近红外光谱仪器(主机：SupNIR-2700,从机：Nicolet Antaris Ⅱ)间的模型传递和同一仪器(Nicolet Antaris Ⅱ)不同分辨率的光谱间的模型传递进行研究,提出了一种改进的PDS算法-SP-SG1st-PDS算法,该方法结合三次样条插值、Savitaky-Golay一阶求导和PDS算法。思路是通过三次样条插值拟在不破坏原始光谱固有的信息的前提下实现了主光谱与从光谱之间的匹配,然后对光谱进行S-G一阶求导去除光谱的基线漂移,再通过PDS算法进行模型传递,有效消除主、从光谱之间的差异,提高多元校正模型的预测精度。该方法用于醋酸乙烯酯在乙烯-乙酸乙烯酯共聚物中含量的研究,并且与小波去噪方法和S-G平滑方法作比较。实验表明：对于不同型号的仪器间的模型传递,新方法采用S-G一阶求导较其他方法有明显的优势,其验证集预测精密度RMSEP从20.595 0降低至0.374 8,明显优于S-G平滑(0.522 1)和小波去噪(0.516 7)方法,预测偏差也同样地被改善。对于同一仪器不同分辨率的光谱之间的模型传递,在模型传递前后其模型预测精密度RMSEP从0.272 2减少至0.255 3。通过提出的SP-SG1st-PDS算法,模型传递能应用于不同类型仪器之间,也能用于相同仪器不同分辨率的光谱之间,并且取得了满意的传递结果。     

模糊线性判别QR分析的茶叶近红外光谱鉴别分析

不同品种茶叶因其所含的有机化学成分不同,其效果也会有差别。所以,寻找出一种能准确迅速的鉴别茶叶品种的技术方法是非常重要的。近红外光谱(NIR)分析是一种无损检测技术,能很好的鉴别茶叶品种。使用NIR光谱仪采集茶叶的NIR数据。为了对包含噪声信号的茶叶近红外光谱进行准确鉴别,提出了一种模糊线性判别QR分析的新方法,可以对茶叶近红外光谱进行准确分类。通过使用模糊线性判别分析(FLDA)将由主成分分析(PCA)压缩的茶叶近红外光谱数据进行降维,由模糊线性判别分析得出的特征向量构建鉴别向量矩阵,对鉴别向量矩阵进行矩阵的QR分解,得到新的鉴别向量矩阵。经过模糊线性判别QR分析后使用K近邻算法进行分类,具有准确率高等优点。以岳西翠兰、六安瓜片、施集毛峰和黄山毛峰四种茶叶为研究样本,每类65个,茶叶样本总数为260个。采集茶叶近红外光谱数据的仪器为AntarisⅡ型傅里叶近红外光谱仪对光谱数据进行预处理,采用多元散射校正,由于采集到的茶叶光谱数据存在散射干扰。以此得到的近红外光谱数据的维数为1557维,通过主成分分析压缩数据集的维数,使得光谱数据集的维数达到7维。经压缩过后的光谱数据集中的鉴别信息再...     

栽培和野生中药材灯盏花的近红外光谱鉴别模型

分别在2台傅里叶变换近红外光谱仪上采集了43个栽培和野生中药材灯盏花样品的近红外漫反射光谱,提取光谱信息的15个主成分,方差贡献率达到99%以上。以20个灯盏花样品作为建模集,15个主成分作为网络学习输入层的15个节点,在2台仪器上用2套光谱分别建立了识别栽培和野生灯盏花样品的BP-神经网络模型,并对预测集的23个样品用于实际鉴别分析。两台仪器上的建模集样品模型回代正确识别率均为100%,预测集样品的正确识别率分别为100%和95.7%,结果表明,利用近红外光谱法进行栽培和野生中药材灯盏花的快速鉴别是可行的。     

近红外光谱技术对闽南乌龙茶品种的识别研究

采用近红外光谱技术建立了一种快速无损的乌龙茶品种识别方法。收集闽南地区不同茶场中铁观音、黄金桂、本山、毛蟹与梅占等5个品种共210份具有代表性的乌龙茶样品,采集近红外光谱数据,选用1 100~1 300nm,1 640~2 498nm作为检测波长范围,利用主成分分析法(principal component analysis,PCA)建立模型,并在实验过程中比较多元散射校正(multiplicative scatter correction,MSC)与标准正态变量校正(standard normal variate,SNV)两种数据预处理方法对模型的影响。实验结果表明,多元散射校正对模型的影响优于标准正态变量校正,对校正集的识别准确率达到了96%,对预测集中样品的识别准确率达到了90%。实验结果证明了采用近红外光谱技术可以快速无损识别闽南地区乌龙茶,具有较强的实用价值和推广价值。     

波长漂移对近红外光谱PLSR分析模型的影响

在近红外光谱分析过程中,单台仪器在不同时间的波长变化及多台仪器间的波长一致与否会对化学计量学定标模型的校正及传递效果产生影响,上述问题可以统一为波长漂移对定标模型的影响。以分析小麦粉中粗蛋白含量为例,首先结合不同谱区光谱数据,利用偏最小二乘回归（PLSR）方法建立了两个定标模型。再由计算机生成不同类型、不同幅度的波长漂移信息,并叠加至验证集样品光谱中,使新光谱相对于定标集光谱产生波长漂移信息。通过考察原定标模型对新光谱的预测与校正情况,研究了波长漂移对PLSR定标模型的影响。结果表明：相对于定标集样品光谱,验证集光谱中无波长漂移信息时,模型的预测标准差（RMSEP）不超过0.3%,预测相关系数不小于0.98;验证集样品光谱在不同波长处的波长漂移信息为一恒定值时,模型的RMSEP会随波长漂移幅度的增大而增大,波长漂移量为-32 cm-1时对应RMSEP为3.69%,预测相关系数变化不大;当验证集样品光谱在不同波长处的波长漂移信息随机变化时,基于长波区光谱所得原始模型的预测结果几乎不受影响;当含有不同波长漂移信息的一系列样品光谱加入到定标集对长波区PLSR分析模型进行校正时,校正后模型的RMSEP为0.3%,几乎不受波长漂移信息的影响,但模型的回归因子数从3显著增大到8,其稳健性变弱;总的来说,当仪器存在波长漂移且幅度不大时,模型预测相关系数几乎不受影响,可通过对预测结果的校正来改善RMSEP,以保证分析结果的准确性。该研究为确定仪器设计参数及分析方法的操作规程,提高近红外光谱分析结果的可靠性提供了实验依据。     

基于近红外光谱技术的钢结构防火涂料品牌鉴别方法研究

为了实现钢结构防火涂料在流通使用领域中不同品牌的现场快速鉴别, 提出了一种用近红外光谱技术快速鉴别钢结构防火涂料品牌的方法。运用光栅扫描型近红外光谱仪器, 通过近红外漫反射光谱获取不同品牌钢结构防火涂料的光谱曲线, 并对光谱数据进行标准正态变量变换(standard normal variate transformation, SNV)、Norris二阶求导等优化处理。利用主成分分析法(principal component analysis, PCA)对钢结构防火涂料品牌进行聚类分析, 前五个主成分的累积方差贡献率已达到99.791%, 以PC1, PC2和PC3×10的得分值对所有建模样品在三维空间作图, 对不同品牌的钢结构防火涂料具有很好的聚类作用。利用5个品牌的各25个样品建立校正模型, 用余下5个品牌的各5个样品, 共计25个样品进行外部验证, 通过未知样品光谱的主成分得分值计算其与校正模型中每个品牌的马氏距离值, 实现未知样品的品牌鉴别。建立的定性分析模型对未知样品的外部验证正确率达到100%。说明该分析方法能够快速准确的鉴别钢结构防火涂料品牌, 并为市场规范提供技术参考。     

基于近红外光谱技术的钢结构防火涂料品牌鉴别方法研究

为了实现钢结构防火涂料在流通使用领域中不同品牌的现场快速鉴别,提出了一种用近红外光谱技术快速鉴别钢结构防火涂料品牌的方法。运用光栅扫描型近红外光谱仪器,通过近红外漫反射光谱获取不同品牌钢结构防火涂料的光谱曲线,并对光谱数据进行标准正态变量变换(standard normal variate transformation, SNV)、Norris二阶求导等优化处理。利用主成分分析法(principal component analysis, PCA)对钢结构防火涂料品牌进行聚类分析,前五个主成分的累积方差贡献率已达到99.791%,以PC1,PC2和PC3×10的得分值对所有建模样品在三维空间作图,对不同品牌的钢结构防火涂料具有很好的聚类作用。利用5个品牌的各25个样品建立校正模型,用余下5个品牌的各5个样品,共计25个样品进行外部验证,通过未知样品光谱的主成分得分值计算其与校正模型中每个品牌的马氏距离值,实现未知样品的品牌鉴别。建立的定性分析模型对未知样品的外部验证正确率达到100%。说明该分析方法能够快速准确的鉴别钢结构防火涂料品牌,并为市场规范提供技术参考。     

平均分布差异最小化的NIR标定迁移方法研究

凭借高效、无损和环保的优点,近红外光谱在多个领域广泛用作物质快速分析方法的同时,仍面临着光谱标定模型生命周期短,构建仪器标定迁移方法的标准样品难以获得和保存等问题。在化学计量学文献中,迁移方法通常能够矫正主从仪器之间的光谱差异,但绝大多数方法都需要在两台仪器相同条件下测量一组迁移标准样品。虽然样品数目不必过多,但总体上表明,必须对其进行很好的选择才能保证成功迁移。对于在主从仪器中选择代表性的样本子集,现有Kennard-Stone算法作为样本选择的主要算法。在标准样本的确定问题中,假设主仪器已找到标准样本,选择的样本集需要在从仪器中进行测量,仅当迁移样本足够稳定时才有可能,但现有近红外光谱技术无法保证这一点。如果假设使用从仪器的样本作为标准样本,考虑到新工业应用中光谱光源的变更,主仪器被从仪器代替,因此不再可用。基于目前存在的这些问题,提出了一种平均分布差异最小化的NIR标定迁移方法（MCT）, 此方法可以在不考虑从仪器标准样本（即标准样本自由）的情况下,针对近红外光谱数据的多重共线性,首先假设存在一个主从仪器光谱的共同偏最小二乘子空间,并将主从仪器光谱数据分别投影到该公共子空间;然后,引入平均分布差异最小化算法,即分别给出主从光谱数据在子空间的平均分布中心表示函数,在最小化两个光谱平均分布（中心点）的差异的同时,最大化投影后主仪器光谱的协方差,推导求解出最佳子空间;最后,将主光谱样本和从光谱预测样本分别投影到该偏最小二乘子空间中,利用主光谱数据得到回归模型,该模型可用于预测从光谱浓度。通过对玉米数据集和小麦数据集的测试研究,证明的预测效果与SBC,PDS,CCACT,TCR和MSC相比有所改善,该方法可以实现更低的预测误差。     

直接校正算法的柑橘溃疡病高光谱模型传递

针对目前所建立的柑橘溃疡病高光谱模型普适性差、预测精度低的问题,提出了基于不同仪器间高光谱模型传递来提高模型稳健性的方法。以脐橙52和卡拉卡拉红肉脐橙为研究对象,利用实验室高光谱成像平台(System 1, S1)和便携式高光谱成像仪(System 2, S2)采集了健康和染病柑橘的高光谱图像,建立了独立的柑橘溃疡病判别模型,并分析了不同预处理方法和判别模型对模型预测性能的影响。将S1和S2分别作为源机和目标机,利用直接校正算法对目标机获取的高光谱图像进行校正,分析模型传递前后的模型判别能力。结果表明,采用二阶导数预处理,极限学习机预测性能最佳,基于S1和S2检测的预测集识别率分别为97.5%和98.3%;以S1数据建立主模型,对经直接校正算法校正后的S2高光谱图像进行识别,预测集的识别率从校正前的38.1%提高到了86.2%。说明该方法可用于不同型号高光谱成像仪之间的定标模型传递,对于建立稳健可靠的柑橘溃疡病判别模型具有重要意义。     

基于SVR的傅里叶变换型近红外光谱仪间数学模型传递的研究

近红外分析的一个重要基础是数学模型。不同的近红外光谱仪间由于对同一个样品响应的差异,导致一台仪器上建立的数学模型不能直接用于另一台仪器上样品的分析,需要进行模型传递。文章以两台傅里叶变换近红外光谱仪为实验研究对象,以玉米粉末样品为实验材料,采用移动窗口支持向量回归机(SVR)方法,把一台仪器上建立的近红外定量分析数学模型传递到另一台仪器上：当SVR回归的窗口大小为31个波长点,传递样品个数为15个时,模型传递效果较好,以“主机”所建蛋白含量的数学模型分析“从机”上修正后的光谱,化学测定值和近红外预测值间的相关系数提高到0.943 4,相对标准差为4.23%。表明采用移动窗口SVR法进行傅里叶变换近红外光谱仪间数学模型的传递是可行的。     

改进S/B算法的近红外光谱模型转移

针对模型转移中S/B算法对于非线性问题的局限性,在传统S/B算法进行线性拟合、偏最小二乘法求参数的基础上加以改进,提出了引入变量的高次幂、使用Lagrange插值法与Newton插值法求待定系数和插值多项式来解决两组数据的非线性问题。为了验证改进算法的有效性,先对主机样品建模并分别预测主机和子机样品,然后通过实验数据和评价指标,筛选出最佳函数关系进行子机模型校正,并分别用改进的S/B算法和传统的S/B算法对子机未知样本进行预测。实验结果表明：直接用主机原模型对子机预测的值与真实值差距较大,利用改进的S/B算法(H-S/B)比传统的S/B算法预测值更接近真实值。改进的S/B算法提高了预测值的准确性,解决了传统S/B算法的非线性问题,实现了更好的模型转移效果,增强了网络化模型应用的通用性。     

直接标准化算法在食用油酸值和过氧化值上的近红外光谱模型转移的研究

良好的食用油品质的近红外光谱定量分析模型以及不同仪器间的模型共享,能够提高模型间的利用率,可以满足食用油行业的发展需要。目的是探究直接标准化算法在食用油酸值和过氧化值两个指标上的模型转移。实验样本为大豆油、花生油、芝麻油、玉米油共计50个样本。实验仪器为VERTEX 70傅里叶红外光谱仪和Antaris Ⅱ傅里叶近红外光谱仪(包含光纤探头和透射探头)。一共进行了三组实验,第一组选取主仪器VERTEX 70和从仪器Antaris Ⅱ(光纤探头部件);第二组选取主仪器VERTEX 70和从仪器结合主仪器Antaris Ⅱ(透射部件),第三组选取主仪器Antaris Ⅱ(透射部件)和Antaris Ⅱ(光纤部件)。利用直接标准化算法,结合主仪器上的偏最小二乘法校正模型,针对从仪器上的食用油酸值和过氧化值的近红外光谱模型,进行了模型转移研究。研究表明,在同为光纤探头扫描的实验仪器VERTEX 70和Antaris Ⅱ(光纤探头部件)间,模型转移前酸值和过氧化值预测均方差分别为54.675 6和1 912.219 4,使用直接标准化算法后预测均方差分别下降到0.560 13和4.836。在食用油酸值和过氧化值指标上直接标准化算法对相同原理的仪器有较好的转移效果。与过氧化值相比直接标准化算法在酸值指标上的模型转移效果较好。该研究结果对于食用油品质的快速分析模型的广泛应用具有重要意义。     

实木板材抗弯强度的SWCSS-GFK-SVM数据迁移建模方法

木材的抗弯强度是木材重要的力学指标。光谱分析操作简单、方便、快速,已成为木材检测的重要手段。但是在应用中,面对检测环境的温湿度变化、仪器部件老化和附件更换等情况,采集到的光谱数据会发生一定程度的偏移。为了解决这一问题,以落叶松抗弯强度的近红外光谱预测模型为研究对象,针对不同类型光谱仪数据差异而导致主机模型泛化能力差的问题,提出了一种迁移学习与光谱转移校准结合的近红外光谱建模方法。加工200组落叶松板材试件样本,以NIRQuest512光谱仪为主机、One-chip微型集成光谱仪为从机,分别采集落叶松试材光谱数据,利用力学万能测试机检测试件力学真值;2类数据经过SNV、S-G、光谱剪切预处理后,从机数据使用PDS转移校正完成从机到主机光谱线性变换;然后,利用SWCSS对2类光谱数据进行特征提取,优选出主机与从机相关的稳定性一致光谱波段;最后,采用100组试件的2类近红外光谱数据进行GFK-SVM建模,得到适用于主机、从机设备的通用模型。为了验证模型方法的有效性,应用100组数据进行测试并对比了DS-PLS,PDS-PLS,DS-SWCSS-GFK-SVM和PDS-SWCSS-GFK-SVM等建模方法;结果表明,PDS采用了滑窗技术,方法相较DS方法可以更好地完成光谱数据的线形映射,在一定程度上提高了建模精度,统一了两组光谱仪之间的光程与波长数;SWCSS特征提取方法能够根据2组光谱数据集之间的差异与共性优选波段,保证特征选择的有效性与稳定性,提升建模精度;GFK-SVM适合不同光谱数据的迁移,能够通过合理的核函数参数优选实现不同类型光谱数据的高维映射,在高维空间中构建不同数据集的通用模型,实现主机模型在从机光谱预测上的泛化,提升了数据的使用效率,测试集相关系数R_p达到0.875,均方根误差RMSEP为11.975。     

水果糖度可见-近红外光谱手持式检测装置开发与试验

基于可见-近红外光谱分析技术开发了手持式水果糖度检测装置,并用于水果糖度的现场实时分析。硬件系统主要包括微型光谱仪、卤素灯、OLED显示屏、单片机及驱动电路等。采用Keil 5开发工具,用C语言开发单片机程序。配合上位机以LabView编写的光谱采集程序,实现光谱信息的采集。以苹果和大桃作为检测对象,对装置的检测精度和模型在2台装置（主机、从机）间的传递效果进行了探讨。在实验室和果园环境下,分别获取了苹果、大桃样本在600～950 nm范围的可见-近红外光谱。对实验室条件下采集的主机校正集光谱进行分析,经过平滑、最大值归一化、二阶导数等预处理后,利用偏最小二乘算法分别建立了苹果、大桃的糖度检测模型。模型导入主机装置后,对预测集样本进行检验。对苹果、大桃的预测集相关系数和预测均方根误差分别为0.925,0.587%和0.821,0.613%。采用分段直接校正和基于典型相关分析算法的模型传递方法将模型由主机传递到从机。对比后发现,基于典型相关分析算法取得了更好的模型传递结果。从机对苹果、大桃糖度的预测集相关系数和预测均方根误差分别为0.883,0.641%和0.805,0.626%。将实验室条件下建立的模型用于树上采集到的水果光谱数据分析,得到预测集相关系数和预测均方根误差分别为0.866,0.741%和0.816,0.627%。整体检测结果表明,该装置可以满足对苹果、大桃糖度的有效检测,借助模型传递算法,实现了模型在不同装置间的共享和有效传递,且实验室环境下采集的数据建立的模型可以用于树上水果糖度的有效检测,该装置具有较大的经济价值和应用前景。