多元散射校正预处理波段对近红外光谱定标模型的影响

利用近红外光谱对非均匀样品进行分析时,所得样品光谱中包含由光散射导致的干扰信息,通常需要借助多元散射校正算法(multiple scattering correction, MSC)对光谱进行预处理。由于不同波段光谱中所包含的散射信息、噪声水平、基线漂移程度等存在差异,利用MSC方法对光谱进行预处理时,基于不同波段的光谱数据会得到不同的校正结果,进而影响所得定标模型的可靠性。以60个全麦粉样品为研究对象,确定定标区间后,对包含定标区间的不同波段的原始光谱分别进行MSC处理,并利用固定区间内的光谱数据结合偏最小二乘回归(partial least square regression, PLSR)方法建立分析样品中蛋白质含量的定标模型,研究了MSC光谱预处理波段对定标模型的影响,并对MSC光谱预处理波段进行了优化,使定标模型的相关系数由0.96提高到0.98,交互验证均方根误差(root mean squares error of cross validation, RMSECV)由0.37%降低到0.32%。结果表明：利用MSC方法对样品光谱预处理时,光谱预处理波段会影响多元散射校正对光谱中非化学吸收信息的校正能力,确定合适的预处理波段是获得可靠分析结果的一个前提条件。     

赣南脐橙果园土壤全氮和有机质近红外漫反射光谱检测

选取赣南脐橙果园土壤作为研究对象,探讨在4 000～7 500 cm-1范围内的光谱分析土壤全氮和有机质的可行性。采集的近红外光谱采用多元散射校正、一阶微分、二阶微分、七点平滑等多种预处理对比分析,分别建立了有机质和全氮含量偏最小二乘模型。实验得出全氮预测模型在4 000～7 500 cm-1范围内采用七点平滑(SG)进行预处理模型较为理想,校正集相关系数(r_c)为0.802,校正均方根误差(RMSEC)为2.754,预测集相关系数(r_p)为0.715,预测均方根误差(RMSEP)为3.077;有机质预测模型在4 000～7 500 cm-1范围内采用标准正态变量变换(SNV)预处理模型较为理想,r_c为0.848,RMSEC为0.128,r_p为0.790,RMSEP为0.152。研究表明近红外漫反射光谱可快速用于赣南脐橙果园的土壤中全氮和有机质含量的快速检测。     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

基于拉曼光谱的乙醇柴油密度、粘度和乙醇含量分析研究

乙醇柴油作为清洁燃料是柴油很好的替代品,不同乙醇含量的乙醇柴油其粘度有差别,而乙醇的含量直接影响着柴油机燃烧性能。所以急需一种方法实现快速对乙醇柴油主要指标在线监测。对采集到的不同浓度的乙醇柴油的原始拉曼光谱数据使用Savitzkv-Golay平滑(S-G)、多元散射校正(MSC)、微分处理(1stD和2ndD)、标准正态变量校正(SNV)等四种方法以及他们的组合方法对光谱数据进行预处理后,分别建立了乙醇柴油密度、粘度和乙醇含量的偏最小二乘回归(PLSR)模型,比较不同的预处理方法发现,乙醇含量和粘度在S-G+2ndD预处理后所建立的PLSR模型效果最好,预测集R_p分别为0.930和0.918,RMSEP分别为1.237和0.034;S-G+1stD预处理后所建立的乙醇柴油密度PLSR模型结果最优,预测集R_p最大,为0.962,RMSEP最小,为0.14×10-2。将经过S-G+2ndD预处理后的光谱数据选用递归偏最小二乘算法(RPLS)、无信息变量消除(UVE)、正自适应加权算法(CRES)、连续投影算法(SPA)四种变量筛选方法以及将它们组合筛选得到的波长变量分别作为输入变量建立了PLSR模型,在使用SPA-CARS波长筛选方法所建立的乙醇柴油乙醇含量的预测模型效果最优,其预测集的R_p,RMSEP分别为0.978 1和0.825 5。结果表明使用该方法可以很好的对乙醇柴油的密度、粘度以及乙醇含量等主要指标进行预测。     

应用可见/近红外光谱技术快速检测果珍中二氧化钛的含量

为了实现快速检测果珍中的二氧化钛含量,提出了应用近红外光谱技术结合化学计量学的快速检测方法。研究采用了320份果珍样本进行光谱特性的检测,其中200个样本用来建模,120个样本进行预测。首先比较了标准正态变量校正(SNV)、变量标准化(Normalize)、多元散射校正(MSC)等6种不同的数据预处理方法对偏最小二乘法(PLS)建模预测效果的影响。然后将PLS模型与应用主成分(PC)建立的主成分-神经网络校正(PC-ANN)模型进行比较。结果表明,MSC预处理的效果最好,PLS模型的最佳主成分数为7,预测值与标准值的相关系数R2达0.900 8,预测标准误差RMSEP为0.05。PC-ANN模型预测值与标准值的R2为0.868 4,RMSEP为0.04。说明PLS模型比PC-ANN模型的预测效果好。同时本研究也说明能够应用可见/近红外技术对二氧化钛进行快速定量测定。     

近红外漫反射光谱无损检测乳粉蛋白质的研究

利用近红外漫反射光谱技术对奶粉蛋白质含量的快速无损检测进行了研究。挑选来自国内不同地区的29种奶粉,以化学分析值作参比,采用偏最小二乘回归算法建立奶粉光谱信息和蛋白质含量的定量模型,预测均方根差(RMSEP)为0.687%。采用波长选择对模型进行优化后,波长点从1 558个减为11个,大大加快了运算速度,同时还在一定程度上提高了模型的精度。为了减小颗粒大小不均匀和粒子表面非特异性散射的影响,对光谱数据进行了标准正态变量(SNV)变换和多元散射校正(MSC),结果表明这两种方法是有效的,得到RMSEP减小了约37%。研究结果表明,近红外漫反射光谱测定奶粉中蛋白质含量实时、快速,能满足工业过程分析中的测量精度要求,为提高奶粉质量分析水平提供了新的途径。     

中红外光谱对甲醇汽油甲醇含量检测研究

甲醇汽油是一种清洁能源,甲醇汽油中甲醇的含量决定了汽油的性能。通过中红外光谱对甲醇汽油中甲醇含量进行定量检测和分析。首先,对采集的甲醇汽油原始中红外光谱进行平滑处理（smoothing）、多元散射校正（MSC）、基线校正（baseline）、归一化（normalization）等预处理,再建立PLS模型,对比选择最佳预处理方法,结果表明：在多元散射校正（MSC）处理后建立的PLS模型效果最好,模型的预测集相关系数r为0.918,预测均方根误差RMSEP为2.107。为进一步简化模型,提高预测精度,采用无信息变量消除(uninformative variable elimination, UVE)方法对波长进行筛选,将UVE波段筛选之后的作为模型的输入变量,采用偏最小二乘法（partial least squares, PLS）、主成分回归(principal components regression, PCR)和最小二乘支持向量机（least square support vector machine, LSSVM）三种方法分别建立甲醇汽油中甲醇含量的定量预测模型,并比较不同模型的预测效果和结果。结果表明,使用无信息变量消除可以较好提高数据的运算速度,其中,UVE-PLS模型建模效果最好,r和RMSEP分别为0.923和2.075。该实验表明中红外光谱检测甲醇汽油中甲醇含量是可行的并可以得到较好的效果;UVE是一种对甲醇汽油的中红外光谱非常有效的波段筛选方法,该模型的建立对石油化工领域具有较为重要的意义。     

高光谱成像的土壤剖面水分含量反演及制图

传统土壤水分的获取方法仅可获得离散的土壤水分点位数据,难以获得剖面上精细且连续的水分含量分布图。研究了野外条件下利用近红外高光谱（882～1 709 nm）成像反演剖面土壤水分含量（SMC）,并实现精细制图的可行性。研究剖面位于江苏省东台市,我们利用近红外高光谱成像仪对剖面进行了5天原位连续观测,共采集了280个土样用于烘干法测定SMC。原始高光谱图像经数字量化值（DN）校正、黑白校正、拼接、几何校正、剪切和掩膜等一系列预处理后,提取各采样点的平均光谱反射率。提取光谱（Raw）经吸光度[LOG₁₀(1/R)],Savitzky-Golay平滑（SG）、一阶微分（FD）、二阶微分（SD）、多元散射校正（MSC）和标准正态变量（SNV）转换后,采用偏最小二乘回归（PLSR）和最小二乘支持向量机（LS-SVM）方法建立SMC预测模型,并对比分析不同光谱预处理方法与建模方法组合条件下SMC的预测精度。结果表明,光谱反射率随SMC增加逐渐降低,不同光谱预处理方法的预测精度有所差异,除MSC方法外,同一光谱预处理方法的LS-SVM模型预测精度均高于PLSR模型,并且基于LOG₁₀(1/R)光谱的LS-SVM模型对SMC预测精度最高,其建模集的决定系数（R2_c）和均方根误差（RMSE_c）分别为0.96和0.65%,预测集的决定系数（R2_p）、均方根误差（RMSE_p）和相对分析误差（RPD_p）分别为0.88,1.05%和2.88。利用最优模型进行剖面SMC的高空间分辨率精细制图,通过比较SMC反演图中提取的预测值与实测值关系发现预测精度较高（R2: 0.85～0.95, RMSE: 0.94%～1.02%）,且两者在剖面中的变化趋势基本一致,说明SMC反演图不仅能很好地反映出土壤水分在整个剖面中毫米级的含量分布信息,也可反映出同一位置处不同天数间的含量差异。因此,利用近红外高光谱成像结合优化的预测模型,能够实现土壤剖面SMC的定量预测及精细制图,有助于快速、有效监测田间剖面土壤水分状况。     

柑橘叶片叶绿素含量拉曼光谱定量分析方法研究

柑橘叶片叶绿素含量的准确检测对柑橘营养状况和生长态势具有极其重要的意义。研究了快速无损诊断柑橘叶片中叶绿素含量的方法,以期为拉曼光谱检测技术用于柑橘叶片叶绿素含量检测提供参考。采集不同冠层高度和不同地理分布的柑橘叶片120片,拭去叶片表面的灰尘,用去离子水对其清洗、晾干装入密封袋中并用标签分类标注。然后对柑橘叶片进行拉曼光谱采集,参数设置如下：分辨率为3 cm-1,积分时间为15 s;激光功率为50 mW。分别采用BaselineWavelet、迭代限制最小二乘（IRLS）和不对称最小二乘(ALS)三种算法对柑橘叶片的拉曼光谱背景进行扣除,使用偏最小二乘（PLS）方法建立定量模型;四种光谱预处理方法归一化(Normalization),Savitzky-Golay卷积平滑(SG smoothing, SG平滑)、多元散射校正(MSC)和Savitzky-Golay一阶导数(SG 1st Der)对扣除背景后的光谱进行进一步的优化处理。结果表明：采用原始光谱、BaselineWavelet、IRLS、ALS背景扣除处理后的光谱建立PLS模型,模型的相关系数r分别为0.858,0.828,0.885和0.862,交互验证均方根误差(RMSECV)分别为5.392,5.870,4.934和5.336,最佳因子数分别为8,3,8和8;IRLS背景扣除处理后的PLS模型的RMSECV最小,相关系数最高,建模效果最好。分别采用SG平滑、归一化、MSC和SG 1st Der预处理方法对IRLS背景扣除后光谱进行预处理并建立PLS模型,结果表明：IRLS光谱及其结合SG平滑、归一化、MSC和SG 1st Der四种预处理方法的PLS模型的R分别为0.885,0.897,0.852,0.863和0.888,RMSECV分别为4.934,4.715,5.595,5.182和4.962;最佳因子数分别为8,8,8,8和5;IRLS-SG平滑后PLS模型的RMSECV最小,模型效果最优。对IRLS-SG平滑预处理后的PLS模型展开验证,预测相关系数r为0.844,预测均方根误差(RMSEP)为5.29,预测精确度较高。采用拉曼光谱结合三种光谱背景扣除方法和四种预处理方法对柑橘叶片叶绿素含量进行定量分析表明：采用IRLS背景扣除结合SG平滑预处理后的PLS模型最优,建模集r为0.897,RMSECV为4.715;预测集r为0.844,RMSEP为5.29,预测精度较高。拉曼光谱结合背景扣除方法可以为柑橘叶片叶绿素含量的定量分析提供一种快速简便的分析方法。     

光谱预处理方法选择研究

复杂样品光谱信号往往会受到杂散光、噪声、基线漂移等因素的干扰,从而影响最终的定性定量分析结果,因此通常需要在建模前对原始光谱进行预处理。目前已有的光谱预处理方法包括很多种,如何寻找合适的预处理方法是很棘手的问题。一种途径是观察光谱信号特点选择预处理方法（visual inspection）,另一种途径是根据建模性能的优劣反过来选择预处理方法（trial-and-error strategy）。前者无需建模,更具有解释性,但是有时会由于选择者主观的因素导致错误的结果;后者无需观察光谱特点,但需要考察大量的预处理方法,对大数据集比较费时。因此需要探讨哪种选择方式更科学与合理。本研究采用9组数据,通过对10种预处理方法的120种排列组合来探讨预处理的必要性及预处理方法的选择。首先,优化偏最小二乘（PLS）的因子数及一阶导数、二阶导数、SG平滑的窗口参数,连续小波变换（CWT）的小波函数和分解尺度。然后把无预处理及一阶导数、二阶导数、CWT、多元散射校正（MSC）、标准正态变量（SNV）、SG平滑、中心化、Pareto尺度化、最大最小归一化、标准化10种预处理方法按照背景校正、散射校正、平滑和尺度化的顺序进行排列组合,得到120种预处理及其组合方法。最后对不同数据及相同数据的不同组分分别进行120种预处理,分析光谱信号特点及预处理后PLS建模的预测均方根误差值（RMSEP）。结果表明,相比观察光谱信号特点,根据光谱与预测组分的建模效果可以更为准确地选择最佳预处理方法。对于多数数据,采用合适的预处理方法可以提高建模效果;对于不同的数据集,因为其数据集信息和复杂性不同,所以其最佳预处理方法也不同;对于相同数据集,即使光谱相同,但不同组分的预处理方法也不相同。因此,不存在普适性的最佳预处理方法,最佳预处理方法除了与光谱有关,还与预测组分有关。通过对已有预处理方法按照预处理目的进行分类再排列组合是选择最佳预处理方法的一种有效途径。     

最小二乘支持向量机结合中红外光谱测定甲醇柴油甲醇含量

采用中红外光谱法对甲醇柴油的甲醇含量进行检测分析。首先,对采集到的原始光谱进行预处理(标准正则变换、多元散射校正、一阶微分、二阶微分、Savitzky-Goly平滑),采用偏最小二乘法和最小二乘支持向量机建立了甲醇柴油的甲醇含量预测模型,并比较了不同预处理方法对模型预测能力的影响。实验结果表明,LSSVM的建模效果最佳,其预测集相关系数R~2为0.981 8,预测均方误差RMSEP为1.3917%(体积比)。因此,中红外光谱技术可用于甲醇柴油中甲醇含量的快速检测,且可以达到很好的效果。     

基于近红外反射光谱的洋葱可溶性固体物检测

研究利用近红外(924～1 720 nm)反射光谱预测了洋葱的可溶性固体物含量。实验选取了三种不同产地和不同采收期的洋葱为样本(268)。在重复采集光谱数据之后,榨取对应光谱采集处洋葱块汁,测定可溶性固体物参考值。研究对比了Savitzky-Golay平滑、散射校正和微分处理等预处理方法,同时基于偏最小二乘回归方法建立了统计模型。结果表明,带S-G平滑的微分处理在平滑窗口为32,跨度为10时效果最佳。一阶微分比二阶微分的预处理效果要好,预测复相关系数R2为0.87,均方根误差RMSEP为2.42 °Brix。对比显示,无平滑处理光谱数据散射校正预处理得到的结果最好,预测复相关系数R2为0.88(RMSEP=2.31 °Brix)。采用交叉验证得到的PLSR模型预测复相关系数R2为0.90,RMSEP为1.84 °Brix,其相对分析误差RPD为3。说明加散射校正处理的近红外反射光谱可用于洋葱的可溶性固体物检测。     

基于XRF-CNN土壤重金属Zn元素含量预测模型研究

结合X射线荧光光谱法,针对土壤中重金属元素Zn含量的预测问题,提出基于深度卷积神经网络回归预测模型.对原始土壤进行相关预处理,用粉末压片法制作土壤压片,采用X射线荧光光谱法(X-Ray-fluorescence,XRF)获取土壤光谱,相比于传统检测方式,XRF法具有检测速度快、精度高、操作简单、不破坏样品属性并且可实现...     

矿区复垦农田土壤重金属含量的高光谱反演分析

以矿区复垦农田土壤为研究对象,利用实验室获取的土壤重金属元素砷(As)、锌(Zn)、铜(Cu)、铬(Cr)和铅(Pb)的含量与土壤可见近红外高光谱数据建立重金属元素含量的定量估算模型。为了保证模型预测的精度和稳定性,首先,对原始光谱数据进行平滑处理,并进行光谱变换,即：一阶导数,标准正态变量变换及连续统去除变换;然后,通过相关性分析提取不同变换光谱的特征波段;最后,将最小二乘支持向量机与传统的多元线性回归和偏最小二乘回归方法的结果相比较。研究表明：(1)以不同变换光谱数据建立反演模型均有较好的稳定性并达到一定精度,其中以最小二乘支持向量机方法优于偏最小二乘回归优于多元线性回归模型(除少数几个情况外);(2)从不同光谱变换数据中提取的光谱特征对反演模型结果有一定影响,其中以连续统去除和标准正态变量变换建模结果较好,一阶导数变换稍差。因此,利用高光谱遥感技术来定量估算土壤重金属含量是可行的,而且,必要的光谱预处理对提高估算模型的精度很有帮助。     

基于高光谱技术的蛋白粉掺假检测研究

蛋白粉是健身者必备的营养补剂,市场需求在不断增加,一些不法商家为了谋取利益,在蛋白粉中加入廉价的粉末售卖。传统的蛋白粉掺杂的检测方法费时、费力,操作复杂,且成本昂贵。高光谱技术具有易于操作、在不损害实验样本的情况下可快速检测等优点,因此,提出使用高光谱技术以实现蛋白粉掺假检测。在蛋白粉中分别加入质量百分数5%～60%,浓度间隔5%的三类掺假物（玉米粉、大米粉和小麦粉）,并采集所有样本的光谱信息。在对蛋白粉中的玉米粉、大米粉和小麦粉三类掺假物进行定性判别时,首先分别采用卷积平滑（SG）、标准化（Normalize）、多元散射校正法（MSC）、基线校正（Baseline）和标准正态变换（SNV）的预处理方法对光谱数据进行处理,然后建立基于主成分回归（PCR）、反向传播神经网络（BPNN）和随机森林（RF）的模型,其中基于全波段光谱MSC预处理方法下建立的RF模型最优,其整体准确率达到了100%,其对应的R_P和RMSEP分别为0.997 9和0.018 9。在对蛋白粉中不同掺假物浓度进行定量分析时,对三类掺假样本的光谱分别进行SG,Normalize,MSC,Baseline和SNV的预处理,并建立LSSVM模型;比较不同预处理方法下的各模型之间的性能,在蛋白粉中掺玉米粉、大米粉和小麦粉的LSSVM预测模型最佳预处理方法分别是无、Baseline和Normalize,然后,采用连续投影算法（SPA）和竞争性自适应重加权算法（CARS）对其筛选,并建立LSSVM模型,三类掺假样本的SPA-LSSVM模型对应的R_P为0.989 0,0.986 0和0.997 9,CARS-LSSVM模型对应的R_P为0.991 0,0.994 6和0.999 1,故三类掺假样本的CARS-LSSVM模型预测效果更佳。研究表明：高光谱技术可以实现对蛋白粉掺假的定性、定量的检测,并且操作简单、检测快速和无损。     

基于BP-ANN和PLS的近红外光谱无损检测李果实品质的研究

可溶性固形物(SSC)和可滴定总酸(TA)含量是影响李果实品质的重要指标,经典的破坏性检测方法不适用于果实按品质分级,近红外光谱(NIRS)检测方法具有速度快、操作简便、可无损检测果实品质。为实现NIRS无损快速检测安哥诺李果实可溶性固形物和可滴定总酸含量,利用NIRS采集李果实的漫反射光谱,同时采用糖度计测定安哥诺李果实的SSC,采用滴定法测定了李果实TA含量,使用杠杆值和F概率值剔除异常样品,采用软件优化结合人工筛选光谱波段,使用了消除常数偏移量、减去一条直线、矢量归一化(SNV)、最大-最小归一化、多元散射校正(MSC)、一阶和二阶导数结合平滑处理、一阶导数结合减去一条直线和平滑处理、以及一阶导数结合SNV或MSC校正等光谱预处理方法,分别采用偏最小二乘法(PLS)和主成分分析结合反向传播人工神经网络(BP-ANN)建立李果实SSC、 TA的定量分析模型。结果表明,李果实SSC和TA的最佳PLS建模效果波段范围分别为4 000～8 852和4 605～6 523 cm^-1。SSC的PLS模型的最佳光谱预处理方法为MSC校正,最佳模型校正相关系数(R_...     

基于SERS与PCA-SLR实现乙基对氧磷定量检测

利用表面增强拉曼光谱(SERS),结合主成分分析(PCA)与分段线性回归(SLR)算法实现乙基对氧磷的定量检测。首先采集820～1 630 cm-1乙基对氧磷溶液SERS,并对820～1 630 cm-1(全范围)与845～875 cm-1(特征范围)光谱分别进行标准正态变换(SNV)、多元散射校正(MSC)、一阶导数绝对值、二阶导数等预处理;然后经PCA降维后利用SLR建立乙基对氧磷溶液浓度预测模型。通过对比不同模型的预测准确度,发现特征范围光谱采用MSC预处理后所建立的模型为最优,总体预测均方误差值(RMSEP)为0.33,满足乙基对氧磷定量检测的需要。     

表面增强拉曼光谱法快速检测脐橙果肉中三唑磷农药残留

采用表面增强拉曼光谱技术结合快速溶剂前处理方法检测脐橙果肉中三唑磷农药残留,应用化学计量学方法建立脐橙果肉中三唑磷农药残留的快速检测模型。以脐橙果肉提取液为基质,采用N-丙基乙二胺、C18和石墨化碳去除果肉中有机酸、色素等荧光物质,配制不同浓度的三唑磷农药溶液,应用不同预处理方法对光谱信号进行预处理,建立偏最小二乘模型。结果表明,以脐橙果肉提取液为基质的三唑磷溶液最低检测浓度低于0.5mg·L-1;归一化预处理后建立的模型预测性能最好,模型对预测集样本的均方根误差为1.38 mg·L-1,相关系数为0.976 6,相对分析误差为(RPD)4.66。预测回收率为95.97%～103.18%,相对误差绝对值在5%以下,表明模型具有较好的预测效果。对4个未知浓度样本进行配对t检验,预测值与真实值无显著差异,说明所建立的方法准确可靠。     

煤粉发热量近红外光谱检测的预处理方法研究

煤炭的发热量是评价煤炭品质的重要指标。首先对比分析了平滑处理、微分处理、多元散射校正(MSC)以及标准归一化(SNV)等光谱与处理方法在改善煤粉近红外漫反射光谱信噪比的效果,然后利用偏最小二乘法(PLS)和主成分分析方法(PCR)分别对采用每种预处理方法处理后的光谱建立煤粉发热量模型,发现采用5点平滑处理、多元散射校正和标准归一化处理可使模型的性能有较明显的改观,5点平滑效果最好,相关系数、校正标准差和预测标准差分别为：0.989 9,0.0004 9和0.0005 2,采用25点平滑处理产生了过平滑现象,导致模型的性能变坏,采用微分预处理后的光谱建立的模型没有明显变化,对模型的性能影响不大。