基于交互式自模型混合物分析的近红外光谱波长变量优选方法

为了提高近红外光谱定量分析的预测精度和建模效率,提出了一种基于交互式自模型的混合物分析的波长优选方法,根据光谱各波长变量的纯度值和标准差值,选择含有用信息的波长变量,并引入相关权函数解决变量间共线性问题.通过依次迭代选择的变量建立定量校正模型,由交互验证均方根预测误差(RMSECV)确定最佳波长变量个数.应用该波长变量优选方法对具有不同葡萄糖含量的两组(四成分葡萄糖水溶液实验和人体血浆实验)近红外光谱数据进行分析,两组数据中分别只选择了全部变量的0.3%建立定量校正模型,其验证集葡萄糖浓度的均方根预测误差(RMSEP)分别减少为669和15 mg/L.与全谱范围及优选波段建立的定量校正模型比较,本方法能够通过波长变量优选最小化冗余信息、提高预测精度及建模效率.     

基于X射线荧光光谱与多特征串联策略的土壤重金属含量预测

针对土壤重金属快速检测需求,基于模型集群分析方法进行特征波长变量选择,提出了利用X射线荧光光谱技术检测农田土壤中重金属含量的方法。采集91个配制土壤样品的X射线荧光光谱值,用于构建土壤重金属检测模型。通过多特征串联方法提取特征波长变量,首先采用区间组合优化算法(ICO)粗选波长,然后采用竞争适应性重加权采样法(CARS)剔除区间波长中的无关变量,最后采用连续投影算法(SPA)进行波长精简。通过多特征串联ICO-CARS-SPA算法对X射线荧光光谱进行特征变量选择,得到5组(26、25、29、39、33)特征波长点,据此建立Cu、Zn、As、Pb、Cr 5种土壤重金属含量偏最小二乘(PLS)检测模型,并与其他传统特征波长选择方法进行了对比。结果表明,ICO-CARS-SPA算法所选变量结合偏最小二乘(PLS)的建模效果最优,Cu、Zn、As、Pb、Cr的验证集决定系数分别为0.993 3、0.992 6、0.995 6、0.993 2和0.988 6,均方根误差分别为6.938 5、23.698 4、3.632 6、8.510 6和14.764 5,验证集平均相对偏差分别为0.255 1、0.065 0、0.102 5、0.241 4、0.104 7。基于X射线荧光光谱结合多特征串联策略的ICO-CARS-SPA算法可剔除更多无效波长,提升有效信息贡献度,简化了检测模型复杂度,为土壤重金属含量预测模型选取合适的特征波段提取方法提供了理论支撑。     

最小角回归算法(LAR)结合采样误差分布分析(SEPA)建立稳健的近红外光谱分析模型

结合采样误差分布分析(SEPA)框架和最小角回归(LAR)算法,提出了一种SEPA-LAR变量逐步筛选方法用于波长选择,并建立了稳健的近红外光谱分析模型。利用蒙特卡洛采样(MCS)获得多个数据集划分建立多个模型,对光谱各变量(波长)在所有模型的LAR系数进行统计分析,按其回归系数绝对值总和由大到小排序,选择排序靠前的波长建立偏最小二乘(PLS)模型,以未参与SEPA-LAR和建模的独立验证集对该模型进行评价。将玉米湿度、柴油密度以及奶酪脂肪的近红外光谱数据用于SEPA-LAR的性能检验,独立验证集的预测均方根误差(RMSEP)分别为0.001 44%(湿度指标)、0.001 58 g/mL(密度指标)以及1.13 g/100 g(脂肪含量指标)。结果表明,相较于竞争自适应重加权采样法(CARS),该方法具有更优异的稳定性;相较于移动窗口偏最小二乘(MWPLS)以及蒙特卡洛无信息变量消除(MCUVE)方法,该方法选择的变量更少,预测误差更低,预测性、可解释性和稳定性更优异。     

蒙特卡洛-偏最小二乘回归系数法用于近红外光谱变量筛选

提出了一种蒙特卡洛-偏最小二乘回归系数法用于近红外光谱的变量筛选。方法主要包含如下几步:(1)采用蒙特卡洛采样方式,建立多个子集;(2)对每个子集建模,计算其回归系数,并按回归系数绝对值大小对各子模型中的变量进行排序;(3)按频数统计方法对波长排序;(4)对上步中排序后的波长以逐步累加进入最佳变量子集的方式进行交互验证,用以选择最佳变量集。将方法用于生物样品溶液和烟草样品近红外光谱的变量筛选,最终分别从原始的1234及1557个变量中选择了27和68个特征变量,对独立测试集进行预测的RMSEP分别从全谱变量的0.02716和0.06411降低为0.02372和0.03977。方法可有效地对近红外光谱进行变量筛选。     

近红外光谱结合CARS变量筛选方法用于液态奶中蛋白质与脂肪含量的测定

采用CARS(Competitive adaptive reweighted sampling)变量筛选方法建模,显著提高了液态奶中蛋白质与脂肪近红外模型的预测精度。用蒙特卡罗采样(Monte-Carlo sampling)方法先剔除奇异样本,再对光谱进行中心化与Karl Norris滤波降噪处理,通过CARS方法筛选出与样本性质密切相关的变量,建立预测蛋白质与脂肪含量的偏最小二乘法(PLS)校正模型,并与未选变量的PLS模型进行比较。以定标集相关系数(r2)及交互验证均方残差(RMSECV)和预测误差均方根(RMSEP)作为判定依据,确定了蛋白质与脂肪的最佳建模条件。蛋白质与脂肪校正模型的相关系数分别为0.975 0、0.995 1,RMSECV分别为0.194 8、0.136 3,RMSEP分别为0.113 3、0.140 1,预测结果优于未选变量的PLS模型及其他选变量方法,有效简化了模型,适于液态奶中脂肪和蛋白质的快速、无损检测。     

可见-近红外光谱结合CARS优化模型预测棕榈油碘值

采用可见-近红外透射光谱结合CARS变量优选方法优化模型,对棕榈油碘值进行近红外定量分析。通过将使用不同预处理方法产生的建模效果进行比较,找到了理想的预处理方法,通过CARS变量选择方法优选出与棕榈油碘值相关的有效波点共60个,利用60个有效波点建立棕榈油碘值优化模型。根据优化模型的建模集相关系数(R_c=0.9814)和预测集相关系数(R_p=0.9806),得到的建模均方根误差(RM SEC=0.0398)和预测均方根误差(RM SEP=0.0406)优于采用全波段建立的模型得到的系数误差。利用可见近红外透射光谱结合CARS变量优选方法,简化了棕榈油碘值模型,并能够保证碘值预测的准确度。     

基于支持向量机的近红外特征变量选择算法用于树种快速识别

将稳定度自适应重加权采样特征变量选择算法用于支持向量机定性分析(Support vector machine-stability competitive adaptive reweighted sampling,SVM-SCARS)。该算法通过对数据多次采样建模计算各变量的稳定度值,稳定度值能更加客观准确地评估变量在建模中的作用,因此可作为变量重要性的评价依据。通过循环迭代方式,采用自适应重加权采样技术逐步筛选变量,然后以每次循环所得变量子集建立SVM模型,并以模型交叉验证分类正确率(Correct classification rate of cross validation,CCRCV)评估子集优劣,确定最优特征变量子集。将该算法结合漫反射近红外光谱技术建立了制浆造纸常用木材的树种识别模型,实现了对4种桉木和2种相思木的快速识别分类。最终共筛选出15个特征变量建立分类模型,模型对各树种分类的正确率达97.9%,具有较好的分类效果。与全光谱模型和递归特征消除支持向量机模型相比,SVM-SCARS能够筛选出更少的特征变量,且模型具有更好的预测性能和稳定性。研究结果表明,SVM-SCARS算法能够有效优化光谱特征变量,提高近红外在线分析模型在木材材性分析中的稳健性和适用性。     

近红外光谱法快速鉴定油菜杂交种的纯度

建立近红外光谱技术测定油菜杂交种纯度的方法。考察了样品杯类型、光谱预处理方法和波长范围对近红外模型预测性能的影响。结果发现,由不同样品杯采集近红外光谱所建立的校正模型,其预测性能存在较大的差异,旋转杯明显优于安瓿瓶;采用消除常数偏移量对光谱进行预处理能有效地提取光谱信息,选择5 000~8 000 cm–1波数范围作为建模谱区,其包含的有效信息率最高。在最佳条件下建立油菜杂交种纯度的校正模型,其决定系数(R2)为0.980 0,交互验证均方根误差(RMSECV)为0.008 59。利用该模型对预测集进行测定,预期均方根误差(RMSEP)为0.007 59,表明该模型具有很好的预测性能,近红外光谱法用于杂交种纯度的鉴定是可行的。     

激光诱导击穿光谱结合CARS变量选择方法定量检测奶粉中的镁

为监测奶粉中的镁(Mg)元素含量,本研究利用激光诱导击穿光谱(LIBS)技术对奶粉中Mg元素进行定量检测。对于每个样品,采用压片机在20 MPa压力下进行压片处理,然后利用高精度光谱仪在200~750 nm波段范围内获取压片样品的LIBS光谱。根据LIBS光谱特征,将光谱划分为4个波段,并进行初步的波段优选和光谱预处理分析。在此基础上,采用竞争性自适应重加权算法(CARS)对波长变量进行优选,再应用偏最小二乘法(PLS)建立奶粉中Mg元素含量的预测模型,并对预测集样本进行预测。研究结果表明,LIBS技术结合CARS变量选择方法可以用于奶粉中Mg元素含量的定量检测,最优CARS-PLS预测模型的校正集和预测集的决定系数及平均相对误差分别为0.9999,0.20%和0.9742,3.29%,优于原始光谱所建立的PLS模型,且所用波长变量仅为PLS模型的7.7%。由此表明,CARS方法能有效选择有用的波长变量,可简化预测模型及提高预测模型的稳定性。本研究为奶粉中镁元素含量的快速定量分析提供参考。     

离子液体吸附剂对木犀草素的富集及CARS变量筛选的近红外光谱分析方法

该文以咪唑型离子液体作为原料制备吸附剂富集稀溶液中的木犀草素,利用竞争性自适应权重(CARS)变量筛选的方法建立了一种快速测定木犀草素的近红外光谱分析方法。考察了吸附剂用量、pH值、振荡时间对吸附效果的影响,并探究了吸附剂的吸附能力;富集木犀草素的吸附剂经近红外漫反射光谱检测,采用CARS变量筛选的方法结合偏最小二乘回归(PLS)建立了木犀草素的定量校正模型。结果表明,吸附剂用量为0.15 g、pH值为7、振荡时间为20 min的最佳条件下,吸附率达90.9%,且该吸附符合Langmuir等温吸附模型,最大吸附量为7.1 mg/g。近红外光谱建模中,与未经CARS变量筛选处理作为对照,对比发现经CARS变量筛选的方法结果更优,并采用连续小波变换(CWT)的光谱预处理进行验证,结果表明经CWT处理后,预测残差(RPD)值增大,说明了模型的可靠性。该方法可有效富集稀溶液中的木犀草素,采用CARS变量筛选结合CWT光谱预处理的近红外光谱方法可实现对稀溶液中木犀草素的灵敏、快捷检测。     

近红外光谱法定性描述酵母菌的生长过程

提出了一种基于近红外光谱分析技术的酵母菌生长过程描述方法.利用Antaris Ⅱ型傅里叶变换近红外光谱仪获取酵母菌培养过程中,发酵物样本在10000~4000 1范围内的光谱数据,同时采用光电比浊法测定各样本的光密度(Optical density, OD)值;运用竞争性自适应重加权采样(Competitive adaptive reweighted sampling, CARS)算法优选特征光谱,再利用极限学习机(Extreme learning machine, ELM)建立酵母菌生长过程4个阶段的分类模型.研究结果显示,参与CARS-ELM模型建立的波长个数为30,其10次运行在训练集和测试集中的平均识别率分别为98.68%和97.37%.研究结果表明,利用近红外光谱分析技术结合适当的化学计量学方法描述酵母菌生长过程是可行的.     

Key wavelengths screening using competitive adaptive reweighted sampling method for multivariate calibration

By employing the simple but effective principle ‘survival of the fittest’ on which Darwin's Evolution Theory is based, a novel strategy for selecting an optimal combination of key wavelengths of multi-component spectral data, named competitive adaptive reweighted sampling (CARS), is developed. Key wavelengths are defined as the wavelengths with large absolute coefficients in a multivariate linear regression model, such as partial least squares (PLS). In the present work, the absolute values of regression coefficients of PLS model are used as an index for evaluating the importance of each wavelength. Then, based on the importance level of each wavelength, CARS sequentially selects N subsets of wavelengths from N Monte Carlo (MC) sampling runs in an iterative and competitive manner. In each sampling run, a fixed ratio (e.g. 80%) of samples is first randomly selected to establish a calibration model. Next, based on the regression coefficients, a two-step procedure including exponentially decreasing function (EDF) based enforced wavelength selection and adaptive reweighted sampling (ARS) based competitive wavelength selection is adopted to select the key wavelengths. Finally, cross validation (CV) is applied to choose the subset with the lowest root mean square error of CV (RMSECV). The performance of the proposed procedure is evaluated using one simulated dataset together with one near infrared dataset of two properties. The results reveal an outstanding characteristic of CARS that it can usually locate an optimal combination of some key wavelengths which are interpretable to the chemical property of interest. Additionally, our study shows that better prediction is obtained by CARS when compared to full spectrum PLS modeling, Monte Carlo uninformative variable elimination (MC-UVE) and moving window partial least squares regression (MWPLSR).     

白酒基酒中酮类物质的近红外光谱检测方法

应用近红外光谱技术建立了白酒基酒中2,3-丁二酮和3-羟基-2-丁酮的快速检测模型。从洛阳杜康酒厂选取182个白酒基酒样品为材料,运用气相色谱法测得两种物质的化学值,同时采集其在12 000~4 000 cm-1范围内的光谱数据,采用偏最小二乘法(PLS)结合内部交叉验证建立校正模型。通过对比不同光谱预处理下PLS模型效果对其进行优化,确定2,3-丁二酮和3-羟基-2 丁酮的最佳预处理方法分别为一阶导数+多元散射校正和二阶导数,最佳光谱区间分别为9 403.2~7 497.9 cm-1和9 403.2~7 497.9 cm-1+6 101.7~5 449.8 cm-1。优化后2,3-丁二酮和3 羟基-2-丁酮校正集样品的化学值和近红外预测值的决定系数(R2)分别为0.960 2和0.963 2,交叉验证均方根误差(RMSECV)分别为0.39、0.22 mg/100 mL;通过外部检验,验证集样品的R2分别为0.957 6和0.957 8,预测均方根误差(RMSEP)分别为0.40、0.24 mg/100 mL。结果表明,应用近红外光谱技术结合化学计量学方法所建立的模型有较高的准确度,能够满足白酒生产中酮类物质的快速检测需要。     

鱼粉近红外光谱模型传递应用研究

为探讨光栅型与傅里叶变换型近红外分析仪之间模型传递的应用效果,选取国产鱼粉为近红外光谱样本,DS2500F型近红外分析仪为源仪器,MPA型近红外分析仪为目标仪器,采用分段直接校正(PDS)方法实现近红外光谱传递。分别建立水分、粗蛋白质、粗脂肪、蛋氨酸和赖氨酸等组分的预测模型,通过交互验证决定系数(R2cv)、交互验证标准误差(RMSECV)、马氏距离(MD)、系统偏差(Bias)、预测均方根误差(RMSEP)和相对分析误差(RPD)等参数,多维度评估光谱传递后所建预测模型的效果。结果表明,DS2500F仪器的近红外光谱传递到MPA型仪器时,所建国产鱼粉的水分、粗蛋白质、粗脂肪、蛋氨酸、赖氨酸的预测模型与MPA型仪器原始预测模型各参数对比无显著差异,预测效果基本一致,说明国产鱼粉在DS2500F仪器上的近红外光谱通过传递可以替代MPA型仪器的原始光谱,间接实现了模型传递,且具有良好的适用性和共享性,可提高近红外预测模型的应用效率。     

Prediction of phenolic compounds in red wine fermentations by visible and near infrared spectroscopy

Near infrared (NIR) spectroscopy was used to simultaneously predict the concentrations of malvidin-3-glucoside (M3G), pigmented polymers (PP) and tannins (T) in red wine. A total of 495 samples from 32 commercial scale red wine fermentations over two vintages using two grape varieties (Cabernet Sauvignon and Shiraz), and also including as additional variables two types of fermenters, two different yeasts, and three fermentation temperatures were used. Samples were scanned in transmission mode (400-2500 nm) using a monochromator instrument (NIRSystems6500). Calibration equations were developed from high performance liquid chromatography (HPLC) and NIR data using partial least squares (PLS) regression with internal cross validation. Using PLS regression, very good calibration statistics (R_cal²>0.80) were obtained for the prediction of M3G, PP and T with standard deviation (S.D.)/standard error in cross validation (SECV) ratio (residual predictive deviation, RPD)) ranging from 1.8 to 5.8. It was concluded that near infrared spectroscopy could be used as rapid alternative method for the prediction of the concentration of phenolic compounds in red wine fermentations.     

近红外光谱分析模型传递简易方法研究

本文在不同时间安装的多台同型号近红外光谱仪上建立推进剂校正模型时,由于推进剂样品数量少且难于保存,新到仪器在建模时常遇到代表性样品数量严重不足.为此,提出将2台波长一致性好的近红外光谱仪器上采集的光谱组成一个混合校正样品光谱集,使用偏最小二乘法(PLS)建立模型的方法.结果表明,在用户缺少专业模型传递软件情况下,该方法...     

基于近红外光谱的食用植物油中反式脂肪酸含量快速定量检测及模型优化研究

利用近红外光谱技术对食用植物油中反式脂肪酸(Trans fatty acids,TFA)含量进行快速定量检测,并通过波段选择、预处理方法、变量筛选及建模方法对TFA含量预测模型进行优化.采用AntarisⅡ傅里叶变换近红外光谱仪在4000~10000 cm-1光谱范围采集98个食用植物油样本的近红外透射光谱,然后采用气相色谱法测定TFA的真实含量.首先,对样本原始光谱进行波段、预处理方法优选;在此基础上,采用竞争自适应重加权法(Competitive adaptive reweighted sampling,CARS)筛选TFA相关的重要变量,最后应用主成分回归、偏最小二乘和最小二乘支持向量机方法分别建立食用植物油中TFA含量的预测模型.研究结果表明,近红外光谱技术检测食用植物油中的TFA含量是可行的,优化后的最佳预测模型的校正集和预测集R2分别为0.992和0.989,RMSEC和RMSEP分别为0.071%和0.075%.最佳预测模型所用的变量仅26个,占全波段变量的0.854%.此外,与全波段偏最小二乘预测模型相比,其预测集R2由0.904上升为0.989,RMSEP由0.230%下降为0.075%.由此表明,模型优化非常必要,CARS能有效筛选TFA相关的重要变量,极大减少建模变量数,从而简化预测模型,并较大提高预测模型的精度和稳定性.     

Fast quantitative detection of sesame oil adulteration by near-infrared spectroscopy and chemometric models

Adulteration of foods has been known to exist for a long time and various analytical tests have been reported to address this problem. Among them, authenticity of sesame oil has attracted much attention. Near-infrared (NIR) spectral quantitative detection models of sesame oil adulterated with other oils are constructed by chemometric methods, i.e., competitive adaptive reweighted sampling (CARS), elastic component regression (ECR) and partial least squares (PLS). Sixty samples adulterated with different proportions of five kinds of other oils of lower price were scanned by a Fourier-transform-NIR spectrometer and the NIR spectra were collected in 4500–10000 cm⁻¹ region by transmission mode. All samples were divided into the training set and an independent test set. Model population analysis has also been carried out and confirms the importance of selecting representative samples. The experimental results indicate that the PLS model using only 10 variables from CARS and the ECR model show similar performance and both are superior to the full-spectrum PLS model. CARS focuses on selecting variables and ECR focuses on optimizing the parameters, implying that both roads lead to the same destination. It seems that NIR technique combined with CARS or ECR is feasible for rapidly detecting sesame oil adulterated with other vegetable oils.     

遗传算法用于偏最小二乘方法建模中的变量筛选

利用全局搜索方法－遗传算法（genetic algorithms,GA)对近红外光谱分析中的波长变量进行筛选,再用偏最小二乘方法（patrial least squares,PLS）建立分析校正模型。对两类样品的近红外光谱分析应用实例表明,这种选取变量进行校正的方法,不仅简化、优化了模型,而且增强了所建模型的预测能力,尤其适用于单纯PLS较以校正关联的体系。     

The determination of the fatty acid content of sea buckthorn seed oil using near infrared spectroscopy and variable selection methods for multivariate calibration

This study proposes an analytical method for the simultaneous near infrared (NIR) spectrometric determination of palmitic, oleic, linoleic and linolenic acids in sea buckthorn seed oil. For this purpose, four different combinations of multivariate calibration methods and variable selections were evaluated: partial least squares (PLS) with full spectrum; PLS with uninformative variables elimination (UVE); PLS with competitive adaptive reweighted sampling (CARS); and multiple linear regression (MLR) with uninformative variable elimination combined with successive projections algorithm (UVE-SPA). An independent set of samples was employed to evaluate the performance of the resulting models. The UVE-SPA-MLR model developed with a few spectral variables provided the best results for each parameter. The values of relative errors of prediction (REP) from the UVE-SPA-MLR model for palmitic, oleic, linoleic and linolenic acids are 1.77%, 1.20%, 1.02% and 1.40%, respectively. These results indicate that this method is a feasible and fast method for the determination of the fatty acid content of sea buckthorn seed oil.