特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

SPA-LS-SVM检测土壤有机质和速效钾研究

应用可见/短波近红外光谱分析测量土壤有机质和速效钾含量。光谱预处理包括平滑,标准归一化,多元散射校正和平滑结合一阶导数,以消除系统噪声和外部干扰,分别应用偏最小二乘和最小二乘支持向量机方法建立校正模型,模型的输入为基于连续投影算法得到的特征波长。比较显示基于连续投影算法得到的特征波长为输入的最小二乘支持向量机优于偏最小二乘法建模。模型评价指标由相关系数和预测均方误差表示。有机质的相关系数和预测均方误差分别0.860 2和2.98,速效钾为0.730 5和15.78。表明基于连续投影算法可见/短波近红外光谱利用最小二乘支持向量机建模,可以作为一个精确的土壤有机质和速效钾的测定方法。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

基于THz-ATR光谱的玉米种子水分定量模型优化方法研究

应用太赫兹时域光谱技术结合区间偏最小二乘法筛选玉米种子水分THz特征波段,并采用支持向量机构建基于特征谱区的抗非线性干扰的种子水分快速定量分析模型。实验以郑单958玉米种子为例,制备含水量范围9.58%~12.71%的种子粉末样本40组(每组取样3份),采用衰减全反射(ATR)附件扫描得到120份样本太赫兹时域光谱,根据SPXY(光谱-理化值共生距离算法)法划分得到训练集样本90份,测试集样本30份。种子水分对太赫兹波具有强烈吸收,首先采用基于偏最小二乘线性回归的移动区间（mwPLS）、独立区间(iPLS)、后向区间(biPLS)和联合区间(siPLS)方法筛选最优特征谱区组合;鉴于环境水分、种子其他成分及系统噪声对种子水分太赫兹光谱存在不可避免的非线性干扰,在上述光谱特征区间进一步采用基于RBF核函数的支持向量机和网格搜索法构建得到预测性能最优的种子水分快速定量分析非线性模型,训练集均方根误差为0.021 2,预测集均方根误差为0.069 7,相对分析误差为12.345 7,相较于传统偏最小二乘线性回归模型,模型性能得到提升。种子水分含量是影响种子贮藏安全和种子活力的重要因素,实验结果表明：太赫兹时域光谱结合化学计量学可以有效筛选种子水分特征吸收谱区,建立抗干扰、高精度的种子水分快速定量分析模型,有望成为未来种子质量快速测定领域一项极具应用潜力的补充技术。     

基于舌近红外反射光谱的人体血清多种蛋白含量无创测量

探讨一种基于近红外反射光谱的人体血清白蛋白、球蛋白和总蛋白三种生化指标的无创检测方法。采集58例志愿者舌尖处近红外反射光谱,考虑这些光谱数据与血清蛋白浓度间因个体差异等存在非线性映射关系,在计算归一化光谱反射率及分析样本蛋白含量统计分布上,采用支持向量机分别建立三种蛋白成分近红外光谱定量回归模型,并与传统的偏最小二乘法进行比较。实验结果表明,支持向量机校正模型的预测效果较好且明显优于偏最小二乘法校正模型,对白蛋白、球蛋白和总蛋白的预测相关系数分别达到0.894,0.931和0.863,预测的均方误差为2.19,1.93和4.38。因此,支持向量机可有效抵抗活体检测定量分析中存在的非线性因素,提高模型的鲁棒性。同时也表明舌的近红外光谱信息能够较客观的反映人体理化指标的变化,用于血清蛋白含量的快速无创检测具有较高的可行性。     

用遗传算法快速提取近红外光谱特征区域和特征波长

提出了一种遗传区间偏最小二乘法(GA-iPLS),并用该方法快速提取苹果糖度近红外光谱的特征区域,在此基础上采用遗传偏最小二乘法(GA-PLS)提取苹果糖度近红外光谱的特征波长,进行苹果糖度预测。结果表明,整个光谱等分为40个子区间,遗传区间偏最小二乘法能快速寻找出5个特征子区间(第4,6,8,11,18号);在5个特征子区间的基础上用遗传偏最小二乘法继续优化,从中提取44个特征波长。建立在5个特征子区间和44个特征波长上的偏最小二乘法模型精度均优于全光谱偏最小二乘法模型,对预测集的预测相关系数提高了近10%;且模型得到了很大的简化,用于建模的主因子数减少了7个。这些结果表明,用这两种方法不但可以建立简洁、数据运算量少的模型,还可以快速地提取近红外光谱的特征区域和特征波长。     

基于可见/近红外透射光谱技术的红提糖度和含水率无损检测

本文研究基于可见/近红外透射光谱技术的红提糖度和含水率的无损检测方法。采集360个红提样本,并分别利用标准正态变量变换(Standard Normal Variable transformation,SNV)、SavitZky-Golay卷积平滑处理法(SavitZky-Golay,S_G)等光谱预处理方法处理后的数据建立PLSR模型,分别采用一次降维(GA、SPA、CARS、UVE)和二次降维组合(CARS-SPA、UVE-SPA、GA-SPA)7种数据降维方法对光谱进行特征变量提取,分别建立红提糖度和含水率的偏最小二乘回归算法(Partial Least Squares Regression,PLSR)和最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)含量检测模型并对比分析模型的优劣。结果表明:红提糖度和含水率的最优PLSR模型波长提取方法为GA-SPAPLSR,最优模型的预测集相关系数分别为0.958、0.938;红提糖度和含水率的最优LSSVM模型波长提取方法分别为CARS-SPA-LSSVM、UVE-SPA-LSSVM,最优模型的预测集相关系数分别为0.969、0.942;LSSVM所建模型的效果好于PLSR所建模型,但模型的运算时间较长。研究结果表明:基于可见/近红外技术无损检测红提糖度和含水率的方法可行,两种最优检测模型的预测精度均较高,都能满足检测要求。在不同应用下,可酌情选择不同模型,PLSR所建最优模型的运算时间较短,适合在线快速检测;LSSVM的检测性能最佳,可更加准确地检测红提糖度和含水率。     

联合区间高斯过程的近红外光谱波长选择方法及应用

针对近红外光谱应用,提出了一种基于高斯过程(GP)模型的波长选择算法,即联合区间高斯过程(synergy interval gaussian process,siGP)算法。首先将全光谱区域划分为一系列无重复且间距相等的区间,再选取最优的若干个区间联合建立GP模型,由于GP模型具有非线性处理能力,因此该方法可以减少非线性的影响。以红曲菌固态发酵过程中过程参数水分含量和pH值的检测为例,新算法对水分含量、pH值的预测集相关系数(r_p)分别为0.956 4和0.977 3,预测均方根误差(RMSEP)分别为0.012 7和0.161 0,参与建模的数据点由全谱的1 500个分别减少到225个、375个,在对独立样本的预测上,表现出较好的精度。与传统联合区间偏最小二乘(siPLS)波长选择算法对比,siGP算法预测效果更好：对水分含量和pH值,r_p在GP模型预测时提高了3.37%和3.51%,RMSEP在GP模型预测时提高了29.4%和34.8%。表明siGP结合GP模型能够有效选择波长区间以及提高近红外模型的准确性,对进一步实现近红外光谱技术在线检测具有参考价值。     

基于SiPLS算法的近红外光谱检测梨可溶性固形物含量

为了提高近红外光谱技术在梨的可溶性固形物含量(SSC)检测中的精度和稳定性,对采集的原始光谱进行标准归一化(SNV)预处理,采用联合区间偏最小二乘法(SiPLS)建立了SSC的预测模型;通过交互验证法确定了模型的主成分因子数,以预测时的相关系数(Rp)和预测均方根误差(RMSEP)作为评价指标对模型预测结果进行了分析,并与经典偏最小二乘(PLS)模型、间隔偏最小二乘(iPLS)模型进行了比较.结果表明,利用SiPLS所建的预测模型的最优组合包含21个光谱区间并联合4个子区间和15个主成分因子,其预测集的相关系数和预测均方根误差分别为0.9633和0.203;说明利用近红外光谱结合SiPLS算法可以准确、无损检测梨中可溶性固形物含量.     

IPLS-SPA波长选择方法在近红外秸秆生物量中的应用研究

在近红外光谱分析模型中全谱信息通常含有大量冗余信息,会导致模型解析时间延长、 加大模型解析难度,因此如何快速有效地选取特征波长至关重要。采用基于间隔偏最小二乘(interval partial least squares, IPLS)结合连续投影算法(successive projections algorithm, SPA)对小麦秸秆发酵过程微生物生物量进行特征波长选择,共制备85个样本,采用氨基葡萄糖法测定微生物生物量,选择68个样本作为校正集,17个样本作为验证集。首先对全谱区520个波长点根据间隔点大小10, 20, 30, 40进行分段建模,选取出4 450～4 925和9 194～9 993 cm-1两个波段范围作为特征波段,将选取出的特征波段再进行连续投影算法及遗传算法(genetic algorithm, GA)特征波长点选取,并进行综合分析对比。实验结果表明采用IPLS-SPA算法选择4 450～4 925和9 194～9 993 cm-1的组合波段具有最佳建模效果,相比于全谱建模其参与建模的波长点由520个减少到10个,模型验证集决定系数(R-Square, R2)从0.884 9提升至0.945 28,验证集均方误差根(root mean square error prediction, RMSEP)从11.104 9降至8.203 3,GA遗传算法虽取得了更优的模型精度,但其实验结果并不稳定且随机性较强,而IPLS结合SPA方法能够稳定而准确的(地)选择特征波长信息,提高模型运算速度并降低模型拟合难度,可以作为一种新的波段选择参考方法。结果表明采用近红外光谱分析方法对秸秆发酵生物量进行快速检测是可行的。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

智能优化算法应用于近红外光谱波长选择的比较研究

近红外光谱(NIRS)是一种间接分析技术,其应用需建立相应的校正模型。为了提高模型的解释能力、预测准确度和建模效率,需要对NIRS进行波长选择,优选最小化冗余信息。智能优化算法是以生物的行为方式或物质的运动形态为背景,经过数学抽象建立算法模型,通过迭代计算来求解组合最优化问题,其核心策略是以某种目标函数为标准,基于多元校正建模并以逐步逼近的方法筛选出有效的波长点。选用蚁群优化(ACO)、遗传优化(GA)、粒子群优化(PSO)、随机青蛙(RF)和模拟退火(SA)5种智能优化算法对烟叶总氮和烟碱近红外光谱数据进行特征波长选择,结合偏最小二乘(PLS)算法,构建了多个烟叶总氮和烟碱的校正模型,结果显示：所选用两个数据集的总氮最优模型分别为PSO-PLS和GA-PLS模型,烟碱最优模型分别为GA-PLS和SA-PLS模型,五种智能优化算法所建模型预测性能并非全部优于全谱PLS模型,但是通过智能优化算法进行波长选择后建立的PLS模型大大简化,模型的预测精度、可解释性和稳定性均有所提高。同时也对优选波长进行了解释和分析,烟叶总氮特征波长优选组合为4 587~4 878和6 700~7 200 cm-1;烟叶烟碱特征波长优选组合为4 500~4 700和5 800~6 000 cm-1,优选出来的特征波长具有实际物理意义。     

利用Tikhonov正则化算法进行光谱特征波长的选择及其参数优化

在烷烃类多组分混合气体,尤其轻烷烃类气体傅里叶变换红外光谱定量分析中,其中在红外光谱区域吸收峰严重交叉重叠,不易建立定量分析模型。为此,采用Tikhonov正则化算法对甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷和正戊烷等七种轻烷烃类混合气体傅里叶变换红外光谱进行特征波长的选择,以便建立定量分析模型。选择六种各气体浓度组成混合烷烃气体,采用Tikhonov正则化算法,通过对比分析混合气体在中红外全波段、主吸收峰和次吸收峰波段特征波长的选择和TR参数的优化,选择出七种气体成分的傅里叶变换红外光谱的特征波长。利用选择的特征波长和Tikhonov正则化参数对实测甲烷光谱数据进行检验分析,与其他气体成分的交叉灵敏度最大为11.153 7%,最小为1.239 7%,预测均方根误差为0.004 8,有效增强了Tikhonov正则化算法在轻烷烃类混合气体定量分析中的实用性,初步验证了利用Tikhonov正则化进行烷烃类混合气体傅里叶变换红外光谱特征波长选择的可行性。     

基于最小角回归与GA-PLS的NIR光谱变量选择方法

近红外(NIR)光谱一般具有较多的波长变量数,对其直接或间接地进行变量选择是提高模型稳定性能及预测性能的关键。最小角回归(LAR)是一种相对较新和有效的机器学习算法,常用于进行回归分析和变量选择。面向光谱建模应用,提出一种LAR结合遗传偏最小二乘法(GA-PLS)的变量选择方法,可有效筛选出少数特征波长点。首先在全光谱区利用LAR消除变量间的共线性得到初筛波长点,然后用GA-PLS对LAR筛选出的波长点进一步优选从而得到最终建模用的特征波长点。为验证本文方法的有效性,以药片和汽油的近红外光谱回归分析作为应用案例,对原光谱进行预处理后,采用该方法进行变量筛选,然后分别建模其中的活性成分含量和C10含量。结果显示,在这两个应用中,最终优化得到的特征波长点数均只需七个,而两者的预测决定系数R2_p分别达到0.933 9和0.951 9,与全光谱、无信息变量消除法(UVE)和连续投影算法(SPA)等方法相比,特征波长点更少,同时R2_p和预测均方根误差RMSEP值更优。因此,LAR结合GA-PLS,能有效地从近红外光谱中选择出信息变量从而减少建模波数,提高预测精度,拥有较好的模型解释性。该方法可为特定领域的专用光谱仪设计提供有效的波长筛选工具。     

基于卡尔曼滤波的近红外光谱特征波长变量优选方法

将经典的卡尔曼滤波器与近红外光谱分析技术相结合,提出了一种新的特征波长变量选择方法——卡尔曼滤波法。分析了卡尔曼滤波器用于波长优选的原理,设计了波长选择算法并将其应用到大豆油脂酸价的近红外光谱检测中。首先利用偏最小二乘法(PLS)对油脂不同吸收波段建模,初步筛选出4 472～5 000 cm-1油脂酸价特征波段共132个波长点,然后进一步利用卡尔曼滤波器进行特征波长选择,从中优选出22个特征波长变量建立PLS校正模型,预测集决定系数R2、预测误差均方根RMSEP分别为0.970 8和0.125 4,与利用132个波长点建立的校正模型预测结果相当,而波长变量数减少到原来的16.67%。该波长变量选择算法是一种确定性的迭代过程,无复杂的参数设置和变量选择的随机性,物理意义明确。优选出少数对模型影响较大的特征波长变量以代替全谱建模,在简化模型的同时提高了模型的稳健性,为开发专用油脂近红外光谱分析仪器提供了重要参考依据。     

玉米秸秆纤维素和半纤维素NIRS特征波长优选

预处理是提高玉米秸秆生物转化利用效率的有效途径。玉米秸秆经生物炼制转化为生物燃料时,转化率与其原料内的纤维素和半纤维素含量直接相关。为了实现对预处理后玉米秸秆的生物炼制过程的有效调控,提出使用近红外光谱(NIRS)对玉米秸秆的纤维素和半纤维素含量进行快速检测,解决传统化学方法测试速度慢、成本高的问题。为了提高NIRS检测的效率和精度,将遗传算法与模拟退火算法相结合构建遗传模拟退火算法(GSA)用于预处理后玉米秸秆纤维素和半纤维素含量NIRS特征波长优选。GSA算法以NIRS波长点数为码长进行二进制编码,以偏最小二乘法(PLS)回归模型的交叉验证均方根误差为目标函数,结合温度参数设计适应度函数,基于Metropolis判别准则实现扰动解的选择复制,能够在避免早熟的同时有效提高进化后期的搜索效率。采用碱预处理、生物预处理及其相结合的方法对采集的玉米秸秆进行预处理后制备样品120个,并测定其纤维素和半纤维素含量及NIRS。使用7点Savitzky-Golay平滑结合多元散射校正和标准正则变换对光谱进行预处理后,利用Kennard-Stone法按3∶1比例划分校正集和验证集。然后,使用GSA算法对NIRS全谱进行特征波长优选(记为Full-GSA)、对协同区间偏最小二乘法(SiPLS)优选后谱区进行特征波长优选(记为SiPLS-GSA)、对反向区间偏最小二乘法(BiPLS)优选后谱区进行特征波长优选(记为BiPLS-GSA),并使用PLS回归模型和验证集对特征波长优选结果进行评测。Full-GSA以全谱1 557个波长点为基因,执行16次算法,优选出118个纤维素特征波长点和164个半纤维素特征波长点。SiPLS-GSA经SiPLS优选的纤维素和半纤维素谱区波长点数分别为388个和160个,再经GSA进一步优选后得到157个纤维素特征波长点和148个半纤维素特征波长点。BiPLS-GSA经BiPLS优选的纤维素和半纤维素谱区波长点数分别为358个和180个,再经GSA进一步优选后得到130个纤维素特征波长点和153个半纤维素特征波长点。结果表明,通过波长优选,不仅参与建模的波长点数量显著减少,而且回归模型的性能显著优于全谱建模。其中,采用Full-GSA优选的纤维素特征光谱回归性能最佳,采用SiPLS-GSA优选的半纤维素特征光谱回归性能最佳。回归模型验证集的平均相对误差(MRE)分别为1.752 4%和2.020 8%,较全谱建模分别降低了13.636 6%和25.368 4%。基于结合温度参数设计适应度函数的策略构建的GSA具有良好的全局搜索性能,适用于玉米秸秆纤维素和半纤维素含量NIRS特征波长优选。GSA以全谱每个波长点为染色体基因的编码方案适用于NIRS全谱的特征波长优选。GSA同样适用于SiPLS和BiPLS优选后谱区的特征波长优选,能够有效实现优选后谱区的波长点优选。