改进的联合区间随机蛙跳算法的近红外光谱波长选择

在近红外光谱的建模预测分析中,数据的冗余及共线性会严重影响模型的预测精度和稳健性。特征波长选择是提高定量分析预测精度的一种有效方法。随机蛙跳(RF)是一种依据不同的变量具有不同的被选择可能性的特征波长选择算法,近年来在特征波长提取方面展现良好的性能。该方法通过多次迭代,计算每个变量被选择的概率,以优选概率高的变量为特征波长。但由于其初始变量集V_0的产生是随机的,具有较大的不确定性,可能会包含无用或干扰信息,难以保证初始信息的有效性,使得迭代次数过大,运行时间过长。故而提出一种改进的联合区间随机蛙跳(Si-RF)特征波长选择算法,通过联合区间偏最小二乘法(SiPLS)对全谱进行变量初选,此时得到的波长对目标变量变化最为敏感,将其作为RF的初始变量子集,以解决RF运行时间较长、效率较低的问题。另一方面, RF在选择特征波长时,选择被选概率值大于阈值的变量为特征波长,但对概率值阈值的设定无理论依据,易受人为因素影响。通过对变量按被选概率值降序排列后逐次增加一个波长建立多元线性回归(MLR)模型,以验证均方根误差(RMSEV)值最低时的变量子集为特征波长,以找到预测精度最高点所包含的波长,提高预测精度。针对上述两点进行改进,将其应用于一组土壤样本近红外光谱数据集,进行特征波长选择后,建立MLR模型,与RF-MLR及全谱-PLSR模型的预测精度进行比较。结果表明:RF经过10 000次迭代,优选出10个波长点,建立的MLR模型的预测均方根误差(RMSEP)为1.6276;而改进后Si-RF只需进行1 000次迭代,优选出17个波长点,其MLR模型的RMSEP减小到0.818 4,大大提升了预测精度,提高运行效率。相较于全谱,也极大的提高了预测精度,简化模型的复杂度,证明改进的Si-RF是一种有效的特征波长选择算法。     

基于GA和SCMWPLS算法的NIR光谱信息变量提取研究

光谱数据压缩、信息变量提取是近红外应用研究的热点,是简化模型、提高预测精度的重要手段。本文以杏可见/近红外光谱为例,采用二阶导数、标准化和正交信号校正(OSC)处理以滤除光谱与浓度阵无关的信号;使用SCMWPLS选择出880,894～910和932 nm为建模区间建立PLS预测模型,其相关系数(R)、校正误差(SEC)和预测误差(SEP)分别为0.920,0.454和0.470;进行独立运行GA程序100次,依次选择入选频率较高的2个波长点888和900 nm作为回归变量,建立GA-MLR预测模型,其R, SEC, SEP分别为0.905,0.488和0.459,均优于全谱的偏最小二乘建模结果。结果显示,OSC可以滤除光谱与浓度阵无关的信号,减少建立模型所用的主因子数;SCMWPLS和GA可以寻找最优信息变量组合。该方法对于建立低维度、高精度近红外快速分析模型具有普遍参考意义。     

基于优选波长的多光谱检测系统快速检测猪肉中挥发性盐基氮的含量

挥发性盐基氮(TVB-N)含量是评价猪肉新鲜度的重要理化指标。为了实现快速、无损检测猪肉的新鲜度,优选出与猪肉中TVB-N含量相关的特征波长,将包含特征波长的发光二极管(LED)光源用于多光谱检测系统,测定了猪肉中TVB-N的含量。首先利用可见-近红外(VIS-NIR)高光谱系统对猪肉进行检测,获取高光谱反射率数据,并采用一阶导数(FD)法、标准正态变量变换(SNV)以及其他预处理方法建立猪肉中TVB-N含量的偏最小二乘回归(PLSR)模型;然后分别利用逐步回归算法(SWA)、连续投影算法(SPA)、基因遗传算法(GA)筛选出与TVB-N含量相关的特征波长,利用筛选出的特征波长分别建立PLSR模型与多元线性回归(MLR)模型,比较模型结果后进一步优选特征波长;最后,将含有特征波长的LED光源用于多光谱检测系统,并建立PLSR模型与MLR模型,从而完成对猪肉中TVB-N含量的测定。实验结果表明:利用SWA、SPA、GA这3种算法筛选出的特征波长能够很好地反映全光谱的信息,建立的模型效果较好,变量数大大减少;包含优选特征波长的LED光源在多光谱检测系统中能很好地检测猪肉中的TVB-N含量;MLR模型结果好于PLSR模型结果,MLR模型的校正集相关系数和校正集均方根误差分别为0.9050和3.63×10-5,预测集相关系数和预测集均方根误差分别为0.9040和3.81×10-5。     

河套蜜瓜糖度可见近红外光谱特征波长提取方法研究

河套蜜瓜是我国西北河套地区独具特色的果品,一直深受消费者的喜爱。糖度(sugar content)是衡量蜜瓜品质和成熟度重要指标。采用Maya 2000pro便携式光谱仪和PR-101ɑ便携式数字折光仪获取“金红宝”蜜瓜光谱信息及糖度值,研究了不同特征波长提取方法：逐步多元线性回归(SMLR)、间隔偏最小二乘法(iPLS)、反向区间偏最小二乘法(biPLS)以及联合区间偏最小二乘法(siPLS))对蜜瓜样品模型精度和预测结果的影响。结果表明：采用biPLS特征波长提取方法将全波段光谱均匀分成20个子区间,PLS因子数为14,当剔除其中8个子区间,选择的波长变量数为218时,得到的biPLS模型最佳,对应的校正集和预测集的RMSE分别为0.996 1和1.18。采用biPLS光谱波长筛选方法可以有效地提取蜜瓜糖度的特征波长,提高建模预测能力,实现蜜瓜糖度的快速检测。     

河套蜜瓜糖度可见近红外光谱特征波长提取方法研究SCIEI北大核心CSCD

河套蜜瓜是我国西北河套地区独具特色的果品,一直深受消费者的喜爱。糖度(sugar content)是衡量蜜瓜品质和成熟度重要指标。采用Maya 2000pro便携式光谱仪和PR-101ɑ便携式数字折光仪获取"金红宝"蜜瓜光谱信息及糖度值,研究了不同特征波长提取方法:逐步多元线性回归(SMLR)、间隔偏最小二乘法(iPLS)、反向区间偏最小二乘法(biPLS)以及联合区间偏最小二乘法(siPLS))对蜜瓜样品模型精度和预测结果的影响。结果表明:采用biPLS特征波长提取方法将全波段光谱均匀分成20个子区间,PLS因子数为14,当剔除其中8个子区间,选择的波长变量数为218时,得到的biPLS模型最佳,对应的校正集和预测集的RMSE分别为0.996 1和1.18。采用biPLS光谱波长筛选方法可以有效地提取蜜瓜糖度的特征波长,提高建模预测能力,实现蜜瓜糖度的快速检测。     

基于向前和向后间隔偏最小二乘的特征光谱选择方法（英文）

在近红外光谱分析中,向前间隔偏最小二乘法(FiPLS)和向后间隔偏最小二乘法(BiPLS)是常用的基于波长变量选择的建模方法,其模型精度较高,但贪婪搜索特性较强,导致选出的波段并不能较好地反映待测成分的信息。针对该问题,提出一种基于两者组合策略的光谱特征波段选择方法(FB-iPLS)。在光谱分段的基础上,既利用FiPLS选取有用波段,同时利用BiPLS删除无用波段,来交互执行特征变量的选择与删除,对目标特征波段进行双向选择,用于提高模型的稳健性。用该方法建立水中乙醇含量的定量预测模型,并与FiPLS和BiPLS算法对比。由于光谱分段大小会对模型的结果有影响,该实验还考查这三种方法在不同光谱分段处的结果。在光谱划分60段时,提出的FB-iPLS方法取得最佳预测性能,其校正集与验证集相关系数r分别为0.967 7,0.967 0,交互验证均方根误差RMSECV分别为0.088 8,0.057 1。与FiPLS和BiPLS相比,该方法无论在不同光谱分段区间还是在各自最优与最差分段处,模型的整体预测性能都有所提高。实验结果表明,提出的方法能改善BiPLS与FiPLS贪婪搜索的特性,对特征波段的选取更高效、更具代表性,能进一步提高模型的预测性能。     

以高光谱数据有效预测苹果可溶性固形物含量

从高光谱数据中选取能够有效进行内部品质检测的特征波长,是利用高光谱成像技术进行水果品质定量分析的关键。本文采用遗传算法(GA)、连续投影算法(SPA)和GA-SPA算法分别从400～1 000 nm的苹果高光谱图像中提取特征波长,利用偏最小二乘法(PLS)、最小二乘支撑向量机(LS-SVM)和多元线性回归(MLR)建模进行苹果可溶性固形物含量(SSC)的定量分析并进行了综合比较。160个样品中,120个用于建模,40个用于预测。比较发现SPA-MLR模型获得了最好的结果,R2_p,RMSEP和RPD分别为0.950 1,0.308 7和4.476 6。结果表明：SPA能够有效地用于高光谱数据的变量选择,利用SPA-MLR可建立稳健的苹果SSC预测模型,较少的有效变量和MLR模型的易解释性表明该模型在在线检测和便携式仪器开发中具有较大的应用潜力。     

亚胺硫磷表面增强拉曼光谱定量解析模型研究

拉曼光谱分析方法结合表面增强技术用于亚胺硫磷农药的检测。连续小波变换(continuous wavelet transforms, CWT)和连续投影算法(successive projections algorithm, SPA)分别用于拉曼光谱的预处理和特征拉曼位移的选择,多元线性回归(multi-linear regression, MLR)用于特征拉曼吸收的回归分析。结果表明,芯片增强可以实现低浓度农药溶液拉曼响应的增强;CWT可以提高拉曼光谱的分辨率和平滑度,消除光谱的平移误差;基于SPA方法的特征位移选择方法,既可以提高模型的分析精度,又可以简化MLR模型的回归变量;与特征增强波段的MLR模型比较,CWT-SPA-MLR模型可将验证集的预测相关系数(correlation coefficient,r)和预测均方根误差(root mean square error of prediction,RMSEP)由0.823和1.640改善为0.903和1.122。CWT-SPA-MLR可用于拉曼光谱定量解析模型的建立,该方法简单易用具有良好的重复性。     

基于无信息变量消除法与岭极限学习机的新型变量选择方法：以CO气体浓度反演为例

变量选择是光谱分析领域一个重要的组成部分。为了克服传统区间选择法的缺点与不足,基于无信息变量消除法和岭极限学习机提出一种新型的变量选择与评价方法。首先,利用无信息变量消除法剔除整个光谱区间中无信息的波长点;其次,为了解决传统建模方法(偏最小二乘法、BP神经网络等)存在的共线性问题,采用岭极限学习机方法建立回归模型;最后,最佳的特征光谱波长点组合利用特征选择路径图和稀疏度-误差折中曲线进行确定。CO气体的浓度反演实验结果表明：(1)利用无信息变量消除法可以有效筛选出最能表征CO气体透过光谱的特征波长点;(2)岭极限学习机方法具有快速建模、避免共线性和高精度等优点(CO气体浓度反演模型的决定系数可达0.995);(3)特征选择路径图和稀疏度-误差折中曲线可以直观地帮助用户寻找出最佳的特征波长点组合。     

基于无信息变量消除法与岭极限学习机的新型变量选择方法:以CO气体浓度反演为例（英文）

变量选择是光谱分析领域一个重要的组成部分。为了克服传统区间选择法的缺点与不足,基于无信息变量消除法和岭极限学习机提出一种新型的变量选择与评价方法。首先,利用无信息变量消除法剔除整个光谱区间中无信息的波长点;其次,为了解决传统建模方法(偏最小二乘法、BP神经网络等)存在的共线性问题,采用岭极限学习机方法建立回归模型;最后,最佳的特征光谱波长点组合利用特征选择路径图和稀疏度-误差折中曲线进行确定。CO气体的浓度反演实验结果表明:(1)利用无信息变量消除法可以有效筛选出最能表征CO气体透过光谱的特征波长点;(2)岭极限学习机方法具有快速建模、避免共线性和高精度等优点(CO气体浓度反演模型的决定系数可达0.995);(3)特征选择路径图和稀疏度-误差折中曲线可以直观地帮助用户寻找出最佳的特征波长点组合。     

基于遗传算法的苹果糖度近红外光谱分析

遗传算法(GA)应用在偏最小二乘法(PLS)校正模型的波段优化选择中具有显著的效果。将遗传算法用于波段选择, 能更快达到最优解, 有效提高测量精度,减少建模所用变量。文章研究了在近红外苹果糖度无损检测中,遗传算法作为模块进行波段选择,建立了GA-PLS模型;为了说明遗传算法优选波段可行性,另外建立了全谱和经验谱区的PLS定量模型,并评价了模型的稳健性。首先对傅里叶变换近红外光谱进行多元散射校正、Savitky-Golay卷积平滑后,用遗传算法优选波段(R-SGA),参与建模数据点从原始1 550减少到434个。然后采用一阶导数光谱建立GA-PLS模型,相比全谱PLS(1 550个数据点)和经验谱区PLS(717个数据点)模型具有更高的预测精度,其建模结果为R_C=0.966,RMSEC=0.469,R_P=0.954,RMSEP=0.797。结果表明, 遗传算法可用于PLS法建立苹果糖度校正模型前的数据优化筛选, 有效提高测量精度, 并减少建模变量。     

可见/近红外漫透射光谱结合CARS变量优选预测脐橙可溶性固形物

可溶性固形物(SSC)是脐橙重要内部品质之一。采用QualitySpec型光谱仪在350～1000 nm波段范围采集脐橙的可见/近红外漫透射光谱,采用CARS(competitive adaptive reweighted sampling)变量选择方法筛选出与脐橙SSC相关的重要变量,并与无信息变量消除(UVE)及连续投影算法(SPA)比较。最后,对选择的38个重要波长变量应用偏最小二乘(PLS)回归建立脐橙SSC预测模型,并对未参与建模的75个样品进行预测。研究结果表明,CARS方法优于UVE及SPA变量选择方法,能有效地筛选出重要波长变量。CARS-PLS建立的SSC预测模型优于全光谱的PLS模型,其校正集及预测集的相关系数分别为0.948和0.917,均方根误差分别为0.347%和0.394%。因此,可见/近红外漫透射光谱结合CARS方法可以预测脐橙可溶性固形物,CARS变量选择方法能有效简化预测模型和提高模型的预测精度。     

基于UVE-ICA和支持向量机的南丰蜜桔可溶性固形物可见-近红外检测

利用可见-近红外光谱技术联合变量选择新方法对南丰蜜桔的可溶性固形物(SSC)进行快速无损检测研究,以简化南丰蜜桔SSC预测模型和提高预测模型性能。试验共采用300个南丰蜜桔样本,校正集、验证集及预测集样本分别为150,75和75个。采用QualitySpec型光谱仪在350~1 000 nm波段范围内采集样本光谱,利用无信息变量消除(UVE)剔除无用信息波长变量,再采用独立成分分析(ICA)提取光谱的独立成分,最后应用最小二乘支持向量机(LS-SVM)建立南丰蜜桔的SSC预测模型,并利用未参与建模的预测集样本对模型进行评价。研究结果表明,可见-近红外光谱技术联合UVE-ICA- LS-SVM对南丰蜜桔的SSC检测精度高。UVE-ICA可以有效剔除无用信息波长变量,提取特征光谱信息,简化预测模型及提高预测模型性能。UVE-ICA- LS-SVM所建立的南丰蜜桔SSC预测模型性能优于PLS,PCA-LS-SVM及ICA-LS-SVM预测模型,其校正集、验证集及预测集的决定系数和均方根误差分别为0.978,0.230%,0.965,0.301%及0.967,0.292%。     

土壤碱解氮含量可见/近红外光谱预测模型优化

可见/近红外光谱技术是土壤成分检测的有效工具。波长筛选对可见/近红外模型土壤属性的预测精度有重要影响。以宁夏吴忠地区75个水稻土样为研究对象,利用可见/近红外光谱技术采集土壤样品光谱,采用SPXY （Sample set partitioning based on joint X-Y distance）方法选取了校正集和预测集样本,比较了分别采用Savitzky Golay平滑（SG smoothing）、多元散射校正（Multiple scatter correction,MSC）、标准正态变量变换（Standard normal variate,SNV）3种预处理方法对光谱数据处理后建立土壤碱解氮偏最小二乘法模型和原始光谱数据建模的效果。在此基础上,分别采用遗传算法（Genetic gorithms,GA）、连续投影算法（Successive projections algorithm,SPA）、竞争性自适应重加权算法（Competitive adaptive reweighted Sampling,CARS）、随机蛙跳（Random frog,RF）进行波长筛选,最后应用偏最小二乘法建立基于不同波长筛选方法的土壤碱解氮含量预测模型。研究表明,由于仪器性能稳定,样品的颗粒度比较小和均匀,本次实验原始光谱数据建模效果最好;各种波长筛选方法均可有效减少参与建模的波长数,且连续投影算法优于全谱建模,所选波长数仅为全谱波长数的1%,其预测决定系数（R²）、预测均方根误差和相对分析误差值分别为0.726,3.616,1.906。这表明连续投影算法可以有效筛选水稻土碱解氮敏感波段,为土壤碱解氮传感器开发提供技术支持。     

遗传算法结合偏最小二乘法无损评价西洋梨糖度

基于遗传算法的波段选择法在组合优化问题上具有很大的搜索优势,适应性很广。文章将该方法应用于西洋梨糖度近红外光谱分析中,探讨数据优化筛选的可行性。光谱经多元散射校正或标准归一化处理后进行波段选择,选择结果与样品中被测成分有关, 4个品种洋梨的最佳个体染色体编码有一定共性。分别建立了四种洋梨的GA-PLS模型和全谱模型,早红考密斯、五九香、凯斯凯德和康佛伦斯的GA-PLS建模数据点分别从1 557减少到了434,496,310和496。GA-PLS/Fr-PLS模型的预测标准偏差分别为0.428/0.518,0.696/0.694,0.425/0.421和0.567/0.633, 其中早红考密斯和康佛伦斯GA-PLS模型的预测精度明显优于全谱模型,而五九香和凯斯凯德的GA-PLS模型与全谱模型相近。结果表明,遗传算法用于PLS建立西洋梨糖度校正模型前的数据优化筛选是可行的, 有效提高测量精度, 减少建模变量。     

基于变量优选和快速独立成分分析的黄花梨可溶性固形物可见/近红外光谱检测

为建立预测能力高、稳定性强的可见/近红外漫透射光谱无损检测黄花梨可溶性固形物(SSC)数学模型,对比各种预处理方法、变量优选方法、快速独立主成分分析(FICA)以及最小二乘支持向量机(LS-SVM)对黄花梨SSC模型的影响,得出最佳的组合方法用于建立黄花梨可溶性固形物(SSC)预测模型。采用Quality Spec型光谱仪采集550~950 nm波段范围内的黄花梨漫透射光谱并采用遗传算法、连续投影算法和CARS(competitive adaptive reweighted sampling)三种方法筛选黄花梨可溶性固形物的光谱特征变量,再结合FICA提取光谱主成分,最后采用LS-SVM建立黄花梨的SSC预测模型。结果显示,采用CARS筛选的21个变量,经FICA挑选出12个主成分数,联合LS-SVM所建立的CARS-FICA-LS-SVM黄花梨SSC预测模型性能最佳,建模集和预测集的决定系数及均方根误差分别为0.974,0.116%和0.918,0.158%,同直接采用PLS方法建模相比,变量数从401个下降到21,主成分数由14下降到12,建模集和预测集决定系数分别上升了0.023,0.019,而建模和预测均方根误差分别下降了0.042%和0.010%。CARS-FICA-LS-SVM建立黄花梨SSC预测模型能够有效地简化预测模型并提高预测模型精度。     

光谱技术结合BiPLS-GA-SPA和ELM算法的生菜冠层氮素含量检测研究

氮素是影响生菜产量和品质的重要因素,光谱技术是检测作物氮素含量最有效的手段之一。通过获取不同氮素水平下生菜冠层的反射光谱,对其进行FDSGF（first-order derivative based savitzky-golay filt）滤波后,利用后向区间偏最小二乘算法（BiPLS）、遗传算法（GA）及连续投影算法（SPA）对特征波长进行梯度提取,最终从2 151个波长点中提取了8个与生菜氮素最为相关的特征波长。分别利用多元线性回归（MLR）、径向基函数神经网络（RBFNN）及极限学习机（ELM）三种算法建立了基于特征波段或特征波长的8个生菜冠层氮素含量检测模型。结果表明： BiPLS-GA-SPA-ELM模型（RMSEC=0.241 6%,R_c=0.934 6,RMSEP=0.284 2%,R_p=0.921 8）的预测结果优于其他模型,为指导合理施肥和开发便携式仪器提供了理论基础。     

LS-SVM的梨可溶性固形物近红外光谱检测的特征波长筛选

为提高梨可溶性固形物含量(soluble solids content,SSC)的近红外光谱模型的精度和稳定性,以160个梨样品为实验对象,分别对原始光谱、多元散射校正(MSC)和标准正态变量变换(SNV)处理后的光谱,经无信息变量消除算法(UVE)挑选后,再结合遗传算法(GA)和连续投影算法(SPA),筛选梨可溶性固形物的近红外光谱特征波长。将筛选后的波长作为输入变量建立梨可溶性固形物的最小二乘支持向量机(LS-SVM)模型。结果表明经过SNV-UVE-GA-SPA从全波段3112个波长中筛选出的30个特征波长建立的梨可溶性固形物LS-SVM模型效果最好,该模型的预测集相关系数(R_p)和预测均方根误差(RMSEP)分别为0.956和0.271。该模型简单可靠,预测效果好,能满足梨的可溶性固形物含量的快速检测,为在线检测和便携式设备开发提供了理论基础。     

便携式近红外光谱仪的苹果糖度模型温度修正

样品温度对近红外光谱有很大影响,在近红外技术评价水果品质的实际应用时,需要修正温度变化对模型预测结果的影响。便携式近红外光谱仪采集不同温度下(0～30℃)苹果的漫透射光谱,采用二阶导数和卷积平滑进行预处理。选取20℃下代表性样本的光谱数据,建立基准PLS模型。斜率/偏差法分别计算苹果糖度PLS模型在0,10和30℃下的修正方程。分析结果表明:斜率/偏差法对0,10和30℃下外部样本预测结果进行修正,预测精度得到显著提高,其修正前后的Q值分别为0.525cv 0.810,0.680cv0.822,0.669cv 0.802。温度修正模型可以有效提高预测精度,也扩展了近红外仪器的适用性,为自主研发便携式近红外光谱仪提供参考。