一种近红外光谱特征子区间选择新算法

为了简化光谱模型和提高模型精度,在传统遗传算法中引入Metropolis接受准则,提出了一种新的模拟退火-遗传区间选择算法(SAA-GA-iPLS),用于快速提取近红外光谱特征子区间,采用偏最小二乘法(PLS)建立近红外光谱模型。以黄瓜叶近红外光谱数据及其类胡萝卜素含量为例,将全光谱分为40个区间,模拟退火-遗传算法能快速优选出7个子区间(分别为第3,5,14,18,21,32,33子区间),在所选7个子区间的基础上建立了黄瓜叶类胡萝卜素PLS光谱模型。与传统遗传算法的比较结果表明:无论是建模效果还是算法执行效率,模拟退火-遗传算法均优于传统遗传算法。     

用遗传算法快速提取近红外光谱特征区域和特征波长

提出了一种遗传区间偏最小二乘法(GA-iPLS),并用该方法快速提取苹果糖度近红外光谱的特征区域,在此基础上采用遗传偏最小二乘法(GA-PLS)提取苹果糖度近红外光谱的特征波长,进行苹果糖度预测。结果表明,整个光谱等分为40个子区间,遗传区间偏最小二乘法能快速寻找出5个特征子区间(第4,6,8,11,18号);在5个特征子区间的基础上用遗传偏最小二乘法继续优化,从中提取44个特征波长。建立在5个特征子区间和44个特征波长上的偏最小二乘法模型精度均优于全光谱偏最小二乘法模型,对预测集的预测相关系数提高了近10%;且模型得到了很大的简化,用于建模的主因子数减少了7个。这些结果表明,用这两种方法不但可以建立简洁、数据运算量少的模型,还可以快速地提取近红外光谱的特征区域和特征波长。     

近红外光谱分辨率对绿茶氮含量模型的影响

以绿茶为研究对象,氮含量为定量分析指标,研究了不同分辨率(2,4,6,8,16 cm-1)对近红外光谱图及氮含量模型的影响。结果表明：仪器的分辨率影响光谱图的质量,分辨率越高,得到的信息越丰富,但同时噪音增大;分辨率越低,光谱图更加平滑,信息量减少,当分辨率太低时光谱失真严重。分辨率为4 cm-1时,模型外部验证集RMSEP值为0.054 6,明显低于其他模型,相关系数为0.998 2,预测性能最好;模型预测精度也较好,STDEV和RSD分别为0.020和0.334。分辨率4 cm-1为最优分辨率。试验可以为近红外光谱仪采集绿茶光谱图提供参数选择依据,提高模型的稳定性与预测性能,促进近红外光谱检测技术在茶叶上的应用与推广。     

近红外光谱LASSO特征选择方法及其聚类分析应用研究

近红外光谱技术是一种通过分析样本的特征光谱数据,实现定性或定量分析的无损检测方法,特征数据的完整性和代表性决定了所建模型的性能,而现有分析方法只能实现光谱子区间特征筛选,导致分析模型稳定性差、且难以再优化。为实现近红外光谱区间高维数特征提取,有效提高近红外光谱定性分析模型的精度和稳定性,提出一种基于最小绝对收缩和选择算法(LASSO)的光谱特征筛选方法,并以我国特色高值外贸产品云南松茸为分析对象进行聚类应用研究,讨论了该方法对于高维光谱特征筛选的有效性、分析对比了LASSO筛选特征变量及主元分析(PCA)降维算法所建松茸真伪甄别及食用菌分类模型的预测精度及稳定性。通过调研发现,云南产鲜松茸因其独特外形易于分辨,而片状的干松茸失去其独有的外形特征,导致国内干松茸掺假事件屡禁不止。选取云南产松茸、杏鲍菇、老人头、姬松茸四种干样共166样本数据进行分析,采用光谱范围为900～1 700 nm的NIRQuest512型近红外光谱仪获得166×512维原始光谱数据,剔除异常数据后采用标准正态变换对光谱数据进行预处理。在此基础上,利用LASSO筛选出全光谱区间的特征变量,再使用Kennard-Stone法并结合典型线性(KNN)和非线性建模(BP)算法,构建松茸真伪甄别模型和食用菌分类模型,对两种模型进行盲样测试,并分析了LASSO与PCA算法的不同点,最后使用蒙特卡罗方法检测两种模型的稳定性。实验结果表明基于LASSO光谱特征选择的松茸真伪甄别模型和食用菌分类模型预测精度和稳定性均高于PCA方法,其中基于原始光谱数据所建真伪甄别模型的预测准确率为69.57% (BP)和60.87% (KNN),食用菌分类模型准确率为67.39% (BP)和65.22% (KNN),基于LASSO特征筛选的真伪甄别模型预测准确率分别达到100% (BP)和78.26% (KNN),食用菌分类模型预测准确率分别达到89.13% (BP)和80.43% (KNN),对两种模型进行10次蒙特卡罗实验,其结果平均值分别为99.93%和97.22%,由此可知,与PCA等数据降维算法相比,LASSO可实现全光谱区间的光谱特征选择和数据降维,有效地提高了近红外定性分析模型的预测性能,为近红外分析提供了一种新的特征筛选方法。     

siPLS-LASSO的近红外特征波长选择及其应用

近红外技术广泛应用于食品、药品等生产过程和产品质量检测,具有样品无需预处理、成本低、无破坏性、测定速度快等优点。但是,全光谱数据维数高、冗余信息多,直接应用于建模会导致模型复杂性高、稳定性差等问题。siPLS是最常见的光谱数据降维方法,但是难以处理光谱数据的共线性问题。LASSO是一种相对新的数据降维方法,但在小样本应用中具有不稳定性。针对siPLS和LASSO在近红外光谱数据应用中存在的问题,提出了基于siPLS-LASSO的近红外特征波长选择方法,并将其应用于秸秆饲料蛋白固态发酵过程pH值监测。该方法首先采用siPLS算法,实现对光谱波长最佳联合子区间的优选;然后,对优选联合子区间使用LASSO算法进行特征波长选择,在此基础上建立PLS校正模型。同时,将siPLS-LASSO方法与其他传统特征波长选择方法进行了对比。结果表明：建立在siPLS-LASSO方法优选33个特征波长基础上的PLS模型预测结果更好,其预测方差(RMSEP)和相关系数(R_p)分别为0.071 1和0.980 8;所提siPLS-LASSO方法有效选取了特征波长,提高了模型预测性能。     

近红外光谱法快速检测猪肉中挥发性盐基氮的含量

为了实现快速无损地检测猪肉新鲜度的目的,应用近红外光谱法测定猪肉新鲜度重要指标一挥发性盐基氮(TVB-N)的含量.猪肉原始光谱经标准偏差归一化方法(SNV)预处理后,用联合区间偏最小二乘法(siPLS)建立猪肉预处理后光谱和TVB-N含量的校正模型并与经典偏最小二乘法(PLS)模型、间隔偏最小二乘法(iPLS)模型作比较.试验结果表明,利用联合区间偏最小二乘法所建的预测模型最佳,其校正集相关系数(Rc)和交瓦验证均方根误差(fRv)分别为0.8332和3.75,预测集的相关系数(Rp)和预测均方根误差(fRP)分别为0.8238和4.17.研究结果表明利用近红外光谱和联合区间偏最小二乘法可以快速地测定猪肉中挥发性盐基氮的含量.     

基于近红外光谱的设施栽培水果黄瓜磷元素亏缺初期快速诊断

磷元素(P)亏缺初期,水果黄瓜植株根部叶片出现小斑点,其症状的外观特征与健康植株根部叶片老化初期类似,难以用肉眼或者计算机图像处理技术识别。本文根据近红外光谱能够反映叶片组织中有机物组分的差异,运用近红外光谱技术对水果黄瓜植株磷元素亏缺进行了快速诊断研究。精确控制营养液中磷元素含量,通过设施栽培方式培养缺磷植株和对照样本。近红外光谱仪采集了90片叶子的原始光谱(60片作为训练集,30片作为预测集),经光谱预处理和窗口宽度优化后均匀划分为27个子区间,分别提取每个子区间的10个主成分数据作为BP人工神经网络(BP-ANN)的输入变量,以叶片缺素情况作为输出变量,建立3层BP-ANN诊断模型。当主成分因子数为3时,第7个子区间对应的模型效果最佳,模型对缺磷叶片和正常叶片的预测准确率均达到100%。研究表明:近红外光谱技术结合BP-ANN快速诊断水果黄瓜磷元素亏缺是可行的。     

基于SiPLS算法的近红外光谱检测梨可溶性固形物含量

为了提高近红外光谱技术在梨的可溶性固形物含量(SSC)检测中的精度和稳定性,对采集的原始光谱进行标准归一化(SNV)预处理,采用联合区间偏最小二乘法(SiPLS)建立了SSC的预测模型;通过交互验证法确定了模型的主成分因子数,以预测时的相关系数(Rp)和预测均方根误差(RMSEP)作为评价指标对模型预测结果进行了分析,并与经典偏最小二乘(PLS)模型、间隔偏最小二乘(iPLS)模型进行了比较.结果表明,利用SiPLS所建的预测模型的最优组合包含21个光谱区间并联合4个子区间和15个主成分因子,其预测集的相关系数和预测均方根误差分别为0.9633和0.203;说明利用近红外光谱结合SiPLS算法可以准确、无损检测梨中可溶性固形物含量.     

祁门红茶加工中氨基酸和儿茶素快速检测模型建立

氨基酸与儿茶素是茶叶品质的重要组成成分。祁门红茶在加工过程中,氨基酸与儿茶素含量发生了显著的变化,而且不同加工阶段差异性很大,但目前在生产中缺乏快速在线检测方法。为了实现对祁门红茶加工过程中氨基酸和儿茶素含量快速测定,试验以鲜叶、萎凋叶、揉捻叶、发酵叶和干燥后毛茶为原料,获取近红外光谱并利用化学方法检测氨基酸和儿茶素含量。对采集的原始光谱进行标准正态变量变换(SNVT)预处理,利用联合区间偏最小二乘回归法(Si-PLS)构建氨基酸和儿茶素含量近红外回归模型,相关系数与交互验证均方根误差作为评价模型的有效指标。结果表明,利用Si-PLS方法建立氨基酸含量的模型最优组合包含20个光谱区间并联合4个子区间和9个主成分因子,校正集的相关系数、校正均方根误差分别为0.955 8和1.768;预测集的相关系数、预测均方根误差分别为0.949 5和2.16。儿茶素含量的模型最优组合包含20个光谱区间并联合3个子区间和10个主成分因子,校正集的相关系数、校正均方根误差分别为0.940 1和1.22;预测集的相关系数、预测均方根误差分别为0.938 5和1.17。所建立模型准确性较好,这为茶叶加工过程中茶叶品质的在线监控提供了理论依据。     

基于近红外光谱的橄榄油品质鉴别方法研究

目前市面上销售的橄榄油主要分为特级初榨橄榄油和普通初榨橄榄油两类,为了鉴别两种不同品质的橄榄油,提出了一种应用siPLS-IRIV-PCA算法的橄榄油品质鉴别的新方法。基于橄榄油的近红外光谱数据,应用联合区间偏最小二乘法(siPLS)对橄榄油的近红外光谱进行了波长区间优选,使用交叉验证均方根误差(RMSECV)评估模型的性能并选择最优波长区间,通过迭代保留信息变量(IRIV)算法从最优波长区间中选择特征波长,根据选择的特征波长构建主成分分析(PCA)模型。对90组特级初榨橄榄油和90组普通橄榄油样本进行了判别鉴定。PCA将1 427个波长变量作为输入变量,前两个主成分贡献率为51.891 8%和26.473 2%;siPLS-PCA将408个波长变量作为输入变量,前两个主成分贡献率为56.039 1%和36.235 5%;siPLS-IRIV-PCA将6个波长变量作为输入变量,前两个主成分贡献率为66.347 6%和32.304 3%。结果表明,与PCA和siPLS-PCA鉴别方法相比,siPLS-IRIV-PCA具有最佳的鉴别性能。     

基于遗传算法的苹果糖度近红外光谱分析

遗传算法(GA)应用在偏最小二乘法(PLS)校正模型的波段优化选择中具有显著的效果。将遗传算法用于波段选择, 能更快达到最优解, 有效提高测量精度,减少建模所用变量。文章研究了在近红外苹果糖度无损检测中,遗传算法作为模块进行波段选择,建立了GA-PLS模型;为了说明遗传算法优选波段可行性,另外建立了全谱和经验谱区的PLS定量模型,并评价了模型的稳健性。首先对傅里叶变换近红外光谱进行多元散射校正、Savitky-Golay卷积平滑后,用遗传算法优选波段(R-SGA),参与建模数据点从原始1 550减少到434个。然后采用一阶导数光谱建立GA-PLS模型,相比全谱PLS(1 550个数据点)和经验谱区PLS(717个数据点)模型具有更高的预测精度,其建模结果为R_C=0.966,RMSEC=0.469,R_P=0.954,RMSEP=0.797。结果表明, 遗传算法可用于PLS法建立苹果糖度校正模型前的数据优化筛选, 有效提高测量精度, 并减少建模变量。     

基于高光谱图像和偏最小二乘的羊肉pH值特征波段筛选研究

波段筛选方法的选取以及随后的光谱特征波段的提取对高光谱模型效果的影响较大。为了快速准确检测羊肉的pH值,开展并讨论了利用两种特征波段筛选方法对羊肉pH值高光谱模型的影响研究。本研究采用二阶导数(2D)、多元散射校正(MSC)和中心化处理(mean-centering)相结合的方法对所提取纯肌肉部分的代表性光谱进行预处理,利用联合区间偏最小二乘(siPLS)和联合区间偏最小二乘结合遗传算法(siPLS-GA)对全波段473～1000 nm范围光谱进行特征波段的提取,并分别建立相对应特征波段范围羊肉pH的PLS预测模型,同时与全波段的PLS模型效果相比较。结果表明采用siPLS-GA提取的特征波长建立的PLS模型效果最优,其选取的特征波长点数为56,校正集相关系数(R_cal)和均方根误差(RMSEC)分别为0.96和0.043,预测集相关系数(R_P)和均方根误差(RMSEP)分别为0.96和0.048。siPLS-GA方法既能够减少建模使用的光谱变量,又可以提高模型精度,因此利用高光谱图像技术结合siPLS-GA可以实现羊肉pH的特征波段筛选和快速准确检测。     

BiPLS结合GA优选可见/近红外光谱MLR变量

利用反向区间偏最小二乘法(BiPLS)定位光谱糖度若干信息区间,运用遗传算法(GA)从中选择波长点,建立了多元线性回归(MLR)模型。光谱进行卷积平滑和二阶导数处理后,将光谱(225个数据点)分割成25个子区间时,BiPLS优化结果最优。在所定位的信息区间进行GA二次选择特征变量,运行100次依次选择入选频率较高的12个波长点。为简化MLR模型,对于入选的相邻波长选择频率较高者,最后选择 638,734,752,868,910,916和938 nm作为回归变量,建立的MLR预测模型相关系数(R2)、校正均方根误差(RMSEC)和预测均方根误差(RMSEP)分别为0.984,0.364和0.471,优于常用的逐步多元线性回归的建模结果。表明BiPLS结合GA可以有效地对李子糖度可见/近红外光谱MLR回归变量进行筛选,提高了模型的精度。     

基于变量选择的偏最小二乘回归法和田间行走式近红外光谱进行土壤碳含量测定研究

针对田间状态下通过行走式设备获取的近红外反射光谱数据,存在干扰因素多,数据获取环境复杂多变,比实验室条件下建立土壤碳预测模型更加困难的情况,研究了通过变量选择来提高模型质量的效果及有效性。从独立检验数据集来分析,与采用所有变量所建模型的预测精度相比,进行变量选择后的预测精度,均有不同程度的提高,说明在建立土壤碳预测模型时,进行光谱变量选择,是有益和必要的。基于无信息变量消除法(UVE)和无信息变量消除-连续投影法(UVE-SPA)进行变量选择所建模型的预测精度较高,而SPA和遗传算法-偏最小二乘法(GA-PLS)的效果较差;对于协同区间最小二乘法而言,分割的区间数、参与建模子区间数的变化,会对所建模型的预测精度产生影响,选择合适的区间分割数和子区间组合,可以获得与UVE和UVE-SPA相当的效果,但其不足是需要大量的运算来进行最优子区间组合的选择。     

一种基于SCARS策略的近红外特征波长选择方法及其应用

针对近红外光谱数据的内在特点,提出了一种基于稳定性竞争自适应重加权采样(stability competitive adaptive reweighted sampling, SCARS)策略的近红外特征波长优选方法。该方法以PLS模型回归系数的稳定性作为变量选择的依据,其过程包含多次循环迭代,每次循环均首先计算相应变量的稳定性,而后通过强制变量筛选以及自适应重加权采样技术(ARS)进行变量筛选;最后对每次循环后所得变量子集建立PLS模型并计算交互验证均方根误差(RMSECV),将RMSECV值最小的集合作为最优变量子集。利用饲料蛋白固态发酵过程近红外光谱数据集对所提方法进行了验证,并与基于PLS的蒙特卡罗无信息变量消除法(MC-UVE)和竞争自适应重加权采样(CARS)方法所得结果进行了比较。试验结果显示： 建立在SCARS方法优选的21个特征波长变量基础上的PLS模型预测效果更好,其预测均方根误差(RMSEP)和相关系数(R_p)分别为0.054 3和0.990 8;该优选策略能有效地增强固态发酵光谱数据特征波长变量选择的准确性和稳定性,提高了模型的预测精度,具有一定的应用价值。     

葡萄浆果糖度可见/近红外光谱检测的研究

针对可见/近红外光谱与水果糖度存在非线性相关的特点,利用漫反射光谱测定方法获取了葡萄浆果的可见/近红外光谱,提出了应用偏最小二乘（PLS）结合人工神经网络（ANN）建立葡萄浆果糖度的预测模型,利用偏最小二乘法（PLS）对原始光谱数据进行处理,得出交叉检验的最佳主因子数为3,并将3个主因子的得分作为三层BP神经网络的输入。通过定标集样本对BP神经网络进行训练,用优化的BP神经网络模型对预测集样本进行预测。PLS-ANN模型对样本的预测模型检验参数r2为0.908,RMSEP为0.112,Bias为0.013,好于只使用PLS模型的预测模型检验参数r2为0.863,RMSEP为0.171, Bias为0.024。结果表明,利用近红外光谱技术无损检测葡萄浆果糖度等内部品质是可行的,为今后进一步分析建立浆果内部品质预测模型奠定了基础。     

基于遗传算法的安溪铁观音品质快速评价研究

为探究一种快速无损的安溪铁观音品质评价方法,利用遗传算法(GA)对茶样的近红外光谱特征波长进行筛选,结合偏最小二乘(PLS),建立全谱段的PLS定量模型与GA-PLS模型。结果表明,傅里叶变换近红外(FT-NIR)全谱段光谱在经过平滑+二阶导数+归一化处理后,PLS模型预测性能最高,建模结果为：校正集相关系数R_C=0.921,校正集均方根误差RMSEC=0.543,验证集相关系数R_P=0.913,验证集均方根误差RMSEP=0.665。选用近红外光谱6 670～4 000 cm-1谱区,采用遗传算法进行特征波长筛选,参与建模数据点数从1 557缩减到408个。优选波段后,GA-PLS建模结果为：校正集相关系数R_C=0.959,校正集均方根误差RMSEC=0.413,验证集相关系数R_P=0.940,验证集均方根误差RMSEP=0.587。可见,GA-PLS模型的校正集和验证集的预测结果均优于全谱段PLS模型。结果说明,在传统的近红外光谱技术结合化学计量学方法的建模基础上,加入遗传算法进行波长筛选,能有效提高模型预测能力,实现方法学的创新研究,且GA-PLS品质评价模型具有较强的参考和推广价值,为提高我国茶叶品质的检测技术水平提供新的方法借鉴。     

可见/近红外漫透射光谱结合CARS变量优选预测脐橙可溶性固形物

可溶性固形物(SSC)是脐橙重要内部品质之一。采用QualitySpec型光谱仪在350～1000 nm波段范围采集脐橙的可见/近红外漫透射光谱,采用CARS(competitive adaptive reweighted sampling)变量选择方法筛选出与脐橙SSC相关的重要变量,并与无信息变量消除(UVE)及连续投影算法(SPA)比较。最后,对选择的38个重要波长变量应用偏最小二乘(PLS)回归建立脐橙SSC预测模型,并对未参与建模的75个样品进行预测。研究结果表明,CARS方法优于UVE及SPA变量选择方法,能有效地筛选出重要波长变量。CARS-PLS建立的SSC预测模型优于全光谱的PLS模型,其校正集及预测集的相关系数分别为0.948和0.917,均方根误差分别为0.347%和0.394%。因此,可见/近红外漫透射光谱结合CARS方法可以预测脐橙可溶性固形物,CARS变量选择方法能有效简化预测模型和提高模型的预测精度。