高光谱技术结合CARS算法的库尔勒香梨可溶性固形物定量测定

由于高光谱数据量大、维数高,光谱噪声明显、散射严重等特征导致光谱建模时关键变量提取较为困难,同时,高光谱图像的获取会受非单色光、杂散光、温度等多种因素的影响,从而使高光谱数据与待测性质之间有一定非线性关系。为此,提出采用正自适应加权算法(CARS)对可见-近红外高光谱高维数据进行关键变量筛选,并与全光谱和经典变量提取方法SPA,MC-UVE,GA和GA-SPA方法进行比较。以200个库尔勒香梨为研究对象,采用SPXY方法将样本划分为校正集和预测集,校正集和预测集分别包含150个和50个样本。基于不同方法筛选的变量,分别建立线性PLS模型及非线性LS-SVM模型,r2,RMSEP和RPD用于模型性能的评估。综合比较发现,GA,GA-SPA和CARS变量筛选方法能够有效地筛选出原始高光谱数据中具有强信息且对外界影响因素不敏感的变量,适用于高光谱数据关键变量的提取,其中CARS变量筛选效果最佳,基于CARS获取的关键变量构建的非线性LS-SVM库尔勒香梨SSC含量预测模型获得了最优的预测结果,r2_pre,RMSEP和RPD分别为0.851 2,0.291 3和2.592 4。研究表明,CARS方法是一种有效的高光谱关键变量筛选方法,利用高光谱数据,非线性LS-SVM模型比线性PLS模型更适合于香梨品质的定量预测。     

近红外高光谱图像结合CARS算法对鸭梨SSC含量定量测定

高光谱数据量大、 维数高且原始光谱噪声明显、 散射严重等特征导致光谱建模时关键波长变量提取困难。 基于此,提出采用竞争性自适应重加权算法(CARS)对近红外高光谱数据进行关键变量选择。 鸭梨作为研究对象。 采用决定系数r2、 预测均方根误差RMSEP和验证集标准偏差和预测集标准偏差的比值RPD值进行模型性能评估。 基于选择的关键变量建立PLS模型(CARS-PLS)与全光谱变量建立的PLS模型进行比较发现CARS-PLS模型仅仅使用原始变量中15.6%的信息获得了比全变量PLS模型更好的鸭梨SSC含量预测结果,r2_pre,RMSEP和RPD分别为0.908 2,0.312 0和3.300 5。 进一步与基于蒙特卡罗无信息变量MC-UVE和遗传算法(GA)获得的特征变量建立的PLS模型比较发现,CARS不仅可以去除原始光谱数据中的无信息变量,同时也能够对共线性的变量进行压缩去除,该方法能够有效地用于高光谱数据变量的选择。 结果表明,近红外高光谱技术结合CARS-PLS模型能够用于鸭梨可溶性固形物SSC含量的定量预测。 从而为基于近红外高光谱技术预测水果内部品质的研究提供了参考。     

以高光谱数据有效预测苹果可溶性固形物含量

从高光谱数据中选取能够有效进行内部品质检测的特征波长,是利用高光谱成像技术进行水果品质定量分析的关键。本文采用遗传算法(GA)、连续投影算法(SPA)和GA-SPA算法分别从400～1 000 nm的苹果高光谱图像中提取特征波长,利用偏最小二乘法(PLS)、最小二乘支撑向量机(LS-SVM)和多元线性回归(MLR)建模进行苹果可溶性固形物含量(SSC)的定量分析并进行了综合比较。160个样品中,120个用于建模,40个用于预测。比较发现SPA-MLR模型获得了最好的结果,R2_p,RMSEP和RPD分别为0.950 1,0.308 7和4.476 6。结果表明：SPA能够有效地用于高光谱数据的变量选择,利用SPA-MLR可建立稳健的苹果SSC预测模型,较少的有效变量和MLR模型的易解释性表明该模型在在线检测和便携式仪器开发中具有较大的应用潜力。     

高光谱成像技术结合特征提取方法的草莓可溶性固形物检测研究

采用高光谱成像技术结合不同的特征提取方法,实现了对草莓可溶性固形物含量的检测。通过提取154颗成熟无损伤草莓的高光谱图像的874～1 734 nm范围光谱信息,对941～1 612 nm光谱采用移动平均法(moving average,MA)进行预处理。基于残差法剔除19个异常样本后将剩余135个样本分为建模集(n=90)和预测集(n=45)。采用连续投影算法(successive projections algorithm, SPA),遗传偏最小二乘算法(genetic algorithm-partial least squares, GAPLS)结合连续投影算法(GAPLS-SPA),加权回归系数(weighted regression coefficient, Bw)以及CARS法(competitive adaptive reweighted sampling)选择特征波长分别提取14,17,24与25个特征波长,并采用主成分分析(principal component analysis, PCA)与小波变换(wavelet transform, WT)分别提取20与58个特征信息。分别基于全波段光谱、特征波长与特征信息建立PLS模型。所有模型都取得了较好的效果,基于全波段光谱的PLS模型与基于WT提取的特征信息的PLS模型的效果最优,建模集相关系数(r_c)与预测集相关系数(r_p)均高于0.9。结果表明高光谱成像技术结合特征提取方法可用于草莓可溶性固形物含量的检测。     

可见/近红外漫透射光谱结合CARS变量优选预测脐橙可溶性固形物

可溶性固形物(SSC)是脐橙重要内部品质之一。采用QualitySpec型光谱仪在350～1000 nm波段范围采集脐橙的可见/近红外漫透射光谱,采用CARS(competitive adaptive reweighted sampling)变量选择方法筛选出与脐橙SSC相关的重要变量,并与无信息变量消除(UVE)及连续投影算法(SPA)比较。最后,对选择的38个重要波长变量应用偏最小二乘(PLS)回归建立脐橙SSC预测模型,并对未参与建模的75个样品进行预测。研究结果表明,CARS方法优于UVE及SPA变量选择方法,能有效地筛选出重要波长变量。CARS-PLS建立的SSC预测模型优于全光谱的PLS模型,其校正集及预测集的相关系数分别为0.948和0.917,均方根误差分别为0.347%和0.394%。因此,可见/近红外漫透射光谱结合CARS方法可以预测脐橙可溶性固形物,CARS变量选择方法能有效简化预测模型和提高模型的预测精度。     

基于高光谱技术的土壤水分无损检测

利用高光谱成像仪(光谱范围400～1 000 nm)对土壤含水率进行了无损检测。比较了208个土样不同天数下土壤含水率与光谱变化、不同质量含水量光谱的差异;对比分析了不同光谱预处理方法、不同方法提取特征波长、采用多元线性回归(multiple linear regression,MLR)、主成分回归(principal component regression,PCR)与偏最小二乘回归(partial least squares regression,PLSR)建模,优选出最佳模型。结果表明：光谱曲线的反射率随着土壤含水率的增加而减小。当超过田间持水率时,光谱曲线的反射率会随着土壤含水率的增加而增大。对比分析了不同预处理方法,近红外波段优选出单位向量归一化预处理方法。采用无信息变量消除法(UVE)、竞争自适应加权采样(CARS)、β系数法、连续投影算法(SPA)方法提取特征波长为49,30,5和7。为了减少数据冗余,对UVE与CARS提取的特征波长进一步采用SPA方法进行特征提取,UVE+SPA,CARS+SPA提取特征波长数分别为5和8个。在此基础上,利用MLR,PCR和PLSR方法对400～1 000 nm范围的特征波长建立模型,对比分析不同建模效果,优选出β系数提取的特征波长的MLR模型。最优的特征波长为411,440,622,713和790 nm,最优模型的预测相关系数R_p=0.979,预测均方根误差RMSEP为0.763。因此,今后可采用不同波段对土壤含水率进行定量分析。     

西瓜检测部位差异对近红外光谱可溶性固形物预测模型的影响

西瓜可溶性固形物含量的无损检测对提升其内部品质十分重要。为实现近红外光谱对小型西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对预测模型的影响,以“京秀”西瓜为研究对象,分别采集赤道、瓜脐和瓜梗三部位的漫透射光谱信息,利用偏最小二乘算法(PLS)建立并比较单一检测部位和混合所有检测部位的西瓜可溶性固形物近红外光谱预测模型,并分别采用连续投影算法(SPA)和竞争性自适应重加权算法(CARS)对西瓜可溶性固形物近红外光谱变量进行特征波长筛选。结果显示,相比于单一检测部位的模型,混合所有检测部位的校正集样本建立的模型取得了较优的预测结果。同时,利用CARS算法筛选的42个特征波长变量建模,对三种检测部位预测集样本的预测结果分别为赤道R_P=0.892和RMSEP= 0.684 °Brix,瓜脐R_P=0.905和RMSEP= 0.629 °Brix,瓜梗R_P=0.899和RMSEP= 0.721 °Brix。模型得到了很大的简化,且预测精度较高。比较发现,利用SPA算法筛选的19个特征波长变量所建模型的预测精度较低。利用三种检测部位的西瓜样本建立的PLS混合预测模型,结合CARS算法进行有效特征波长变量筛选,可提高西瓜可溶性固形物预测模型的精度,实现西瓜表面各部位可溶性固形物含量的准确预测,减小检测部位差异对近红外光谱预测模型的影响。结果为今后开发便携式设备检测西瓜表面各部位可溶性固形含量提供参考依据。     

基于近红外光谱和变量优选的棉麻混纺织物棉含量快速检测

纺织品纤维成分的快速检测对其生产过程质量监控、贸易和市场监督均具有重要的意义。利用近红外光谱技术联合变量优选对棉麻混纺织物中的棉含量进行快速检测研究。采用NIRFlex N-500型傅里叶近红外光谱仪在4 000～10 000 cm-1光谱范围内采集样本的反射光谱,对样本光谱进行范围初选和预处理分析。在此基础上,利用UVE(uninformative variables elimination),SPA(successive projections algorithm)及CARS (competitive adaptive reweighted sampling)方法对光谱变量进行优选,再应用PLS(partial least squares)建立棉麻混纺织物中的棉含量预测模型。最后,采用最优预测模型对未参与建模的样本进行预测。研究结果表明,4 052～8 000 cm-1光谱范围为棉含量较优的建模光谱范围。CARS变量选择方法能较为有效地提高预测模型的精度,CARS-PLS模型的校正集、预测集相关系数和均方根误差分别为0.903,0.749和8.01%,12.93%。因此,近红外光谱联合CARS变量优选可以用于棉麻混纺织物棉含量的快速检测,CARS方法可以有效简化预测模型,提高预测模型性能。     

基于CARS和K-S的马拉硫磷农药浓度吸收光谱预测模型研究

利用马拉硫磷在紫外/可见光波长范围内的不同浓度梯度的吸光度光谱数据,建立其快速有效的定量预测分析模型。在预测模型的建立过程中,参与建模的波长变量和校正集样本的优劣对定量分析模型的预测能力有着决定性作用。首先对实验样本是否存在异常样本进行检查,然后将200.08～750.04 nm波长范围的光谱数据采用不同预处理方法并建立PLS模型,进而将预处理结果最优(均值中心化)的光谱数据采用竞争性自适应重加权采样(CARS)算法和蒙特卡洛无消息变量消除法(MC-UVE)分别筛选出关键波长变量并建立相应的PLS预测模型,模型结果表明, CARS算法在关键变量筛选的性能上优于MC-UVE算法;再将CARS算法筛选出的18个波长变量(为原来变量数的1.137 8%)结合Kennard-Stone (K-S)算法和蒙特卡洛交叉验证(MCCV)分别优选出的44个建模样本(原来样本数的88%)建立CARS-K-S_s-PLS和CARS-CCV_s-PLS定量预测模型,R■分别为0.998 2和0.998 9, RMSEP分别为0.863 4和1.026 2, RPD分别为24.163 5和20.330 1, CARS-K-S_s-PLS模型略优于CARS-CCV_s-PLS模型。结果表明, CARS算法能够淘汰与样本浓度相关性较弱的变量,同时有效剔除无关光谱信息, K-S算法能帮助选择更优的建模样本集,马拉硫磷农药的紫外/可见光吸收光谱结合CARS算法和K-S算法所建立的CARS-K-S_s-PLS模型能够用来定量预测马拉硫磷农药浓度。研究工作为利用光谱技术快速检测有机磷农药浓度提供一定的理论依据和实验基础,在有机磷农药快速检测领域具有良好的应用前景。     

近红外特征光谱的羊肉TVB-N浓度预测模型

为提高生鲜羊肉储存期内（4,8和20 ℃环境）挥发性盐基氮（TVB-N）的近红外光谱（NIR）检测的稳定性和准确性,选取特征光谱和预测模型是关键步骤。以121个羊肉样品为实验对象,采集生鲜羊肉680~2 600 nm波段的近红外光谱。以多元散射校正（MSC）、标准正态变换（SNV）等散射校正方法,Savitzky-Golay卷积平滑（SGS）、移动平均平滑（MAS）等平滑处理方法,以及归一化（Normalization）、中心化（Centering）、标准化（Autoscaling）等尺度缩放方法分别预处理光谱数据后建立偏最小二乘法（PLS）预测模型。比较发现SGS处理的光谱建模效果最好。利用蒙特卡洛采样（MCS）法及马氏距离法（MD）消除了羊肉光谱的5个异常数据。运用光谱-理化值共生距离（SPXY）算法划分总样本的75%（87个）为校正集样本,剩余29个为验证集样本,利用竞争性自适应重加权法（CARS）、无信息变量消除法（UVE）、改进的无信息变量消除法（IUVE）和连续投影算法（SPA）提取特征光谱得到的波长个数分别为14,713,144和15。将全光谱和4种方法提取的特征波长作为输入变量建立预测模型,CARS提取的波长所建立模型的性能优于UVE、IUVE和SPA提取的波长所建立模型的性能,表明CARS方法可以有效简化输入变量并提高预测模型的性能。改进后得到的IUVE法相比于UVE法,筛选出的波长数更少且模型性能有所提升。以提取的特征波长建立PLS,支持向量机（SVM）和最小二乘支持向量机（LS-SVM）预测模型,SVM模型得到最优的校正集预测结果,其中CARS-SVM预测模型的校正决定系数（R2_C）和校正均方根误差（RMSEC）分别为0.939 1和1.426 7,最优的验证集预测效果为LS-SVM预测模型得到,其中IUVE-LS-SVM预测模型的验证决定系数（R2_V）和验证均方根误差（RMSEV）分别为0.856 8和1.886 2。基于近红外特征光谱建立简化、优化的生鲜羊肉储存期TVB-N预测模型,为实现快速无损检测生鲜羊肉中的TVB-N浓度提供技术支持。     

最小相关系数的多元校正波长选择算法

在近红外光谱的定量分析中,由于仪器的精密程度越来越高,采集的光谱数据通常具有很高的维度。因此,波长选择对于剔除噪声及冗余变量,简化模型,提高模型的预测性能是必不可少的。近红外光谱特征波长选择方法众多,但变量间的多重共线性问题仍是导致模型效果较差的一个关键问题。变量间共线性可以通过相关系数进行分析,当相关系数高于0.8,表明存在多重共线性。据此,以变量间相关系数为选择标准,提出一种以所选变量之间共线性最小化的波长选择方法,称之为最小相关系数法(MCC)。该方法以光谱数据的相关系数矩阵为基础,挑选出与其他波长相关系数平均值和标准差均较小的波长为候选建模波长集合,使得集合内波长之间线性相关性最小,进而消除模型变量之间共线性。然后通过标准回归系数优选对因变量影响较大的波长,获得预测模型。为了验证所提出算法的有效性,对该方法进行了测试。利用两组公开的近红外光谱数据集（柴油数据集、土壤数据集）,通过MCC算法进行波长选择,并与常用的几个波长选择方法,如：连续投影算法(SPA)、竞争性自适应重加权采样法(CARS)、随机蛙跳算法(RF)、迭代保留信息变量法(IRIV)进行比较。实验结果表明,MCC算法获得了良好的预测性能,MCC算法的预测精度相比于SPA,CARS和RF三种算法具有明显的优势,而MCC算法的预测精度与IRIV算法不相上下。因此,最小相关系数法可实现高效降维,提高模型的预测精度,是一种有效的波长选择算法。     

特征变量优选在苹果可溶性固形物近红外便携式检测中的应用

为实现苹果可溶性固形物(SSC)的便携式快速检测,利用环形光纤探头和微型光谱仪搭建便携式苹果可溶性固形物光谱采集系统,结合无信息变量消除(UVE)、遗传算法(GA)、竞争性自适应加权(CARS)算法筛选基于偏最小二乘(PLS)的苹果可溶性固形物的近红外光谱特征波长。另外,采用反向区间最小二乘支持向量机(BiLS-SVM)和GA算法优选基于LS-SVM的特征波长变量,分别建立所选特征波长和全波段的PLS模型和LS-SVM模型。试验结果表明,经过GA-CARS算法从全波段1 512个波长中筛选出的50个特征波长建立的PLS模型效果最好,其预测相关系数和预测均方根误差分别为0.962和0.403°Brix。利用该检测装置结合GA-CARS筛选的特征波长,可有效简化苹果可溶性固形物近红外便携式检测模型并提高模型的预测精度,为进一步构建便携式苹果可溶性固形物检测设备奠定了基础。     

近红外光谱信息筛选在玛咖产地鉴别中的应用

食药植物玛咖富含多种营养成分,极具药用价值。采用近红外漫反射光谱,对采自秘鲁及云南共139份玛咖样品进行产地鉴别。采用多元信号校正结合二阶导数和Norris平滑预处理光谱,利用光谱标准偏差初步选择光谱波段（7 500～4 061 cm-1）,结合主成分-马氏距离（principal component analysis-mahalanobis distance,PCA-MD）筛选出适宜的主成分数为5。基于所筛选的光谱波段及主成分数,利用“模群迭代奇异样本诊断”方法剔除2个异常样品后,分别采用竞争自适应重加权法（competitive adaptive reweighted sampling,CARS）、蒙特卡洛-无信息变量消除法（monte carlo-uninformative variable elimination,MC-UVE）、遗传算法（genetic algorithm,GA）和子窗口重排（subwindow permutation analysis,SPA）四种方法筛选光谱变量信息,利用模型集群分析（model population analysis,MPA）思想对所筛选的光谱变量信息进行评价。结果显示,RMSECV（SPA）>RMSECV（CARS）>RMSECV（MC-UVE）>RMSECV（GA）,分别为2.14,2.05,2.02,1.98,光谱变量数分别为250,240,250和70。采用偏最小二乘判别分析法（partial least squares discriminant analysis,PLS-DA）对四种方法筛选的光谱变量建立判别模型,随机选择97份样品作为建模集,其余40份样品作为验证集。通过R2,RMSEC和RMSEP分析可知,R2： GA>MC-UVE>CARS>SPA,RMSEC和RMSEP： GA相似文献   

基于近红外光谱的淡水鱼新鲜度在线检测方法研究

新鲜度是反映鱼类品质以及可否食用的重要指标,在线检测直接关系到食品质量与安全的实施应用,因此对淡水鱼新鲜度进行在线无损检测具有重要意义。应用近红外光谱对淡水鱼新鲜度进行在线检测,试验装置采用自行搭建的淡水鱼近红外光谱在线采集装置,试验时样品在输送链上以0.5 m·s-1的速度运动,采集其近红外漫反射光谱(900～2 500 nm),并用支持向量机(support vector machine, SVM)建立淡水鱼新鲜度在线检测模型。采用光谱理化值共生距离(sample set partitioning based on joint X-Y distance algorithm, SPXY)算法对样本集进行划分,其中校正集111条(新鲜57条,变质54条)、测试集37条(新鲜19条,变质18条),通过对比不同的光谱预处理方法对预测结果的影响,明确了一阶导结合标准化预处理为最优光谱预处理方法,经过该方法预处理后所建模型对校正集的正确识别率为97.96%,对测试集的识别率为95.92%。为了提高模型运行速度对建模所用光谱变量进行优化,分别采用遗传算法(genetic algorithm, GA)、连续投影算法(successive projection algorithm, SPA)和竞争性自适应重加权算法(competitive adaptive reweighed sampling algorithm, CARS) 三种不同的特征变量选择方法对特征波长进行筛选,通过建模比较分析确定CARS为最优波长选择方法,以所选的10个特征波长建立淡水鱼新鲜度支持向量机检测模型,模型对校正集的正确识别率为100%,对测试集的识别率为93.88%。该研究可为近红外光谱用于淡水鱼新鲜度在线检测提供技术支持。     

近红外光谱技术结合RCA和SPA方法检测土壤总氮研究

基于近红外光谱技术结合连续投影算法和回归系数分析对检测土壤总氮含量进行研究。采集农田土壤样本近红外光谱数据,土壤样本数量共394个。由于原始光谱数据量大,在500～2 500 nm光谱波长范围基础上,为简化模型,在原始光谱基础上采用连续投影算法和回归系数分析提取特征变量,以两种变量选择方法提取的特征变量作为输入,分别采用偏最小二乘回归(PLS)、 多元线性回归(MLR)和最小二乘支持向量机(LS-SVM)建模方法建立总氮预测模型,共建立了9个预测模型,最优预测集的决定系数为0.81,剩余预测偏差RPD为2.26。研究表明,基于连续投影算法和回归系数分析选择的特征波长可以应用于近红外光谱检测土壤总氮含量,同时可以大大简化模型,适合开发便携式土壤养分检测仪。