PLS-BP法近红外光谱定量分析研究

建立BP模型用于近红外光谱定量分析时,为克服所建模型与训练样本集产生“过拟合”,先用线性算法为其压缩训练数据是必要的。目前多采用主成分法(PCA)和逐步回归法(SRA)。主成分法具有极强的压缩数据能力,用它压缩成的主成分输入BP网所建模型的预测精度一般能满足要求,但它处理数据时未考虑输出变量的影响。逐步回归法根据系统输出选择变量,但所选变量具有自相关性,而且与训练集样品的排列顺序有关,很难选出最好的变量,往往难满足预测精度要求。本研究用偏最小二乘法(PLS),根据输出变量将原始数据压缩为主成分,输入BP网并用所建模型预测30个小麦样品的蛋白质含量。结果表明,与PCA-BP模型的预测决定系数(R2)从92.50提高到97.10,训练迭代次数从12 000减少到4 500。     

SVM回归法在近红外光谱定量分析中的应用研究

研究了基于统计学习理论的支持向量机（SVM）回归法在近红外光谱定量分析中的应用。以66个小麦样品为实验材料,由33个小麦样品作为校正样品,采用4种不同核函数方法对小麦样品蛋白质含量与小麦样品近红外光谱进行SVM回归建模。以所建4种不同SVM回归模型对33个小麦预测样品的蛋白质含量进行了预测;不同回归模型的预测结果与凯氏定氮法确定的蛋白质含量的标准化学值间的相关系数均在0．97以上,平均绝对误差小于0．32。为了考察SVM回归校正模型的预测效果,同所建PLS回归模型的预测结果进行了比较,表明所建预测小麦样品蛋白质含量的SVM回归模型亦可通过近红外光谱进行实际样品的定量分析,且有较好的分析效果。     

局部建模方法用于烟草样品的近红外光谱定量分析

采用近红外光谱在主成分空间的距离作为样本相似性的判据,建立了一种用于近红外光谱定量分析的局部建模方法。该方法首先对校正集的光谱进行主成分分析(PCA),然后基于主成分空间中预测样本与校正集样本的距离选择校正子集并建立局部偏最小二乘(PLS)回归模型。对欧氏距离和马氏距离的比较表明,欧氏距离可以更好地表达样本之间的相似性。将所建立的方法用于烟草样品中氯和尼古丁含量的测定,结果表明局部建模方法比常用的全局建模方法具有更好的预测准确性,特别是在低含量成分的预测中具有明显优势。     

基于小波压缩的马铃薯全粉还原糖近红外光谱检测研究

为探讨小波压缩算法结合近红外光谱技术在马铃薯全粉还原糖含量检测中的可行性,采用傅里叶变换近红外光谱仪采集了250份马铃薯全粉样品的近红外光谱。分别优化了消失矩、小波系数和主成分因子数,优化结果为10,100和20。基于db小波函数将1 501个马铃薯全粉的近红外光谱变量压缩成100个小波系数。分别以1 501个光谱变量和100个小波系数为变量分别建立了偏最小二乘(PLS)校正模型。以62个未参与建模的样品作为预测集,考察模型的预测能力。经比较,小波压缩结合PLS的校正模型预测结果最优,模型预测相关系数为0.98,预测均方根误差为0.181%。实验结果表明小波压缩算法结合近红外光谱技术有效地保留了有效光谱信息,实现了光谱数据降维,简化了马铃薯全粉还原糖PLS校正模型,提高了模型的预测能力。     

基于变量优选和快速独立成分分析的黄花梨可溶性固形物可见/近红外光谱检测

为建立预测能力高、稳定性强的可见/近红外漫透射光谱无损检测黄花梨可溶性固形物(SSC)数学模型,对比各种预处理方法、变量优选方法、快速独立主成分分析(FICA)以及最小二乘支持向量机(LS-SVM)对黄花梨SSC模型的影响,得出最佳的组合方法用于建立黄花梨可溶性固形物(SSC)预测模型。采用Quality Spec型光谱仪采集550~950 nm波段范围内的黄花梨漫透射光谱并采用遗传算法、连续投影算法和CARS(competitive adaptive reweighted sampling)三种方法筛选黄花梨可溶性固形物的光谱特征变量,再结合FICA提取光谱主成分,最后采用LS-SVM建立黄花梨的SSC预测模型。结果显示,采用CARS筛选的21个变量,经FICA挑选出12个主成分数,联合LS-SVM所建立的CARS-FICA-LS-SVM黄花梨SSC预测模型性能最佳,建模集和预测集的决定系数及均方根误差分别为0.974,0.116%和0.918,0.158%,同直接采用PLS方法建模相比,变量数从401个下降到21,主成分数由14下降到12,建模集和预测集决定系数分别上升了0.023,0.019,而建模和预测均方根误差分别下降了0.042%和0.010%。CARS-FICA-LS-SVM建立黄花梨SSC预测模型能够有效地简化预测模型并提高预测模型精度。     

潜变量机器学习方法在咖啡NIR定量分析中的应用

采用近红外（NIR）光谱快检技术实现对咖啡蛋白质的定量检测,研究支持向量机（SVM）和极限学习机（ELM）等机器学习方法在建模分析中的实用性。结合潜变量分析技术,建立潜变量SVM（LV-SVM）模型和潜变量ELM（LV-ELM）模型,通过调试潜变量个数和机器学习关键参数的联合优选,实现数据降维和机器学习关键参数的同过程优化。运用定标-验证-测试机制,利用定标集样本建立咖啡蛋白质的NIR分析模型,随参数变动形成三维随动优选结构的建模预测结果,结合验证集样本对模型进行联合优选,然后将优化模型应用于测试集样本进行模型评价。LV-SVM建模优选的验证集预测均方根误差为6.797,对应的测试集预测均方根误差为8.384。LV-ELM建模优选的验证集预测均方根误差为6.118,对应的测试集预测均方根误差为7.837。与常规偏最小二乘（PLS）方法相比较,LV-SVM和LV-ELM方法均取得更好的预测结果,验证了潜变量机器学习方法在近红外定量分析中的应用优势,该方法有望应用于不同类型的咖啡各成分含量检测。     

有监督主成分回归法在近红外光谱定量分析中的应用研究

介绍了运用有监督主成分回归法建立近红外光谱定量分析模型的原理和方法.利用该方法先进行近红外光谱定量分析建模的波长信息选择,达到降低光谱数据维数的目的,然后建立数学模型,并用其分析预测集样品.文中以66个小麦样品为实验材料,随机选择其中40个样品建立小麦样品中蛋白质含量的近红外光谱定量分析模型,首先优选出4个波长点:4 632,4 636,5 994,5 997 cm-1,利用这4个波长点处光谱信息建立主成分回归模型预测26个样品的蛋白质含量,其结果与凯氏定氮法分析结果的相关系数为0.991,平均相对误差为1.5%.该方法从大量光谱数据中筛选出最重要的部分波长信息,实现了"少而精"的波长点选择,对建立抗共线性信息干扰的光谱定量分析模型,同时对指导专用近红外分析仪器设计中波长点的选择等方面都有一定的意义.     

基于可见/近红外光谱技术的林地土壤氮含量测定

提出一种利用可见/近红外光谱技术进行杉木林土壤全氮测定的方法.利用不同方法实现了土壤光谱的预处理,并以偏最小二乘回归算法(PLS)建立土壤氮含量估测模型对其进行比较分析,发现小波除噪结合多远散射校正能最有效地消除原始光谱的噪声与背景信息,此时PLS模型校正集与预测集R2分别为0.891与0.885.为优化模型,对预处理后的光谱数据采用主成分分析法(PCA)降维,以最小二乘支撑向量机回归算法(LS-SVR)建立了土壤氮含量估测模型,其校正集与预测集R2分别提高至0.921与0.917,具有比PLS算法更高的精度.结果表明:以可见/近红外光谱技术进行林地土壤氮含量快速监测是可行的,其中小波去噪结合多元散射校正系光谱预处理的优选方法,而LS-SVR则是建模的优选方法.     

PLS-GRNN法近红外光谱多组分定量分析研究

研究了偏最小二乘(partial least squares ,PLS)与广义回归神经网络(generalized regression neural networks, GRNN)联用在近红外光谱多组分定量分析中的应用。以饲料样品为实验材料,采用PLS-GRNN法建立了饲料中水溶性氯化物、粗纤维、脂肪三项组分含量近红外光谱定量分析模型。马氏距离法剔除强影响点和奇异点,用PLS法将原始数据压缩为主成分,取8个主成分吸收峰与4个原始图谱特征峰值输入GRNN网络,网络光滑因子σ_i为0.1。PLS-GRNN模型对样品3个组分含量的预测决定系数(r2)分别为：0.984 0,0.987 0,0.983 0;样品平行扫描光谱预测值的标准偏差分别为：0.003 26,0.065 5,0.031 4。结果表明所建PLS-GRNN模型通过近红外光谱能够准确预测饲料中水溶性氯化物、粗纤维、脂肪三项组分含量,为近红外光谱进行多组分定量分析提供了新思路,同时为解决近红外快速检测技术在预测组分含量较低的样品时误差相对较大的问题提供了可靠的方法。     

近红外光谱分析中建模校正集的选择

将极大线性无关组的概念及方法引入近红外光谱分析,探讨了在建立定量分析模型时代表性样品,即校正集样品的选择问题。以2 652个烟末样品为实验材料,随机选取1 001个样品构成预测集,其余1 651个样品为代表性样品备选集。用Matlab软件求出代表性样品备选集光谱矩阵的极大线性无关组,以此作为代表性样品,构成建模的校正集。用PLS回归法建立了烟末样品总糖含量定量分析的预测模型,并将模型用于预测集中1 001个烟末样品总糖含量的预测分析。实验结果表明,当选择的校正集包含的样品数量大于32时,所建各模型对预测集样品预测的平均相对误差均小于4%,平均相关系数大于0.96。其中选择32个代表性样品和146个代表性样品所建模型定量分析预测集中各样品的总糖含量,两个结果经统计检验没有显著性差异(α=0.05),说明求极大线性无关组的方法用于校正集样品的选择,可实现“少而精”选择样品的目的。此外,我们用求极大线性无关组选择校正集样品和随机方法选择校正集样品两种方法,选择了同样数目28,32,41,76,146,163个样品建模进行预测效果的对比实验,结果显示,求极大线性无关组法选择校正集建模的预测效果优于随机选择校正集建模的预测效果。     

基于Bootstrap-SVM在小样本条件下光谱定量分析研究

提出了一种在小样本条件下建立光谱定量分析的新方法-Bootstrap-SVM模型。以道路沥青为研究对象,共收集29个来自6个不同单位的沥青样本,利用所提方法建立了沥青针入度定量分析模型。Bootstrap-SVM由Bootstrap重抽样、噪声注入及SVM三个步骤组成。为了对比所提方法的优势,对比了目前常用的PLS模型以及SVM模型。研究结果表明Bootstrap-SVM,PLS,SVM预测均方根误差分别为0.773 5,2.889,1.784 4,所提方法预测精度最好,为小样本条件下光谱定量分析提供了一种新的有效方法。     

基于Si-cPLS的小麦种子发芽率近红外模型优化研究

为了提高近红外光谱技术快速测定小麦种子发芽率的准确度和稳健性,比较分析了基于全光谱的单一偏最小二乘(PLS)模型和多模型共识PLS模型(cPLS)性能,并提出了基于特征光谱的多模型共识PLS模型(Si-cPLS) 。实验收集84份小麦种子,通过SPXY法将样本集划分为训练集样本66个,预测集样本18个。从训练集中随机抽取50个样本作为校正集建立一系列PLS子模型,选取其中性能较好100个子模型作为成员模型建立cPLS模型,取成员模型预测结果的均值来分析未知样本。在此基础上,采用组合间隔偏最小二乘法(SiPLS)筛选特征谱区建立多模型共识PLS模型(Si-cPLS)。各模型均采用均值中心化预处理方法,PLS模型、cPLS模型以及Si-cPLS 模型对预测集的小麦种子发芽率进行50次重复预测的平均相关系数r分别为0.935,0.949和0.967,平均预测均方根误差RMSEP分别为13.735%,12.533%和10.273%,RMSEP 的标准偏差分别为1.144%,0.096%和0.08%。实验结果表明cPLS模型较单一PLS模型更加稳定可靠,而基于特征光谱的Si-cPLS模型则进一步提高了cPLS的稳定性与预测精度,为建立性能优秀的小麦种子发芽率近红外模型提供了新思路。     

小麦PLS近红外定量分析中温度修正的研究

以45个小麦籽粒为实验样品,研究样品温度对小麦PLS近红外定量分析的影响, 并提出引入温度修正量对样品光谱进行修正的方法。采用PLS算法将光谱受温度影响部分剔除后,得到不受温度影响的光谱,再进行模型建立与样品分析。实验结果表明：引入温度修正可以有效的消除温度对模型预测结果的影响,从而提高模型的稳定性及应用范围。     

净信号的局部建模算法及其在近红外光谱分析中的应用

提出了一种基于净信号分析的局部建模算法,以克服光谱定量分析中样本间差异性过大和样本待测性质与光谱之间存在非线性等问题。首先利用净信号分析方法得到校正样本和待测样本的净信号,然后用待测样本净信号和校正样本净信号之间的欧式距离作为样本相似性判据,选取一定数量的与待测样本最相似的校正样本组成局部校正子集,建立局部PLS回归模型。针对一组猪肉近红外光谱数据集的实验结果表明,该方法的预测精度显著优于全局建模方法和基于光谱欧式距离的局部建模方法。     

基于激光诱导击穿光谱技术的咖啡豆中咖啡因含量快速检测方法

应用激光诱导击穿光谱(LIBS)技术研究了快速检测咖啡豆中咖啡因含量的可行性。将咖啡豆磨粉压成片状作为采集LIBS光谱数据的样本,应用原子吸收分光光度计测量每个样本中咖啡因的含量。应用基线校正,小波变换和归一化等数据预处理方法;针对基于全部变量的偏最小二乘(PLS)模型会出现过拟合,分别应用回归系数和主成分分析(PCA)选择特征变量,并建立了基于特征变量的PLS和BP神经网络模型。结果表明：基于回归系数所选特征变量的PLS模型中,建模集相关系数R_c=0.96,预测集R_p=0.91;基于PCA提取特征变量的PLS模型中,R_c=0.94,R_p=0.90;基于PCA所选特征变量的BP神经网络模型中,R_c=0.96,R_p=0.96。两种方法所提取特征变量均对应C,H,O,N,Na,Mn,Mg,Ca和Fe,且基于上述两种方法所选特征变量的PLS模型均对预测集样本有较好的预测结果,说明上述元素与咖啡因含量存在联系,应用回归系数和PCA选择的特征变量是有效的,但是咖啡豆内C,H,O,N,Na,Mn,Mg,Ca,Fe与咖啡因含量的确切关系需要进一步研究。基于PCA所选特征变量的BP神经网络模型有更优的预测结果,说明所选特征变量适用于不同的建模方法。研究表明LIBS技术结合化学计量学方法可以实现咖啡豆中咖啡因含量的快速检测。     

基于光谱技术的杨梅汁品种快速鉴别方法的研究

为了实现杨梅汁品种的快速无损鉴别,提出了一种用可见和近红外光谱技术快速鉴别杨梅汁品种的新方法。首先采用偏最小二乘法进行模式特征分析,经过交互验证法判别,确定最佳主成分数为9。完成特征提取后,将这9个主成分作为神经网络的输入变量,建立了三层BP神经网络,实现类别预测的同时也完成了数学建模与优化分析工作。3个品种的杨梅汁样本数均为20,共计60个样本。在神经网络学习中,将其分成训练集样本51个和预测集样本9个。对9个未知样本进行预测,准确率为100％。说明本文提出的基于光谱技术和模式识别的方法具有很好的分类和鉴别能力。     

辐照处理对油菜籽光谱特性影响的研究

针对油菜籽经过核辐照处理后其光谱反射特性会发生改变的特点,提出了应用可见／近红外光谱技术进行油菜籽的快速无损鉴别。利用偏最小二乘法和BP神经网络建立鉴别模型,并比较了不同光谱预处理方法、主成分数据变换方式及隐含层节点数对模型预测结果的影响。实验采用五种剂量辐照(50, 100, 150, 200Gy和不经核辐照处理)的油菜籽共135个样本进行建模,49个进行预测。结果显示,最优模型是原始光谱数据先经过中值滤波平滑法、附加散射校正及一阶求导法预处理。经PLS方法提取6个主成分经自然对数变换后,选取神经网络隐含层结点数为4个或9个。最优模型对是否经过核辐照处理的样本识别率达100%,对核辐照剂量预测精度为85.71%, 说明提出的方法可以用于评估核辐照处理对油菜籽光谱特性产生的明显影响。