NIR光谱的LLE-PLS非线性建模方法及应用

传统的偏最小二乘(PLS)建模方法不能有效反映近红外(NIR)光谱与分析样本的物理化学性质之间存在的非线性关系。局部线性嵌入(LLE)是一种新的非线性降维方法,属于流形学习方法,它能有效地发现高维数据中的本真低维结构。结合LLE和PLS,提出一种近红外光谱非线性建模的新方法,并用于建立丹参多酚酸盐柱层析过程中丹酚酸B含量的回归校正模型。该方法首先用LLE对NIR光谱数据降维,再用PLS建立校正模型。结果表明,与多元散射校正、一阶导等预处理方法结合PLS建模比较,参数优化后的LLE-PLS方法能更准确地预测丹酚酸B的含量,其交叉验证均方根误差为0.128 mg·mL-1、决定系数为0.998 8。基于NIR光谱及LLE-PLS建模,可实现丹参多酚酸盐柱层析过程的在线检测。     

基于高光谱图像信息融合的红提糖度无损检测

红提糖度是重要的内部品质衡量指标,传统的检测方法均为破坏性生化检测,本文基于高光谱成像技术,提出了一种基于高光谱信息融合的红提糖度含量无损检测方法。采集并提取260个红提样本的光谱信息和图像信息,对光谱信息分别利用SNV、S-G等光谱预处理方法建立PLSR模型,确定最好的光谱预处理方法,分别采用一次降维(GA、CARS、IRIV)算法和组合降维算法(CARS-SPA、IRIV-SPA、GA-SPA)共六种降维方法对光谱信息进行特征变量提取;获取灰度共生矩阵的图像纹理信息,结合图像的颜色信息(R、G、B、H、S、V、L、a、b),组成19个图像特征参数,采用PCA算法对图像信息进行降维,分别建立基于降维处理后的光谱信息、图像信息以及两者融合的红提糖度线性预测模型PLSR、非线性预测模型LSSVM,并对比分析模型的优劣。结果表明,若只利用光谱信息建模,IRIV-SPA可有效地提取红提糖度光谱信息的特征波长,提高模型的预测性能;若只利用图像信息进行建模,模型的预测性能不好,PCA降维有效地提高了模型的预测性能,但提高的性能有限;将IRIV-SPA特征波段提取后的光谱和经PCA降维后的图像信息进行融合,分别建立PLSR和LSSVM模型,红提糖度的最优PLSR模型的校正集和预测集相关系数分别为0.943,0.941;红提糖度的最优LSSVM模型的校正集和预测集相关系数分别为0.954,0.952。LSSVM所建模型的效果好于PLSR所建模型,但模型的运算时间较长。两种模型的精度均比单方面基于光谱或图像信息的模型都有较大的提高,表明融合高光谱图像的光谱与图像信息不仅可以提高模型的运算速度、简化模型,同时有效地提高了红提糖度预测性能,为红提糖度的检测找到了一种新的方法。     

羊肉挥发性盐基氮的高光谱图像快速检测研究

挥发性盐基氮(TVB-N)通常被作为评价羊肉新鲜度的理化参考指标。为了揭示高光谱图像技术(HSI)快速检测羊肉新鲜度的可行性,采集了71个新鲜度具有代表性的羊肉样品的漫反射高光谱图像(400～1 000 nm),并利用半微量定氮法测定了其挥发性盐基氮(TVB-N)的化学值。选择感兴趣区域(ROIs)提取样品的代表性光谱,采用含量梯度法划分校正集和预测集,比较不同的光谱预处理方法,比较逐步多元线性回归(SMLR)、偏最小二乘(PLSR)和主成分分析(PCR)建模方法,建立并验证了TVB-N的校正模型。结果表明,利用多元散射校正(MSC)、一阶导数、Savitzky-Golay(S-G)平滑及中心化处理结合的预处理方法,PLSR和PCR模型都可以实现对羊肉TVB-N的定量检测。对于建立的PLSR模型,采用的预处理方法为MSC、15点2次S-G平滑、1阶导数和中心化相结合的方法,选择的潜变量因子数为11,获得的校正集的相关系数(R)和校正均方根误差(RMSEC)分别为0.92和3.00 mg·(100 g)-1,预测集的相关系数(r)、预测均方根误差(RMSEP)和相对分析误差(RPD)分别为0.92,3.46 mg·(100 g)-1和2.35。研究表明,高光谱图像技术可用于准确快速地检测分析羊肉中新鲜度关键指标TVB-N的含量。该研究为采用高光谱图像技术进一步分析羊肉新鲜度其他指标、改善TVB-N的建模效果及在实际生产中应用该技术提供了基础。     

一种基于流形学习的近红外光谱分析建模方法

近红外光谱分析的重要内容之一是基于校正样品集建立光谱和化学成分或类别之间的回归模型。流形学习是一类新的机器学习方法,它能够揭示出复杂数据的本质维数,提取最重要的特征信息,并用于建立回归或分类模型。文章以近红外光谱为研究对象,针对近红外光谱数据维数高、谱带归属难以确定等特点,基于流形学习中局部线性嵌入(LLE)算法的思想,提出了一种最小二乘局部加权回归(LS-LWR)建模方法。最后,利用各种浓度葡萄糖溶液的近红外光谱,对该方法进行了验证。同时建立主成份回归(PCR)和偏最小二乘回归(PLSR)模型,通过计算预测标准偏差(SEP)与LS-LWR模型进行比较。实验结果表明,LS-LWR模型有更好的预测效果,而且具有模型简单、稳定性好和计算省时等优点。     

激光诱导击穿光谱定量分析锂矿石中锂元素

锂元素具有优良的物理和化学性能,因而在军事、电池、特种合金、受控热核反应等领域具有重要作用。现有的锂矿石分析主要是基于酸分解的原子吸收光谱、电感耦合等离子体质谱或原子发射光谱等离线方法。激光诱导击穿光谱(LIBS)是一种无需样品制备、适用于低原子序数元素(包括锂)的原子发射光谱方法。采用LIBS技术,实验采集了11种锂矿石成分分析标准物质的等离子体发射光谱,分别在610.35和670.78 nm附近观测到了Li的特征峰,但由于谱线的重叠,无法应用单变量线性回归进行建模。在全谱积分强度标准化基础上,分别使用偏最小二乘回归(PLSR)和基于主成份分析的支持向量回归(PCA+SVR)对锂矿石标准物质中的锂含量进行建模。校准模型的相关参数通过留一组交叉验证均方根误差(RMSECV)来确定。结果表明,相较于PCA+SVR校准模型,PLSR的决定系数(R2)更大,校准均方根误差(RMSEC)更小,但预测均方根误差(RMSEP)远大于RMSEC,存在过拟合现象。另一方面,PCA+SVR计算得到的RMSEP和平均相对误差(MRE)相对于PLSR更小,因此认为PCA+SVR模型拥有更好适应度。从而证明,LIBS技术可以实现锂矿石中Li含量的分析,有望应用于位于传送带上锂矿石的原位在线定量分析。     

非线性流行降维与近红外光谱分析技术的大米贮藏期快速判别

提出一种基于流行降维的近红外光谱技术快速判别大米贮藏期的新方法。采用近红外光谱仪获取陈年米和新米的反射光谱特征曲线,利用直接正交信号矫正法(direct orthogonal signal correction, DOSC)对原始光谱进行预处理,滤除光谱数据中与因变量Y矩阵无关的信号,以消除无关信息对后续特征变量建模精度的影响。采用Durbin-Watson和Run测试法定性分析光谱数据结构的非线性性,并利用增强偏残差图(augmented partial residual plot)定量分析大米光谱曲线的非线性程度。分别采用线性流行降维法包括主成分分析法(PCA)和多维尺度分析法(MDS)以及非线性流行降维法包括等距映射法(ISOMAP)、局部线性嵌入法(LLE)和拉普拉斯特征映射法(LE)提取预处理后光谱数据的本征变量,并结合核偏最小二乘方法(KPLS)建立本征变量与贮藏时间属性之间的耦合模型。实验用陈年米和新米的样本数均为200个,随机将训练集和测试集样本划分为300个和100个。通过比较各个模型的预测结果得出,基于ISOMAP非线性降维法提取的40个本征变量建立的回归模型预测效果最好,预测相关系数(R2_P)、预测均方根误差(RMSEP)和预测相对分析误差值(RPD)分别为0.917,0.187和2.698。实验结果说明提出的方法对于大米贮藏期具有很好的鉴别能力,该研究为今后大米贮藏期的快速无损检测提供了科学的手段。     

基于LLE与Gold-SA-SVM的海藻三维荧光光谱门类识别

针对海藻三维荧光光谱线性降维方法不理想、模型识别准确率低的问题,提出通过局部线性嵌入(LLE)算法进行降维、通过黄金正弦算法(Gold-SA)对支持向量机(SVM)进行优化来构建分类模型的方法.将LLE算法降维后的海藻三维荧光光谱数据作为SVM的输入,并与其他两种降维方法进行对比.结果 显示:LLE算法的降维效果最好,...     

SDSS-DR8中激变变星候选体的数据挖掘

提出一套适用于在海量光谱中快速发现激变变星的方法。针对SDSS发布的DR8数据,尝试流型学习方法在海量光谱数据挖掘中的应用。首先使用非线性局部线性嵌入方法(LLE)对海量光谱数据进行降维,然后使用人工神经网络对低维数据进行分类,最后对较少数量的候选体进行人工证认。实验共发现了6个新的激变变星候选体,并与传统的PCA方法进行了比较,验证了LLE方法在天文数据挖掘中的可行性。     

应用多种近红外建模方法分析梨的坚实度

近红外光谱(near infrared spectroscopy,NIRS)技术是一种快速、无损的仪器分析方法,在农产品品质检测方面引起了广泛的关注,在近红外光谱信息和品质指标之间建立一个稳健的模型是近红外光谱分析中十分重要且有一定难度的过程,常见的多元校正方法有偏最小二乘回归(PLSR)、主成分回归(PCR)和逐步多元线性回归(SMLR)等,该研究中除了常用的线性方法外,还采用了一种结合非线性方法的组合算法[结合了SMLR和径向基神经网络(RBFN)]用于梨坚实度的近红外光谱检测。比较常用的线性建模方法,原始光谱的PLSR模型的得到了较好的结果：校正集相关系数r=0.87, 校正均方根误差RMSEC=3.88 N,预测集r=0.84, 预测均方根误差RMSEP=4.26 N;组合算法的建模结果比SMLR和PCR的结果好,但比PLSR的结果稍差：校正集r=0.85, RMSEC=4.15 N,预测集r=0.82, RMSEP=4.67 N。结果表明：NIRS可用于梨的坚实度检测,但是建模方法的选择值得进一步研究以提高预测的精度。     

基于拉曼光谱技术的不同贮藏条件下明虾品质变化预测模型的研究

针对明虾品质劣变过程中的鲜度特征,该研究以颜色(L~*, a~*, b~*)、挥发性盐基氮(TVB-N)、 pH等品质指标为研究对象,利用拉曼无损检测技术采集4℃和-20℃下生鲜明虾光谱信息,运用岭回归、偏最小二乘法和前向逐步回归对明虾进行了快速定量检测,建立了品质指标定量模型。其中光谱数据预处理包括SG平滑、背景扣除、二阶微分、标准正态变量变换,按一定方式组合4种预处理和PCA降维技术进行数据处理,筛选出最优模型。结果表明:利用岭回归建立颜色(a~*, b~*)定量模型时,在组合预处理方式下建模集中R分别为0.983和0.973, RMSE分别为0.114和0.179,预测集中R分别为0.513和0.564; RMSE分别为0.615和0.918,建模集精度远超预测集表明出现过拟合,经PCA降维后过拟合降低、但预测集预测效果不理想;偏最小二乘法在各指标建模集上精度和岭回归差不多,在预测集上预测精度偏低, PCA降维后部分指标建模集相关系数下降、均方根误差上升,预测精度降低。最终结果显示:经过4种预处理后的前向逐步回归模型最优,建模集中L~*, a~*, b~*, pH和TVB-N指标R分别为0.904, 0.885, 0.864, 0.934和0.940, RMSE分别为1.141, 0.280, 0.535, 0.131和2.345;预测集中R分别为0.863, 0.850, 0.859, 0.900和0.916, RMSE分别为1.394, 0.406, 0.605, 0.194和2.734,建模效果好。因此,利用拉曼光谱技术结合前向逐步回归模型快速检测明虾中L~*, a~*, b~*, pH和挥发性盐基氮含量可行,对拉曼技术应用明虾品质检测具有一定指导意义。     

Comparative study of albumen pH and whole egg pH for the evaluation of egg freshness

The Haugh unit (HU) is the most widely used measure to assess egg freshness. It is crucial and difficult to measure albumen height as a variable of the HU, especially for stale eggs. Albumen pH is strongly correlated to the HU and rarely affected by age or strain, except for storage. The prediction of albumen pH is a better indicator of egg freshness than the HU. Albumen is separated from the yolk in the albumen pH test, while in the whole egg pH measurement, it is not necessary to separate the albumen from the yolk. The objective of this research was to compare the albumen pH with the whole egg pH using visible near-infrared spectroscopy. Spectra were acquired using transmitted light on white-shelled eggs. Pretreatment methods containing multiplicative scatter correction, the standard normal variate (SNV), the first derivative, and the second derivative were used. A partial least square regression (PLSR) was used to set up prediction models. The results illustrated that PLSR models preprocessed by the SNV of albumen pH and whole egg pH were superior to other models. In the best prediction models, the correlation coefficients for albumen pH and whole egg pH were 0.923 and 0.752, and the root mean square error values were 0.170 and 0.265, respectively. The prediction models of albumen pH were better than those of whole egg pH using the PLSR method. In addition, the relevant information concerning albumen pH and whole egg pH ranged from 550 to 850?nm.     

PCA-SVR联用算法在近红外光谱分析烟草成分中的应用

由50份烟草样品的近红外漫反射光谱组成的光谱矩阵经过主成分分析降维,采用基于支持向量机回归(SVR)算法,以常规化学分析方法测定的总糖、还原糖、总氮、烟碱的含量为参考值,建立了烟草中主要成分近红外光谱定量分析定标模型,并采用留一法交叉验证(LOOCV)对模型进行验证。以内部交叉验证预测的RMSE值为判据,从核函数类型、惩罚因子C和不敏感函数ε取值等方面对定标模型进行优化,获得不同成分定标模型的优化参数。烟草总糖、还原糖、总氮、烟碱优化定标模型的RMSE值分别为1.581,1.412,0.117和0.313。同时建立了烟草以上成分的偏最小二乘回归(PLS)、多元线性回归(MLR)以及误差反向传播人工神经网络(BP-ANN)定标模型,通过内部交叉验证的RMSE值与SVR定标模型进行比较,结果表明SVR模型具有更好的预测效果。     

基于高光谱的鸡蛋新鲜度检测

借助高光谱成像仪采集贮期白壳鸡蛋的透射高光谱数据,对比测量常规表征新鲜度的哈夫单位值,用Matrix Laboratory (MATLAB)和Statistical Analysis System (SAS)等软件,同时结合化学计量法对样品鸡蛋的高光谱数据进行分析处理,建立了基于高光谱技术的鸡蛋新鲜度预测模型。选用高光谱500～1 000 nm的波段作为敏感波段进行研究,用马氏距离剔除鸡蛋异常样本数据,并对鸡蛋高光谱数据进行了微分校正,通过比较发现高光谱二阶微分与鸡蛋哈夫单位值之间的线性度高,因此选用高光谱二阶微分数据来进一步研究,并对其进行了小波去噪、光滑处理及标准化处理。选用近年新提出来的competitive adaptive reweighted sampling (CARS)变量选取法对高光谱进行降维,提取出32个特征参数,建立了白壳蛋基于全波段的偏最小二乘法(partial least square, PLS)预测模型和基于特征参数的多元回归模型,验证集的相关系数分别为0.88,0.93,均方误差分别为7.565,6.44。用验证集的蛋对基于高光谱二阶微分全波段的偏最小二乘法预测模型、基于特征参数的多元回归模型分别进行验证,两个模型判别白壳蛋新鲜和不新鲜的最高准确率达100%,88%。     

Nondestructive egg freshness assessment from the equatorial and blunt region based on visible near infrared spectroscopy

This research was to study which orientation was better for freshness prediction of the white-shelled eggs using visible near infrared spectroscopy. The transmission spectra were acquired in the equatorial region and at the blunt end of the eggs. After each spectral measurement, the Haugh unit, yolk index, and albumen pH as the freshness parameters were simultaneously measured using traditional destructive methods. Pretreatment methods containing Savitzky-Golay smoothing, multiplicative scatter correction, the standard normal variate, the first derivative and the second derivative were used. A partial least squares regression was developed to predict the Haugh unit, yolk index, and albumen pH. The best correlation coefficients of prediction were obtained from the equatorial region, and were 0.881, 0.855, and 0.888 for the Haugh unit, yolk index and albumen pH, respectively. And root mean square errors in the prediction set were 7.720, 0.034, and 0.147 for the Haugh unit, yolk index and albumen pH, respectively. The results illustrated that the equatorial region showed better ability than the blunt end to predict freshness of the white-shelled eggs.     

特征提取算法在福美双表面增强拉曼光谱定量分析中的应用

表面增强拉曼散射(SERS)技术具有快速、指纹效应与极低的检测限等优点,被越来越多地应用到有害污染物、有毒物质、危险物质的检测与分析中。在SERS光谱的测量过程中,易受基底、仪器、宇宙射线与测量环境等因素影响,出现波动现象,对后续的分析与检测造成较大的干扰。基于农药福美双SERS光谱数据,尝试利用多种特征提取算法,如主成分分析(PCA)、离散余弦变换(DCT)、非负因式分解(NMF) ,对光谱的主分量进行提取,以减弱光谱数据波动对其后续的定量分析结果的影响。然后将提取后的分量分别结合线性回归算法——偏最小二乘法回归(PLSR),非线性回归算法——支持向量机回归(SVR)建立定量模型。最后,利用5-折交叉验证方法对比不同特征提取算法在不同类型的回归算法下的效果。通过实验验证可知,SVR对福美双溶液的分析精度要明显高于PLSR,这主要是由于SERS光谱强度与被分析物浓度之间为非线性关系。同时针对两种类型回归算法,特征提取算法都能明显地提升了分析结果,主要是由于其提取了源数据的主体信息,去除干扰信息。其中在线性回归中使用PCA效果最佳,在非线性拟合中使用NMF结果最佳,分析误差最好时可降低近3倍。最优回归模型(NMF+SVR)的交叉验证均方误差(RMSECV)为0.0455 μmol·L-1(10-6 mol·L-1),达到国家对福美双的检测标准,为农药快速检测提供一种新的方法。     

基于可见-近红外光谱技术预测茶鲜叶全氮含量

为快速无损监测茶树氮素营养及其生长状况,基于可见-近红外光谱技术建立了茶鲜叶全氮含量的预测模型。以茶鲜叶为对象,田间试验使用便携式光谱仪采集叶片漫反射光谱信息,通过不同预处理和统计分析,建立茶鲜叶全氮含量预测的光谱模型。试验共采集111个样品,其中86个样品作校正集,25个样品作预测集。通过一阶导数与滑动平均滤波相结合的预处理方法,用7个主成分建立的偏最小二乘模型最好,其校正集均方根误差(RMSEC)为0.097 3,预测集的相关系数为0.888 1,预测均方根误差(RMSEP)为0.130 4,预测的平均相对误差为4.339%。研究结果表明,利用可见-近红外光谱技术可以很好地预测茶鲜叶全氮含量,对于快速实时监测茶树长势和施肥管理具有重要指导意义。     

应用近红外光谱对低碳数脂肪酸含量预测

应用近红外光谱技术结合支持向量机回归(support vector machine regression, SVR)方法测量食用植物油脂低碳数脂肪酸(C≤14)含量。使用SupNIR-5700近红外光谱仪采集58个样品的近红外光谱图,通过偏最小二乘(partial least square, PLS)算法剔除奇异样品。选择其中具有代表性的52个样品进行主成分分析(principal component analysis, PCA),选取径向基(radial basis function, RBF)核函数建立支持向量机回归模型,并对光谱预处理方法和参数寻优方法进行了详细的分析和讨论。实验表明,经过粒子群算法(particle swarm optimization, PSO)优化后模型的性能都有所提高,泛化能力更强,预测的准确度和稳健性更好;其中预处理方法2经过PSO优化寻优后的参数C=2.085, γ=22.20时,预测集和校正集相关系数(correlation coefficient, r)分别达到了0.998 0和0.925 8,均方根误差(root mean square error, MSE)分别为0.000 4和0.014 3。研究结果表明,应用近红外光谱结合PSO-SVR方法进行食用植物油脂低碳数脂肪酸含量快速、准确的预测是可行的。     

杂交稻种宜香725纯度的可见-近红外反射光谱鉴定

提出了一种基于可见-近红外光谱技术快速、无损鉴定杂交稻种纯度的新方法.以FieldSpec(R)3地物光谱仪采集纯度在90%～99%范围内的杂交稻种(宜香725)光谱数据90份,随机分成校正集(75份)和检验集(15份).根据其在380～2 400 nm的反射光谱,以偏最小二乘算法(PLS)建立了回归模型,并比较了不同光谱预处理方法对模型的影响.分析表明采用一阶导数结合标准归一化处理能最有效地提取光谱信息,此时PLS模型校正集决定系数与检验集决定系数分别为0.988 4与0.922 7,校正标准误差(SEC)与预测标准误差(SEP)分别为0.002 5与0.006 6.将经一阶导数结合标准归一化处理后的光谱进行PCA降维,以前20个主成份(含原始光谱86.09%的特征信息)为输入变量,建立杂交稻种纯度鉴定的BP-ANN模型.分析表明BP-ANN模型校正集决定系数与检验集决定系数分别为0.995 2与0.936 9,SEC与SEP分别为0.001 7与0.006 1,具有比PLS模型更高的精度.结果表明以可见-近红外技术进行杂交稻种纯度的快速、无损鉴定是可行的,且PCA结合BP-ANN是一种优选方法.