近红外光谱LASSO特征选择方法及其聚类分析应用研究

近红外光谱技术是一种通过分析样本的特征光谱数据,实现定性或定量分析的无损检测方法,特征数据的完整性和代表性决定了所建模型的性能,而现有分析方法只能实现光谱子区间特征筛选,导致分析模型稳定性差、且难以再优化。为实现近红外光谱区间高维数特征提取,有效提高近红外光谱定性分析模型的精度和稳定性,提出一种基于最小绝对收缩和选择算法(LASSO)的光谱特征筛选方法,并以我国特色高值外贸产品云南松茸为分析对象进行聚类应用研究,讨论了该方法对于高维光谱特征筛选的有效性、分析对比了LASSO筛选特征变量及主元分析(PCA)降维算法所建松茸真伪甄别及食用菌分类模型的预测精度及稳定性。通过调研发现,云南产鲜松茸因其独特外形易于分辨,而片状的干松茸失去其独有的外形特征,导致国内干松茸掺假事件屡禁不止。选取云南产松茸、杏鲍菇、老人头、姬松茸四种干样共166样本数据进行分析,采用光谱范围为900～1 700 nm的NIRQuest512型近红外光谱仪获得166×512维原始光谱数据,剔除异常数据后采用标准正态变换对光谱数据进行预处理。在此基础上,利用LASSO筛选出全光谱区间的特征变量,再使用Kennard-Stone法并结合典型线性(KNN)和非线性建模(BP)算法,构建松茸真伪甄别模型和食用菌分类模型,对两种模型进行盲样测试,并分析了LASSO与PCA算法的不同点,最后使用蒙特卡罗方法检测两种模型的稳定性。实验结果表明基于LASSO光谱特征选择的松茸真伪甄别模型和食用菌分类模型预测精度和稳定性均高于PCA方法,其中基于原始光谱数据所建真伪甄别模型的预测准确率为69.57% (BP)和60.87% (KNN),食用菌分类模型准确率为67.39% (BP)和65.22% (KNN),基于LASSO特征筛选的真伪甄别模型预测准确率分别达到100% (BP)和78.26% (KNN),食用菌分类模型预测准确率分别达到89.13% (BP)和80.43% (KNN),对两种模型进行10次蒙特卡罗实验,其结果平均值分别为99.93%和97.22%,由此可知,与PCA等数据降维算法相比,LASSO可实现全光谱区间的光谱特征选择和数据降维,有效地提高了近红外定性分析模型的预测性能,为近红外分析提供了一种新的特征筛选方法。     

木材种类的近红外光谱和模式识别

木材的种类识别是木材加工和贸易的一个重要环节,传统的木材种类识别方法主要有显微检测法和木材纹理识别法,其操作繁琐,耗时长,成本高,不能满足当前需求。本研究利用木材的近红外光谱(NIRS)结合模式识别方法,以期实现木材种类的快速准确识别。采用近红外光谱结合主成分分析法(PCA)、偏最小二乘判别分析法(PLSDA)和簇类独立软模式法(SIMCA)三种模式识别对58种木材进行种类鉴别研究;5点平滑、标准正态变量变换(SNV)、多元散射校正(MSC)、Savitzky-Golay一阶导数(SG 1st-Der)和小波导数(WD)五种光谱预处理方法用于木材光谱的预处理;校正集和测试集样品的正确识别率(CRR)用于模型的评价。采用PCA方法,通过样品的前三个主成分空间分布图分辨木材种类的聚类情况。在建立PLSDA模型,原始光谱的正确识别率最高,分别为88.2%和88.2%;5点平滑处理的光谱校正集和测试集的CRR分别为88.1%和88.2%;SNV处理的光谱校正集和测试集的CRR分别为84.4%和84.5%;MSC处理的光谱校正集和测试集的CRR分别为83.1%和84.2%;SG 1st-Der处理的光谱校正集和测试集的CRR分别为81.8%和82.7%;WD(小波基为“Haar”,分解尺度为80)处理的光谱校正集和测试集的CRR分别为87.3%和87.2%。可知,在PLSDA模型中,木材光谱未经预处理种类识别效果最后好。在建立SIMCA模型过程中,原始光谱的校正集和测试集的CRR分别为99.7%和99.4%;5点平滑处理的光谱校正集和测试集的CRR分别为100%和100%;SNV处理的光谱校正集和测试集的CRR分别为99.5%和99.1%;MSC处理的光谱校正集和测试集的CRR分别为99.0%和98.4%;SG 1st-Der的光谱校正集和测试集的CRR分别为81.8%和82.7%;WD处理的光谱校正集和测试集的CRR分别为100%和100%。可知,在SIMCA模型中,木材光谱经平滑和小波导数处理后的识别效果最好,且光谱的校正集和测试集CRR都为100%。采用三种模式结合五种不同的预处理方法对木材近红外光谱进行定性建模识别时,由于木材样本属性复杂,主成分分布图相互交织,PCA无法识别出58种木材;原始光谱的PLSDA模型可以得到较好的判别模型,但校正集和测试集的CRR只有88.2%和88.2%;木材光谱经过5点平滑或WD预处理后的SIMCA模型可达到最好的识别效果,校正集和测试集的CRR均为100%,且WD-SIMCA模型因子数比5点平滑SIMCA模型小,模型更为简化,故WD-SIMCA为58种木材种类识别的最优模型。研究表明光谱预处理方法可以有效的提高木材种类识别精度,有监督模式识别方法SIMCA可以用来建立有效的木材识别模型,近红外光谱结合模式识别可以为木材种类的识别提供一种快速简便的分析方法。     

动物粪便近红外光谱的应用潜力

近红外光谱技术(NIRS)以其低成本、高效、环保、无损的优势在日粮和畜产品品质分析中得到广泛应用。饲料品质参数(如粗蛋白)的获取对于日粮营养的合理搭配不可或缺,传统的近红外光谱技术将日粮的近红外光谱与日粮品质参数的化学测定值进行回归,建立预测模型对日粮品质参数进行检测。然而,在放牧条件下日粮近红外光谱的难以获取限制了这一传统建模方法在动物营养中的应用。作为动物代谢性产物,动物粪便不仅包含有日粮信息也携带有动物自身信息。近年来,基于动物粪便近红外光谱和日粮信息(日粮植物学成分、化学成分及其消化率)建立的回归模型,也已被用于动物日粮信息的检测。简要介绍F.NIRS在动物性别、品种鉴定及繁殖和寄生虫感染状态检测中的应用。NIRS在动物粪肥分析中的应用结果表明NIRS能够对粪肥中主要成分含量进行快速分析。尽管F.NIRS预测准确性有待提高,但已显示出其作为快速、有效的分析工具用于检测日粮品质参数及动物生理状态的潜力。相关的英文评述性文章业已出版,但在中国F.NIRS的研究和应用非常欠缺。期望本文的呈现有助于F.NIRS在国内的发展。推荐将NIRS作为快速分析工具用于对粪肥主要成分(DM,OM,TS,VS,TN,TKN和NH₃-N)含量进行检测。     

Nonlinear blood oxygen level-dependent responses for transient activations and deactivations in V1 - insights into the hemodynamic response function with the balloon model

We report studies of the nonlinear nature of blood oxygen level-dependent (BOLD) responses to short transient deactivations in human visual cortex. Both functional magnetic resonance imaging (fMRI) and near-infrared spectroscopy (NIRS) have been used to compare and contrast the hemodynamic response functions (HRFs) associated with transient activation and deactivation in primary visual cortex. We show that signal decreases for short duration deactivations are smaller than corresponding signal increases in activation studies. Moreover, the standard balloon model of BOLD effects may be modified to account for the observed nonlinear nature of deactivations by appropriate changes to simple hemodynamic parameters without recourse to new assumptions about the nature of the coupling between activity and oxygen use.     

近红外漫反射光谱法测定玉米秸秆NDF与ADF含量

应用主成分空间和傅里叶变换近红外光谱技术,采用偏最小二乘回归法(PLS),在国内首次建立了适合不同品种类型、不同生长发育时期和不同部位且适配范围广的近红外漫反射光谱(NIRS)测定玉米秸秆中性洗涤纤维(NeutralDetergentFiber,NDF)和酸性洗涤纤维(AcidDetergentFiber,ADF)含量的稳定校正模型。结果表明,采用一阶导数 矢量归一化预处理和一阶导数 多元散射校正预处理,谱区均为7502～5450cm-1和4601～4247cm-1,所建立的NDF与ADF校正模型,其校正和预测效果最佳。其校正决定系数(R2cal)均大于094,交叉验证和外部验证决定系数(R2cv,R2val)为092～096,各项误差(RMSEE,RMSECV和RMSEP)为149%～181%。该结果对青贮玉米秸秆材料快速鉴定和筛选具有重要的意义。     

基于过程分析技术和设计空间的金银花醇沉加醇过程终点检测

建立了一种新的基于过程分析技术(PAT)和质量源于设计(QbD)设计空间的中药制药过程终点分析与控制方法.以近红外(NIR)光谱技术为PAT工具, 采集正常操作条件下制药过程的多批次NIR光谱; 采用主成分分析结合移动块相对标准偏差(PCA-MBRSD)法, 确定每一批次过程的理想终点样本(DEPs), 由多批DEPs的光谱信息构成过程终点设计空间; 在过程终点设计空间确定的范围内, 建立多变量统计过程控制(MSPC)模型, 利用多变量Hotelling T²和SPE控制图对过程终点进行判断.应用上述方法, 进行了金银花醇沉加醇过程终点检测研究, 结果表明该方法灵敏、准确, 适宜于中药制药过程终点检测.     

近红外光谱技术(NIRS)在牧草领域中的应用研究进展

牧草是草食动物最主要的营养来源。牧草品质的优劣不仅影响家畜的生长发育和生产效率,也决定着最终畜产品的产量与品质。牧草品质的优劣主要取决于牧草营养成分及其消化率、适口性、以及牧草中所含抗营养因子和真菌毒素、霉菌毒素的含量水平。近红外光谱技术(NIRS)是一种低成本、快速、简单、无损的定性、定量分析技术,已在许多领域广泛应用。该文简要介绍了NIRS的原理和特点,详细综述了NIRS在牧草品质分析、牧草育种、牧草品种鉴定和性状分类中的应用。通过较全面综述NIRS在牧草领域中的应用现状,以期有助于NIRS在我国牧草领域中的发展。     

近红外光谱技术对闽南乌龙茶品种的识别研究

采用近红外光谱技术建立了一种快速无损的乌龙茶品种识别方法。收集闽南地区不同茶场中铁观音、黄金桂、本山、毛蟹与梅占等5个品种共210份具有代表性的乌龙茶样品,采集近红外光谱数据,选用1 100~1 300nm,1 640~2 498nm作为检测波长范围,利用主成分分析法(principal component analysis,PCA)建立模型,并在实验过程中比较多元散射校正(multiplicative scatter correction,MSC)与标准正态变量校正(standard normal variate,SNV)两种数据预处理方法对模型的影响。实验结果表明,多元散射校正对模型的影响优于标准正态变量校正,对校正集的识别准确率达到了96%,对预测集中样品的识别准确率达到了90%。实验结果证明了采用近红外光谱技术可以快速无损识别闽南地区乌龙茶,具有较强的实用价值和推广价值。     

近红外光谱法分析格列齐特片

应用化学计量法处理光谱数据,用偏最小二乘法建立格列齐特片的近红外分析模型。通过光谱预处理和模型的逐步优化最终确定定量分析模型的相关系数为0.991,交叉验证均方差(RMSECV)为0.641,预测均方根误差(RMSEP)为0.980,主因子数为4。选取15个验证样品对模型进行检验,检测结果相对误差在-2.04%～3.52%之间。     

近红外光谱分析中建模校正集的选择

将极大线性无关组的概念及方法引入近红外光谱分析,探讨了在建立定量分析模型时代表性样品,即校正集样品的选择问题。以2 652个烟末样品为实验材料,随机选取1 001个样品构成预测集,其余1 651个样品为代表性样品备选集。用Matlab软件求出代表性样品备选集光谱矩阵的极大线性无关组,以此作为代表性样品,构成建模的校正集。用PLS回归法建立了烟末样品总糖含量定量分析的预测模型,并将模型用于预测集中1 001个烟末样品总糖含量的预测分析。实验结果表明,当选择的校正集包含的样品数量大于32时,所建各模型对预测集样品预测的平均相对误差均小于4%,平均相关系数大于0.96。其中选择32个代表性样品和146个代表性样品所建模型定量分析预测集中各样品的总糖含量,两个结果经统计检验没有显著性差异(α=0.05),说明求极大线性无关组的方法用于校正集样品的选择,可实现“少而精”选择样品的目的。此外,我们用求极大线性无关组选择校正集样品和随机方法选择校正集样品两种方法,选择了同样数目28,32,41,76,146,163个样品建模进行预测效果的对比实验,结果显示,求极大线性无关组法选择校正集建模的预测效果优于随机选择校正集建模的预测效果。