主成分分析排序和模糊线性判别分析的生菜近红外光谱分类

贮存时间是影响生菜品质的一项重要因素,传统的贮存时间鉴别方法主要依靠人工经验,但是这种方法的准确率和可信度并不高。研究的目标是建立一种基于模糊识别的模型进行生菜光谱分析以实现生菜贮存时间的鉴别,并与其他鉴别方法作比较。为此,在当地超市购买60份新鲜生菜样品,存放于冰箱中待用。首先,通过Antaris Ⅱ近红外光谱检测仪采集生菜样品的近红外光谱数据,每隔12小时检测一次,每个样本检测重复三次,并取三次平均值作为实验数据。其次,利用多元散射校正（MSC）减少近红外光谱中的冗余信息。为了进一步去除近红外光谱中的无用信息以及简化随后的数据分类过程,分别运用主成分分析（PCA）和排序主成分分析 (PCA Sort)。其中,PCA Sort通过改进对主成分的排序方法能提高分类准确率,同时便于模糊线性鉴别分析（FLDA）进一步提取特征。PCA和PCA Sort的计算仅运用了前15个主成分（能充分反映光谱的主要信息）。最后,利用模糊线性鉴别分析算法（FLDA）和K近邻算法（KNN）进一步分类所得的低维数据。基于PCA和KNN算法的模型鉴别准确率达到43%,而基于PCA,FLDA和KNN算法的模型鉴别准确率可达83%。上述结果说明基于PCA,FLDA和KNN算法的模型鉴别准确率已经得到较大程度提高。当用PCA Sort替代了模型中的PCA算法后,结合FLDA和KNN算法则鉴别准确率达到98.33%。实验结果表明PCA Sort结合FLDA和KNN所建立的模型是有效的生菜贮存时间鉴别模型。     

siPLS-LASSO的近红外特征波长选择及其应用

近红外技术广泛应用于食品、药品等生产过程和产品质量检测,具有样品无需预处理、成本低、无破坏性、测定速度快等优点。但是,全光谱数据维数高、冗余信息多,直接应用于建模会导致模型复杂性高、稳定性差等问题。siPLS是最常见的光谱数据降维方法,但是难以处理光谱数据的共线性问题。LASSO是一种相对新的数据降维方法,但在小样本应用中具有不稳定性。针对siPLS和LASSO在近红外光谱数据应用中存在的问题,提出了基于siPLS-LASSO的近红外特征波长选择方法,并将其应用于秸秆饲料蛋白固态发酵过程pH值监测。该方法首先采用siPLS算法,实现对光谱波长最佳联合子区间的优选;然后,对优选联合子区间使用LASSO算法进行特征波长选择,在此基础上建立PLS校正模型。同时,将siPLS-LASSO方法与其他传统特征波长选择方法进行了对比。结果表明：建立在siPLS-LASSO方法优选33个特征波长基础上的PLS模型预测结果更好,其预测方差(RMSEP)和相关系数(R_p)分别为0.071 1和0.980 8;所提siPLS-LASSO方法有效选取了特征波长,提高了模型预测性能。     

基于潜在语义分析与NIR的中药材分类研究

基于近红外光谱(NIR)和潜在语义分析(LSA)方法,对5种典型壮阳中药材进行分类鉴别研究。利用潜在语义分析对光谱预处理后的5种壮阳中药材光谱数据进行特征提取和鉴别分类后,将经光谱预处理和主成分分析(PCA)提取特征后的光谱特征数据分别带入K近邻(KNN)、BP神经网络(BP-ANN)和偏最小二乘支持向量机(LSSVM)三种典型的分类模型进行分类,并将结果与潜在语义分析模型结果进行对比。在4119.20~9881.46cm-1波数范围内,NIR光谱数据经多元散射校正(MSC)预处理后,代入潜在语言空间维数为3时所建立的LSA分类模型,训练集和测试集准确率均达到了100%。结果表明,在壮阳类中药材的近红外光谱分析鉴别中,潜在语义分析可以作为一种全新的提取光谱信息并分类的方法,具有较好的运用前景和实际意义。     

可见光-近红外光谱的低品位斑岩型铜矿反演模型

目前,国内外铜矿品位分析多以化学分析法为主,但由于化学分析法存在成本高、时间长和污染物残留等缺点,其相对配矿流程存在严重的滞后效应,致使尾矿铜含量过高,必然造成资源浪费。开展斑岩型铜矿可见光-近红外光谱特征与建模研究是解决这一问题的有效途径。以121个乌山斑岩型铜矿的化学分析与光谱测试数据为数据源,分析了斑岩型铜矿可见光-近红外光谱特征,以主成分分析法(PCA)、局部线性嵌入算法(LLE)两种降维算法对原始光谱数据进行了处理,所降维数分别为3维和5维,同时利用遗传算法(GA)对原始光谱数据进行了波段选择,共选取了467个最佳波段。然后以BP神经网络为建模方法,并分别以92个和29个斑岩型铜矿可见光-近红外光谱数据作为建模样本和测试样本,建立了斑岩型铜矿可见光-近红外光谱的定量反演模型。利用原始数据所建模型的品位反演平均绝对误差为0.104%,利用主成分分析法、局部线性嵌入算法、遗传算法处理后的数据所建模型品位反演平均绝对误差分别为0.110%, 0.093%和0.045%,由此可见,利用主成分分析法处理后的数据所建模型品位反演精度较差,利用局部线性嵌入算法处理后的数据所建模型品位反演精度略有提高,而利用遗传算法处理后的数据所建模型品位反演精度有明显提高。研究结果表明,基于低品位斑岩型铜矿可见光-近红外光谱数据反演模型的品位分析具有一定的可行性,为我国低品位斑岩型铜矿的品位快速检测提供了一种有效的手段。     

两种近红外光谱仪的番茄可溶性固形物含量定量模型比较研究

以番茄可溶性固形物含量(SSC)的无损速测为例,分别采用线性渐变分光(LVF)、数字光处理(DLP)近红外光谱仪对大、小番茄采集近红外光谱数据;分别基于两种近红外光谱仪数据计算大、小番茄平均光谱及差谱,并比较两种近红外光谱仪所采集大、小番茄近红外光谱数据的特征;对两种近红外光谱仪的数据分别进行主成分分析(PCA),并比较了大、小番茄前3主成分的得分分布;按SSC梯度对数据进行分级,采用偏最小二乘(PLS)回归结合全交互验证算法分别基于两种近红外光谱仪数据建立番茄SSC定量校正模型。结果表明：(1)大、小番茄LVF近红外光谱的平均光谱及其差谱的光谱特征分别与DLP近红外光谱的平均光谱及其差谱的光谱特征相似。(2)大、小番茄LVF近红外光谱数据PCA前3主成分得分散点分离趋势不明显,而DLP近红外光谱数据PCA前3主成分得分散点基本上不具有分离趋势。(3)基于LVF近红外光谱数据所建各模型的相对预测性能(RPD)皆不低于2.11,其中标准化预处理所建模型具有最佳性能,模型维数(N_f)、校正测定系数(R_C²)、校正均方根误差(...     

对比主成分分析的近红外光谱测量及其在水果农药残留识别中的应用

近红外光谱(NIR)分析具有测试方便、不破坏样本、响应快速等优势,但是,由于在谱带分布和结构分析中存在着许多复杂因素,使得在提取特征光谱信息时存在许多困难。现阶段,虽然已经有多种光谱数据降维方式被广泛使用,但是这些传统的数据降维方式都有一个局限性,就是数据的降维仅仅针对于一个数据集,当数据集中有多个关键因素形成干扰时,数据降维和分类的结果往往不是很理想,得不到想要分析的信息。这一问题造成了在分析近红外光谱时建立的数据降维模型极差,无法正确的对样品进行预测分类。对比主成分分析(contrastive principle component analysis, cPCA)是一种基于主成分分析(PCA)的改进算法,起源于对比学习,并应用于基因组信息解析。cPCA算法的优势就是能够将一个数据集中的降维推广到两个相关联数据集之间的降维,从而能够得到数据集中的关键信息。将cPCA算法应用于近红外光谱处理中,建立了准确的近红外光谱数据降维模型。在实验验证中,使用cPCA算法对不同类型水果(苹果和梨)表面农药残留进行分析。结果表明,在对不同类型的水果进行农药残留分析时,使用PCA算法进行数据降维只能区分出不同的水果类型,而水果表面是否喷洒农药这一关键的特征信息并不能分析出来;而使用cPCA算法进行数据降维分析时,由于对背景光谱的约束作用,能够清晰的将有无喷洒农药的样本分类。这说明了, cPCA在近红外光谱数据降维中有着明显的优势,解决了近红外光谱数据降维模型中数据集受限和特征信息的提取问题,进而建立准确的近红外光谱数据降维模型。     

三维荧光光谱结合稀疏主成分分析和支持向量机的油类识别方法研究

石油污染的出现,导致生态环境遭到破坏。因此,油类识别方法的研究对于环境的保护具有重要意义。采用荧光光谱法获得石油光谱数据,并对其进行预处理,再通过降维方法来提取特征信息,最后利用模式识别算法进行分类,从而可以实现对油类的定性分析,因此研究一种更高效的数据降维方法以及识别分类算法极其重要。基于三维荧光光谱技术,利用稀疏主成分分析（SPCA）对FS920光谱仪测得的荧光光谱数据进行特征提取,再利用支持向量机（SVM）算法对提取的特征数据进行分类识别,获得了一种更加高效的油类识别方法。首先,利用海水和十二烷基硫酸钠（SDS）配制成浓度为0.1 mol·L-1的胶束溶液,将其作为溶剂配制柴油、航空煤油、汽油以及润滑油各20种不同浓度的溶液;然后,利用FS920光谱仪测得样本溶液的三维荧光光谱数据,对得到的光谱数据进行预处理;最后,对预处理后的数据分别利用SPCA和主成分分析（PCA）进行特征提取,再利用SVM和K最近邻（KNN）两种模式识别算法对特征向量进行分类,最终得到四种模型PCA-KNN,SPCA-KNN,PCA-SVM以及SPCA-SVM的分类结果。研究结果表明,由四种模型得到的分类准确率分别为85%,90%,90%和95%,其中,在同种分类算法中,利用SPCA进行特征提取得到的分类准确率均比PCA的准确率高5%,因此可知,SPCA的稀疏性具有突出主要成分的作用,在提取光谱特征时能够减小非必要成分的影响,并且载荷矩阵的稀疏化可以去除变量之间的冗余信息,优化降维特征信息,为后续分类提供更有效的数据特征信息;在同种特征提取算法下,利用SVM算法进行分类得到的分类准确率均比KNN算法得到的准确率高5%,表明SVM算法在分类中更具有优势。因此,本文利用三维荧光光谱技术结合SPCA和SVM算法,实现了对石油的准确识别与分类,为今后对石油污染物的高效检测提供了新思路。     

LSSVM模型下的近红外光谱联合区间波长筛选方法

针对传统近红外光谱波长选择方法忽略模型中非线性因素的缺陷,采用具有非线性处理能力的最小二乘支持向量机,结合间隔策略的波长选择方法和联合区间的思想,提出了一种非线性模型下的波长筛选算法—联合区间最小二乘支持向量机(synergy interval least squares support vector machines, siLSSVM)。以苹果糖度近红外光谱数据为例,与传统siPLS波长筛选方法相比,新算法的预测集均方根误差(RMSEP)在PLS模型和LSSVM模型预测时分别提高了37.43%和47.88%,预测集相关系数(RP)在PLS模型和LSSVM模型预测时分别增加了6.04%和7.31%。实例表明,对于存在非线性因素较强的光谱数据,siLSSVM算法能够有效的挑选最优波长区间与提高模型的预测精度和鲁棒性,为近红外光谱在非线性因素下筛选波长提供了新前景。     

稀疏降噪自编码算法用于近红外光谱鉴别真假药的研究

近红外光谱分析技术作为一种快速、无损检测技术十分适用于真假药品现场鉴别。自编码网络作为当前机器学习领域研究的热点受到广泛关注,自编码网络是一种典型的深度学习网络模型,它比传统的潜层学习方法具有更强的模型表示能力。自编码网络使用贪婪逐层预训练算法,通过最小化各层网络的重构误差,依次训练网络的每一层,进而训练整个网络。通过对数据进行白化预处理并使用无监督算法对输入数据进行逐层重构,使网络更有效的学习到数据的内部结构特征。之后使用带标签数据通过监督学习算法对整个网络进行调优。首先对真假琥乙红霉素片的近红外光谱数据进行预处理以及白化预处理,通过白化处理降低数据特征之间的相关性,使数据各特征具有相同的方差。数据处理之后利用稀疏降噪自编码网络针对真假药品光谱数据建立分类模型,并将稀疏降噪自编码网络模型与BP神经网络以及SVM算法在分类准确率及算法稳定性方面进行对比。结果表明对光谱数据进行白化预处理能有效提升稀疏降噪自编码网络的分类准确率。并且自编码网络分类准确率在不同训练样本数量下均高于BP神经网络,SVM算法在少量训练样本的情况下更有优势,但在训练数据集样本数达到一定数量后,自编码网络的分类准确率将优于SVM算法。在算法稳定性方面,自编码网络较之BP神经网络和SVM算法也更稳定。使用稀疏降噪自编码网络对真假药品近红外光谱数据进行建模,能对真假药品进行有效的鉴别。     

基于近红外光谱和ELM算法的菱镁矿石品级分类研究

由工业发展需求,针对菱镁矿石矿物含量不同以及分布不均匀而难以判定其品级的情况,提出一种由近红外光谱技术结合ELM的菱镁矿石品级分类模型。该模型可以实现菱镁矿石品级的快速分类。近红外光谱利用菱镁矿中不同种类含H基团对近红外光谱有不同吸收的特性,用来测定菱镁矿石的成分及其含量,其操作简便、不破坏样品、速度快、准确高效。以辽宁省营口市大石桥的菱镁矿石30组为研究对象,采集菱镁矿石的近红外光谱数据样本30×973。采用主成分分析(PCA)对其进行降维处理,以主元贡献率大于99.99%而得到10维的特征变量值。建立了ELM算法定量分析数学模型,取20组样本为训练样本(包括6组特级,14组非特),其余10组作为测试样本(其中4组特级,6组非特),ELM算法模型的隐含层节点数选取20。为了进一步提高分类效果,提出两种ELM算法模型的改进：采用循环模式对传统ELM的输入权值和阈值进行寻优的精选ELM和在精选ELM基础上进行集成的集成-精选ELM。并与用人工方法、化学方法和BP神经网络模型方法对菱镁矿石样品品级分类作对比。结果表明：近红外光谱和ELM菱镁矿石品级分类模型不论在时间上还是成本上,都具有明显的优势,且其准确率能够达到90%以上,为菱镁矿石品级分类提供了一条新的途径。     

基于核的k-最近邻在水下目标识别中的应用*

针对水中目标特征类型多、非线性强的特点,本文将K-KNN应用于水中目标识别。该方法采用PCA对特征矩阵进行降维,利用Kernel技巧将降维后的特征映射到高维空间进行KNN分类识别,并讨论了邻近点个数K对试验结果的影响。实际试验数据验证结果表明：与传统的KNN和BP神经网络分类器相比,K-KNN分类器的综合性能更优。     

一种基于近红外光谱技术的柴油在线软测量方法研究

为解决柴油凝点难以实时在线检测的问题,提出一种应用近红外(NIR)光谱分析技术的软测量方法。首先,利用光谱分析仪对柴油样品在750～1 550 nm光谱区的信息进行采集,并用多项式卷积对NIR光谱数据进行光谱平滑、基线校正和标准归一化;再由主元分析(PCA)提取NIR光谱数据集特征,降低输入维数,提高了各维特征的敏感性;最后, 通过SVR算法建立凝点的软测量模型。150个柴油样品作为实验材料,其中100个作为校正(训练)样本,其余作为测试样本。经过PCA分析之后,401维的原始NIR吸收光谱数据集被降到了6维。为了验证检测方法的效率,用四种不同的软测量模型(BP,SVR,PCA+BP和PCA+SVR)对测试样品进行估计。实验结果表明：(1)用PCA进行特征提取的软测量模型普遍优于直接作用在光谱波长域的模型;(2)SVR模型的测量效果明显优于BP网络模型,其测试误差只有后者的一半;(3)所提软测量方法的检测值与用冷凝法测量的标准化学值之间的均方误差小于4.2。研究说明了本方法可用于对柴油产品凝点的快速测量。     

近地高光谱成像技术对黑豆品种无损鉴别

基于近地高光谱成像技术结合化学计量学方法,实现了黑豆品种的鉴别。实验以三种不同颜色豆芯的黑豆为研究对象,采用高光谱成像系统采集380～1 030 nm波段范围的高光谱图像,提取高光谱图像中的样本感兴趣区域平均光谱信息作为样本的光谱进行分析,建立黑豆品种的判别分析模型。共采集180个黑豆样本的180条平均光谱曲线。剔除明显噪声部分之后以440～943 nm范围光谱为黑豆样本的光谱,采用多元散射校正(multiplicative scatter correction,MSC)对光谱曲线进行预处理。分别以全部光谱数据、主成分分析(principal component analysis,PCA)提取的光谱特征信息、小波分析(wavelet transform,WT)提取的光谱特征信息建立了偏最小二乘判别分析法(partial least squares discriminant analysis,PLS-DA),簇类独立模式识别法(soft independent modeling of class analogy,SIMCA),最邻近节点算法(K-nearest neighbor algorithm,KNN),支持向量机(support vector machine,SVM), 极限学习机(extreme learning machine,ELM)等判别分析模型。以全谱的判别分析模型中,ELM模型效果最优;以PCA提取的光谱特征信息建立的模型中,ELM模型也取得了最优的效果;以WT提取的光谱特征信息建立的模型中,ELM模型结识别效果最好,建模集和预测集识别正确率达到100%。在所有的判别分析模型中,WT-ELM模型取得了最优的识别效果。实验结果表明以高光谱成像技术对黑豆品种进行无损鉴别是可行的,且WT用于提取光谱特征信息以及ELM模型用于判别黑豆品种能取得较好的效果。     

Application of High-Dimensional Feature Selection in Near-Infrared Spectroscopy of Cigarettes' Qualitative Evaluation

In order to increase the classification accuracy, a new feature selection method, RFFIM-PCA, based on the random forest feature importance measure (RFFIM) and principal component analysis (PCA) for analyzing the near-infrared (NIR) spectra of tobacco, is presented in this paper. We applied the method to the classification of cigarettes' qualitative evaluation and also compared it with other methods. The result showed that RFFIM-PCA discriminates the high-dimensional data effectively and can be used to identify the cigarettes' quality. The feature selection filters the noises, while PCA eliminates the redundant features and reduces the dimensionalities as well. The experimental results showed that RFFIM-PCA successfully eliminated the noises and redundant features in high-dimensional data, leading to a promising improvement on the feature selection and classification accuracy.     

基于高光谱技术融合图像信息的脱绒棉种品种分类检测研究

开展种子品种的识别研究是保证种子质量的重要手段。利用高光谱图像技术融合图像特征信息对脱绒棉种的品种进行判别分析。采集4个品种共240粒脱绒棉种样本的高光谱图像数据(400～1 000 nm),提取样本的光谱信息及长、宽、面积、圆形度、等12个形态特征。采用连续投影算法(SPA)选出11个特征波段作为输入结合偏最小二乘判别分析法(PLS-DA)、软独立模式识别法(SIMCA)、最邻近节点算法(KNN)、主成分分析结合线性判别(PCA-LDA)及二次判别(PCA-QDA)进行建模分析,得出PLS-DA建模集和预测集的总体识别率分别为93%和90%。利用图像信息进行建模分析,模型整体的识别率均不高,说明单独使用高光谱图像的形态特征进行分类效果不佳。将特征波段的光谱和形态特征信息进行融合作为输入,建立基于PLS-DA,SIMCA,KNN,PCA-LDA及PCA-QDA的信息融合模型,其精度均比基于光谱或形态信息模型高,其中PLS-DA模型识别效果最好,建模集和预测集总体识别率分别为98%和97%。表明融合高光谱图像的光谱与图像信息可以在少量波段情况下有效的提高脱绒棉种品种的分类检测精度。     

基于MRI影像组学的BI-RADS 3-5类乳腺病变三分类

医生根据磁共振影像征象对患者的乳腺病变程度进行BI-RADS分类评估时存在一定的主观性,且 BI-RADS 3-5类病变的良恶性存在交叉,在临床诊断时极易发生因诊断类别较高而造成不必要的有创治疗．针对这些问题,本文应用影像组学技术对乳腺的T₁加权（T1W）和动态对比增强（DCE）磁共振图像进行特征提取和融合,采用最小绝对收缩和选择算子（LASSO）算法筛选出各特征集的最优特征集,并分别使用支持向量机（SVM）、随机森林（RF）、K最近邻（KNN）及逻辑回归（LR）算法进行BI-RADS 3-5类乳腺病变三分类,并且在此基础上实现乳腺良恶性分类．结果显示基于特征融合的四个影像组学模型对乳腺病变BI-RADS 3-5类的分类准确率分别为81.25%、87.50%、78.38%、81.25%;对乳腺病变良恶性鉴别的准确率分别为90.91%、93.55%、92.73%、94.55%. 这表明MRI影像组学结合机器学习的算法对乳腺病变BI-RADS分类效果及良恶性鉴别效果均较好,且特征融合可进一步提高分类预测的准确率．     

基于线性渐变分光微型近红外仪的西湖龙井真伪模型不适应性析因及修正研究

采用基于线性渐变滤光片分光原理的微型近红外光谱仪对2012年和2013年的西湖龙井和普通扁形茶建立真伪识别模型。分别对不同年份、不同保存期样品的近红外光谱数据进行PCA分解,并根据PCA得分分布的数学特征选取代表性样品,建立PLS-DA模型,从数学原理的角度对模型不适应性的原因加以分析,并对其进行修正,结合外部盲样的验证,有效地增强了模型适应性。研究结果表明,针对西湖龙井和普通扁形茶,采用不同年份样品近红外光谱数据共同建模可有效提高模型对不同年份样品的识别正确率;采用不同保存期样品近红外光谱数据建模结果表明,普通扁形茶在冷冻保存3个月后,理化性质发生了较大的变异,而西湖龙井的理化性质相对较为稳定。从光谱数据主成分特征的数学原理角度对不同年份以及不同保存期模型的适应性进行了研究,建立并验证了适合西湖龙井真伪识别的模型,有效提高了模型的预测准确度。不仅可为近红外光谱应用于农产品质量安全与品质分级方面提供一定的参考,而且对提高农产品近红外分级模型的预测准确度亦具有参考价值。     

近红外透射光谱结合判别分析方法在汽车制动液品牌与新旧鉴别中的应用研究

采用近红外透射光谱研究了汽车制动液品牌及新旧的鉴别。采集宝马(BMW),丰田(Toyota),沃尔沃(Volvo)以及嘉实多(Castrol)四种品牌的汽车制动液全新样本以及用过的样本的透射光谱。分别对每一种品牌下全新与用过汽车制动液样本的光谱数据进行主成分分析(PCA),主成分得分图表明不同品牌制动液以及该品牌下全新样本以及用过的样本能够被较好的区分,其光谱特性存在差异。基于主成分载荷(Loadings)进行特征波数选择,偏最小二乘判别分析(PLS-DA),线性判别分析(LDA),簇类独立软模式法(SIMCA),k最邻近分类算法(KNN),随机森林(RF),误差反向传播人工神经网络(BPNN),径向基神经网络(RBFNN),极限学习机(ELM),支持向量机(SVM),最小二乘支持向量机(LS-SVM)等判别分析方法用于建立基于特征波数的判别分析模型,判别模型的建模集和预测集判别正确率均略低于或达到了100%。与其他三种品牌汽车制动液相比,嘉实多全新样本与用过样本的差异较小,KNN与LS-SVM模型的建模集正确率均低于100%。结果表明,近红外透射光谱结合特征波长选择以及判别分析模型对不同品牌制动液以及同一品牌下全新样本以及用过的样本进行识别是可行的,为开发在线或便携式仪器提供理论支持。