Gath-Geva联合模糊聚类的生菜近红外光谱聚类分析

生菜的新鲜程度是影响生菜品质的最重要因素之一,其主要取决于生菜的储藏时间,因此,对不同储藏时间的生菜进行准确鉴别具有重要研究价值。由于不同储藏时间生菜的近红外光谱数据具有差异性的特点,因而使用近红外为不同储藏时间的生菜进行鉴别分类是可行的。通过将联合模糊C均值聚类（allied fuzzy c-means, AFCM）中的欧式距离测度替换为指数距离测度从而提出了一种GG联合模糊聚类（Gath-Geva AFCM, GGAFCM）分析算法。GGAFCM通过迭代计算得到模糊隶属度值和典型值,再结合近红外光谱实现了对不同存储时间生菜的高效精准鉴别。以新鲜的生菜样本作为研究对象,使用傅里叶近红外光谱仪（Antaris Ⅱ型）每隔12 h对生菜样本采集漫反射光谱数据,光谱的波数范围介于10 000~4 000 cm-1之间。首先,通过主成分分析（principal component analysis, PCA）对采集到的1 557维生菜近红外光谱数据进行数据压缩将其降至22维,然后通过模糊线性判别分析（fuzzy linear discriminant analysis, FLDA）对降维后的近红外漫反射光谱数据的鉴别信息进行提取。设定鉴别向量数为2,即通过FLDA将22维的生菜近红外光谱数据转换为了2维数据。最后将模糊C均值聚类（fuzzy c-means, FCM）的聚类中心作为GGAFCM和AFCM的初始聚类中心,通过运行FCM,GGAFCM和AFCM完成对不同储藏时间生菜的鉴别分类,并对三种模糊聚类算法得到的聚类准确率、模糊隶属度、迭代次数进行分析。实验结果表明：在初始化条件相同的情况下,采用的GGAFCM算法与FCM和AFCM算法相比具有更高的鉴别准确率。在m=2的情况下,GGAFCM的鉴别准确率达到了95.56%,而AFCM的聚类准确率为91.11%。GGAFCM迭代4次达到收敛,而AFCM与FCM均需要8次迭代计算才能达到收敛。基于近红外光谱技术,通过GGAFCM结合PCA与FLDA算法可以高效快速且无损的完成对储存时间不同的生菜的准确鉴别分类,为生菜储存时间的准确、快速鉴别提供了实验依据和参考方法,具有一定的实际应用价值。     

广义模糊K调和均值聚类的近红外光谱生菜储藏时间鉴别

生菜的储藏时间是影响生菜新鲜程度的重要因素。为了快速、无损和有效地鉴别生菜的储藏时间,以欧式距离的p次方代替模糊K调和均值聚类(FKHM)中欧式距离的平方提出了一种广义模糊K调和均值聚类(GFKHM)算法并将该算法应用于鉴别生菜的储藏时间。以60个新鲜生菜样本为研究对象,采用Antaris Ⅱ近红外光谱分析仪每隔12 h检测生菜的近红外漫反射光谱,共检测三次,光谱扫描的波数范围为10 000~4 000 cm-1。首先用主成分分析(PCA)对1 557维的生菜近红外光谱进行降维处理以减少冗余信息,取前20个主成分,经过PCA处理后得到20维的数据。然后用线性判别分析(LDA)提取光谱数据的鉴别信息以提高聚类的准确率,取鉴别向量数为2,则LDA将20维的数据转换为2维数据。最后以模糊C-均值聚类(FCM)的类中心作为FKHM和GFKHM的初始聚类中心,分别运行FKHM和GFKHM计算模糊隶属度以实现生菜储藏时间的鉴别。结果表明,GFKHM的鉴别准确率能达到92.5%,FKHM的鉴别准确率为90.0%,GFKHM具有比FKHM更高的鉴别准确率。GFKHM的聚类中心比FKHM更逼近真实类中心。GFKHM的收敛速度明显快于FKHM。采用近红外光谱技术同时结合GFKHM,PCA和LDA为快速和无损地鉴别生菜储藏时间提供了一种新的方法。     

基于无监督可能模糊学习矢量量化的近红外光谱生菜品种鉴别研究

为解决模糊学习矢量量化(FLVQ)对噪声数据敏感问题,在无监督可能模糊聚类(UPFC)基础上提出一种无监督可能模糊学习矢量量化(UPFLVQ)算法。UPFLVQ用UPFC的隶属度和典型值来更新学习矢量量化网络的学习速率,计算类中心矢量。UPFLVQ 属于无监督机器学习算法,适用于无学习样本情况下的样本分类。研究了UPFLVQ用于近红外光谱生菜品种鉴别的可行性。采用FieldSpec@3型便携式光谱分析仪获取波长范围为350～2 500 nm的三种生菜样本的短波近红外光谱和长波近红外光谱,然后采用主成分分析(PCA)进行近红外光谱的维数压缩,取前三个主成分,累计可信度达97.50%,将2151维的近红外光谱压缩为三维数据。再运行模糊C-均值聚类(FCM)至迭代终止,并以FCM的类中心作为UPFLVQ的初始聚类中心,最后运行UPFLVQ得到隶属度和典型值以实现近红外光谱的生菜品种鉴别。同时,运行UPFC进行近红外光谱的生菜品种鉴别。实验结果表明：UPFLVQ和近红外光谱技术相结合的模型具有检测速度快,鉴别准确率高,对生菜不造成损坏等优点,可实现不同品种生菜的鉴别。UPFLVQ是将UPFC和FLVQ相结合的聚类算法,利用UPFLVQ建立近红外光谱的生菜品种鉴别模型时无需学习样本,适用于线性可分的数据聚类,为快速和无损地鉴别生菜品种提供了一种新的方法。     

模糊线性判别QR分析的茶叶近红外光谱鉴别分析

不同品种茶叶因其所含的有机化学成分不同,其效果也会有差别。所以,寻找出一种能准确迅速的鉴别茶叶品种的技术方法是非常重要的。近红外光谱(NIR)分析是一种无损检测技术,能很好的鉴别茶叶品种。使用NIR光谱仪采集茶叶的NIR数据。为了对包含噪声信号的茶叶近红外光谱进行准确鉴别,提出了一种模糊线性判别QR分析的新方法,可以对茶叶近红外光谱进行准确分类。通过使用模糊线性判别分析(FLDA)将由主成分分析(PCA)压缩的茶叶近红外光谱数据进行降维,由模糊线性判别分析得出的特征向量构建鉴别向量矩阵,对鉴别向量矩阵进行矩阵的QR分解,得到新的鉴别向量矩阵。经过模糊线性判别QR分析后使用K近邻算法进行分类,具有准确率高等优点。以岳西翠兰、六安瓜片、施集毛峰和黄山毛峰四种茶叶为研究样本,每类65个,茶叶样本总数为260个。采集茶叶近红外光谱数据的仪器为AntarisⅡ型傅里叶近红外光谱仪对光谱数据进行预处理,采用多元散射校正,由于采集到的茶叶光谱数据存在散射干扰。以此得到的近红外光谱数据的维数为1557维,通过主成分分析压缩数据集的维数,使得光谱数据集的维数达到7维。经压缩过后的光谱数据集中的鉴别信息再...     

基于Adaboost及高光谱的生菜叶片氮素水平鉴别研究

为了便于经济合理的生菜施肥,研究一种生菜叶片氮素水平智能鉴别方法。在温室大棚内无土栽培不同氮素水平的生菜样本,在特定生育期,采集各类氮素水平生菜样本,利用FieldSpec○R 3型光谱仪采集生菜叶片高光谱数据。由于原始高光谱数据存在噪声且冗余性强,利用标准归一化(SNV)对原始高光谱数据进行降噪处理,再利用主成分分析方法(PCA)对高光谱数据进行特征提取。分别利用K最近邻(KNN)和支持向量机(SVM)对降维后的光谱数据进行分类研究,由于自适应提升法(Adaboost)能提升弱分类器分类性能,将其分别引入到KNN和SVM两种分类器中,提出了Adaboost-KNN和Adaboost-SVM两种集成分类算法。分别利用上述四种分类算法对相同测试样本数据进行分类鉴别。结果表明,KNN,SVM,Adaboost-KNN和Adaboost-SVM四种算法的分类正确率分别为74.68%,87.34%,100%和100%,其中所提出的Adaboost-KNN与Adaboost-SVM分类效果都很好,且Adaboost-SVM分类算法的稳定性最好。因此,Adaboost-SVM算法适合作为基于高光谱的生菜氮素水平鉴别的建模方法,并且也为其他作物营养元素无损检测提供了一种新的方法。     

可能模糊鉴别C均值聚类的茶叶FTNIR分类研究

茶叶傅里叶近红外光谱(FTNIR)中含有茶叶的有机物化学成分信息,不同品种茶叶的化学成分和含量都有差异,所以利用傅里叶近红外光谱进行茶叶品种分类是可行的。由于茶叶近红外光谱数据具有维数高,有波峰和波谷,光谱重叠交错等特点,所以准确分类光谱数据存在困难。为此,提出一种可能模糊鉴别C均值聚类(PFDCM)算法,将模糊线性判别分析(FLDA)引入到可能模糊C均值聚类(PFCM)算法中,在模糊聚类过程中FLDA可提取茶叶近红外光谱的鉴别信息和进行数据空间的转换。PFDCM在对茶叶光谱进行模糊聚类后得到的模糊隶属度和典型值可实现茶叶近红外光谱的准确聚类,具有聚类速度快,准确率高等优点。由于PFDCM的典型值没有隶属度之和为1的约束条件,因而PFDCM在聚类含噪声的光谱数据方面优于模糊C均值聚类(FCM)。采集岳西翠兰,六安瓜片,施集毛峰和黄山毛峰四种茶叶共260个样本,采用AntarisⅡ型傅里叶近红外光谱仪采集茶叶的傅里叶近红外光谱。光谱波数范围为10 000～4 000 cm~(-1),实验所得近红外光谱为1 557维的高维数据。首先,将光谱数据用多元散射校正(MSC)进行预处理以减少光谱散射和噪声影响和增加信噪比;其次,用主成分分析法(PCA)降低光谱数据空间的维数,经过PCA处理后光谱数据维数为7;然后,用线性判别分析(LDA)提取光谱数据中的鉴别信息并将光谱数据空间的维数进一步降低到3维;最后,分别用FCM,可能模糊C均值聚类(PFCM)和PFDCM进行数据的聚类分析,实现茶叶品种的准确分类。实验结果:权重指数m=2.0,η=2.0, FCM, PFCM和PFDCM聚类算法的聚类准确率分别为93.60%, 93.02%和98.84%; FCM收敛时共迭代25次,而PFCM和PFDCM收敛时分别迭代8次和23次;模糊聚类收敛所消耗的时间, FCM最少,而PFDCM最多。FTNIR技术结合MSC, PCA, LDA和PFDCM提供了一种实现茶叶品种准确鉴别的分类模型。     

基于潜在语义分析与NIR的中药材分类研究

基于近红外光谱(NIR)和潜在语义分析(LSA)方法,对5种典型壮阳中药材进行分类鉴别研究。利用潜在语义分析对光谱预处理后的5种壮阳中药材光谱数据进行特征提取和鉴别分类后,将经光谱预处理和主成分分析(PCA)提取特征后的光谱特征数据分别带入K近邻(KNN)、BP神经网络(BP-ANN)和偏最小二乘支持向量机(LSSVM)三种典型的分类模型进行分类,并将结果与潜在语义分析模型结果进行对比。在4119.20~9881.46cm-1波数范围内,NIR光谱数据经多元散射校正(MSC)预处理后,代入潜在语言空间维数为3时所建立的LSA分类模型,训练集和测试集准确率均达到了100%。结果表明,在壮阳类中药材的近红外光谱分析鉴别中,潜在语义分析可以作为一种全新的提取光谱信息并分类的方法,具有较好的运用前景和实际意义。     

近红外光谱LASSO特征选择方法及其聚类分析应用研究

近红外光谱技术是一种通过分析样本的特征光谱数据,实现定性或定量分析的无损检测方法,特征数据的完整性和代表性决定了所建模型的性能,而现有分析方法只能实现光谱子区间特征筛选,导致分析模型稳定性差、且难以再优化。为实现近红外光谱区间高维数特征提取,有效提高近红外光谱定性分析模型的精度和稳定性,提出一种基于最小绝对收缩和选择算法(LASSO)的光谱特征筛选方法,并以我国特色高值外贸产品云南松茸为分析对象进行聚类应用研究,讨论了该方法对于高维光谱特征筛选的有效性、分析对比了LASSO筛选特征变量及主元分析(PCA)降维算法所建松茸真伪甄别及食用菌分类模型的预测精度及稳定性。通过调研发现,云南产鲜松茸因其独特外形易于分辨,而片状的干松茸失去其独有的外形特征,导致国内干松茸掺假事件屡禁不止。选取云南产松茸、杏鲍菇、老人头、姬松茸四种干样共166样本数据进行分析,采用光谱范围为900～1 700 nm的NIRQuest512型近红外光谱仪获得166×512维原始光谱数据,剔除异常数据后采用标准正态变换对光谱数据进行预处理。在此基础上,利用LASSO筛选出全光谱区间的特征变量,再使用Kennard-Stone法并结合典型线性(KNN)和非线性建模(BP)算法,构建松茸真伪甄别模型和食用菌分类模型,对两种模型进行盲样测试,并分析了LASSO与PCA算法的不同点,最后使用蒙特卡罗方法检测两种模型的稳定性。实验结果表明基于LASSO光谱特征选择的松茸真伪甄别模型和食用菌分类模型预测精度和稳定性均高于PCA方法,其中基于原始光谱数据所建真伪甄别模型的预测准确率为69.57% (BP)和60.87% (KNN),食用菌分类模型准确率为67.39% (BP)和65.22% (KNN),基于LASSO特征筛选的真伪甄别模型预测准确率分别达到100% (BP)和78.26% (KNN),食用菌分类模型预测准确率分别达到89.13% (BP)和80.43% (KNN),对两种模型进行10次蒙特卡罗实验,其结果平均值分别为99.93%和97.22%,由此可知,与PCA等数据降维算法相比,LASSO可实现全光谱区间的光谱特征选择和数据降维,有效地提高了近红外定性分析模型的预测性能,为近红外分析提供了一种新的特征筛选方法。     

三维荧光光谱结合稀疏主成分分析和支持向量机的油类识别方法研究

石油污染的出现,导致生态环境遭到破坏。因此,油类识别方法的研究对于环境的保护具有重要意义。采用荧光光谱法获得石油光谱数据,并对其进行预处理,再通过降维方法来提取特征信息,最后利用模式识别算法进行分类,从而可以实现对油类的定性分析,因此研究一种更高效的数据降维方法以及识别分类算法极其重要。基于三维荧光光谱技术,利用稀疏主成分分析（SPCA）对FS920光谱仪测得的荧光光谱数据进行特征提取,再利用支持向量机（SVM）算法对提取的特征数据进行分类识别,获得了一种更加高效的油类识别方法。首先,利用海水和十二烷基硫酸钠（SDS）配制成浓度为0.1 mol·L-1的胶束溶液,将其作为溶剂配制柴油、航空煤油、汽油以及润滑油各20种不同浓度的溶液;然后,利用FS920光谱仪测得样本溶液的三维荧光光谱数据,对得到的光谱数据进行预处理;最后,对预处理后的数据分别利用SPCA和主成分分析（PCA）进行特征提取,再利用SVM和K最近邻（KNN）两种模式识别算法对特征向量进行分类,最终得到四种模型PCA-KNN,SPCA-KNN,PCA-SVM以及SPCA-SVM的分类结果。研究结果表明,由四种模型得到的分类准确率分别为85%,90%,90%和95%,其中,在同种分类算法中,利用SPCA进行特征提取得到的分类准确率均比PCA的准确率高5%,因此可知,SPCA的稀疏性具有突出主要成分的作用,在提取光谱特征时能够减小非必要成分的影响,并且载荷矩阵的稀疏化可以去除变量之间的冗余信息,优化降维特征信息,为后续分类提供更有效的数据特征信息;在同种特征提取算法下,利用SVM算法进行分类得到的分类准确率均比KNN算法得到的准确率高5%,表明SVM算法在分类中更具有优势。因此,本文利用三维荧光光谱技术结合SPCA和SVM算法,实现了对石油的准确识别与分类,为今后对石油污染物的高效检测提供了新思路。     

主成分分析结合支持向量机辅助激光诱导击穿光谱对塑料快速分类识别

大量废弃的塑料制品给生态环境造成严重破坏,当务之急是要对塑料进行分类回收。传统的分类方法普遍存在成本高,效率低,操作复杂等问题,不能满足工业生产的需要。激光诱导击穿光谱技术由于具备简单灵活,快速灵敏等优点,在物质鉴别领域有广泛应用。采用激光诱导击穿光谱技术结合主成分分析（PCA）和支持向量机（SVM）算法对20种塑料进行分类识别研究。由于目前有关塑料分类识别速率的研究报道较少,该实验在保证识别准确率的前提下,进一步研究和分析实验过程耗费的时间,满足工业生产中快速分类的要求。每种塑料采集100组光谱数据,随机选取50组数据作为训练集建立模型,余下50组作为测试集测试模型的分类识别效果,所以训练集和测试集各有1 000组光谱数据。将训练集的数据不加处理地输入SVM中进行训练,并采用5折交叉验证建立最佳模型,此时测试集的识别准确率为99.90%,建模时间为1小时58分41.13秒,预测时间为11.96 s。由此可见,单纯使用SVM算法可以得到很高的准确率,但是需要耗费大量时间。为了提高实验效率,引入主成分分析算法,将原来的高维数据变换成低维数据,并用降维后的数据训练模型。针对不同的主成分个数,均采用随机训练十次再取平均值的方法获得相关数值。实验表明,当选取主成分个数为13时,得到相应的识别准确率为99.80%,而PCA处理时间为1.44 s,建模时间为12.16 s,预测时间仅为0.02 s。虽然PCA算法结合SVM算法在对20种塑料进行分类识别时准确率有轻微下降,但是大大减少了模型训练的时间,实验效率得到很大程度的提高。结果表明,结合两种算法辅助激光诱导击穿光谱可以对塑料进行快速准确的分类识别。     

基于近红外光谱判断分析煤种的鉴别研究

煤种信息为煤炭质量评价、进出境税收征管提供技术支撑。传统煤种鉴别方法需测定煤炭样品干燥无灰基挥发分、低煤阶煤透光率、粘结指数、恒湿无灰基高位发热量等指标,能耗大,检测周期长,不利于口岸快速通关。基于不消耗化学试剂、快速、低成本等优势,采用近红外光谱鉴别煤种受到广泛关注,但目前还未有针对全球不同产地来源煤炭的煤种鉴别应用,煤炭近红外光谱特征与煤种的相关关系仍有待挖掘。采集了来自澳大利亚、俄罗斯、印度尼西亚等9个国家410批进口煤炭代表性样品,涉及褐煤、烟煤和无烟煤3个煤种,对比分析了不同煤种煤炭样品的漫反射近红外光谱特征,发现不同煤种煤炭样品近红外光谱在吸光度、光谱斜率、特征峰上存在差异。结合样品成分信息、X射线衍射、近红外光谱进行数据挖掘,发现近红外光谱吸光度与煤炭中固定碳含量呈正相关,光谱斜率与煤炭芳构化呈负相关,煤炭芳构化增加导致长波长方向的吸收系数增大,光谱斜率变小,光谱特征吸收峰主要为水分和有机物质含氢基团的特征信息,特征峰强度取决于煤炭中水分和挥发分含量。采用主成分分析（PCA）进行数据降维,光谱变量从1 557个降到394个,对前10个主成分进行逐步判别,筛选出PC1,PC2,PC3,PC4,PC6,PC7,PC8,PC9和PC10代替原始数据作为模型输入变量,建立煤种鉴别的Fisher判别分析模型,建模样品验证准确率为98%,交叉验证准确率为97.8%,测试样品验证准确率为99.1%。PCA载荷图表明：PC1和PC2主要与煤炭挥发分含量相关,其次是水分含量。判别函数1（57.7%）与PC1的相关性最强,判别函数2（42.3%）与PC2的相关性最强,说明不同煤种中挥发分含量和水分含量的差异是近红外光谱进行煤种鉴别的内在依据。     

高光谱成像的煤与矸石分类

煤与矸石分选是煤矿生产的必要工序,现有的人工分选与机械分选,存在效率低,易造成资源浪费以及环境污染等问题。鉴于可见/近红外高光谱成像具有分析速度快、样品无需预处理、无污染等诸多优势,旨在探讨基于可见/近红外高光谱成像对黑色背景下块状煤与矸石准确分类的可行性,并基于特征波长筛选算法简化模型,为构建多光谱煤与矸石分选系统提供理论参考。首先,搭建高光谱成像系统并采集山西西铭矿的85个煤样本与83个矸石样本在400～1 000 nm（Vis/NIR）与1 000～2 500 nm（NIR）两个范围内的高光谱图像,基于图像处理方法去除背景信息,选取Vis/NIR范围内100×100像素和NIR范围内50×50像素区域内的平均光谱作为该样本在对应波段范围的一条光谱,重复10次,最终在两个波段各获得煤与矸石光谱850条和830条。其次,对光谱先后进行Savitzky-Golay卷积平滑和标准正态变量变换,以减少噪音和误差对光谱的影响。基于全波段光谱建立支持向量机（SVM）,k近邻法（KNN）,偏最小二乘判别分析（PLS-DA）三种模型,每个模型针对预测集的分类准确度均大于0.95,结果表明,基于煤和矸石的光谱信息可将二者区分。随后根据竞争性自适应重加权算法（CARS）和连续投影算法（SPA）选择的特征波长建立简化模型,综合考虑精度与成本等因素,在Vis/NIR范围内基于SPA筛选的3个特征波长所建立的SVM模型效果最好,不仅能有效减少波长数量,还能提高模型的分类效果,对应的灵敏度,特异度,准确度分别为1,0.965 2,0.983 3。基于判别模型与样本的平均光谱还可实现煤和矸石的分类可视化。研究结果对开发基于特征波长的低成本煤和矸石多光谱分选系统,实现煤矸快速、准确的无损检测具有借鉴意义。     

近红外透射光谱结合判别分析方法在汽车制动液品牌与新旧鉴别中的应用研究

采用近红外透射光谱研究了汽车制动液品牌及新旧的鉴别。采集宝马(BMW),丰田(Toyota),沃尔沃(Volvo)以及嘉实多(Castrol)四种品牌的汽车制动液全新样本以及用过的样本的透射光谱。分别对每一种品牌下全新与用过汽车制动液样本的光谱数据进行主成分分析(PCA),主成分得分图表明不同品牌制动液以及该品牌下全新样本以及用过的样本能够被较好的区分,其光谱特性存在差异。基于主成分载荷(Loadings)进行特征波数选择,偏最小二乘判别分析(PLS-DA),线性判别分析(LDA),簇类独立软模式法(SIMCA),k最邻近分类算法(KNN),随机森林(RF),误差反向传播人工神经网络(BPNN),径向基神经网络(RBFNN),极限学习机(ELM),支持向量机(SVM),最小二乘支持向量机(LS-SVM)等判别分析方法用于建立基于特征波数的判别分析模型,判别模型的建模集和预测集判别正确率均略低于或达到了100%。与其他三种品牌汽车制动液相比,嘉实多全新样本与用过样本的差异较小,KNN与LS-SVM模型的建模集正确率均低于100%。结果表明,近红外透射光谱结合特征波长选择以及判别分析模型对不同品牌制动液以及同一品牌下全新样本以及用过的样本进行识别是可行的,为开发在线或便携式仪器提供理论支持。     

近红外光谱判别分析滤波器的设计与应用

近红外光谱（NIRS）在定量和判别分析中已得到广泛应用,化学计量学在其中发挥了重要作用,但仍需要建立基于新原理的方法,简化数据处理和建模过程,使近红外光谱分析更加方便、更加快速。多元光学计算（MOC）技术通过设计合适的光学滤波器可以在光谱测量的同时,根据光谱的整体形状得到定性定量结果。作为一种新的测量和计算方式,近年来在光谱分析领域逐渐得到应用。基于多元光学计算的原理,基于主成分分析和Fisher判别准则设计了近红外光谱的判别滤波器,将近红外光谱投影到二维空间,并在二维空间中计算每一类样品的置信椭圆作为模型进行判别分析。预测样本在二维空间的投影与模型的距离可以作为判别参数,判别值小于等于1时预测样品与模型样品判别为同一类别,否则判别为不同类别,且距离越大,差异性越大。采用460个不同部位的烟叶样品和73个不同生产厂家的药品对所建立的方法进行了测试,表明了方法的准确性。对于三类不同部位烟叶样品和四类不同厂家生产的药品,预测结果的真阳性率可以达到90%以上（除上部烟叶样品外）,药品的真阳性率高达95%以上。但烟叶样品的假阳性率仍有些偏高,对于光谱极为相似的实际生产样品结果仍属可接受范围。所建立的方法可推广到其他应用领域,广泛用于基于近红外光谱的质量控制、产品检测、生产一致性监控等。     

Application of High-Dimensional Feature Selection in Near-Infrared Spectroscopy of Cigarettes' Qualitative Evaluation

In order to increase the classification accuracy, a new feature selection method, RFFIM-PCA, based on the random forest feature importance measure (RFFIM) and principal component analysis (PCA) for analyzing the near-infrared (NIR) spectra of tobacco, is presented in this paper. We applied the method to the classification of cigarettes' qualitative evaluation and also compared it with other methods. The result showed that RFFIM-PCA discriminates the high-dimensional data effectively and can be used to identify the cigarettes' quality. The feature selection filters the noises, while PCA eliminates the redundant features and reduces the dimensionalities as well. The experimental results showed that RFFIM-PCA successfully eliminated the noises and redundant features in high-dimensional data, leading to a promising improvement on the feature selection and classification accuracy.     

近红外光谱指纹分析在羊肉产地溯源中的应用

为寻求低廉、快速有效地签别羊肉产地来源的方法,对来自内蒙古自治区锡林郭勒盟、呼伦贝尔市和阿拉善盟三个牧区,及重庆市和山东省菏泽市两个农区共99份羊肉样品进行近红外光谱扣描,利用主成分分析结合线性判别分析(PCA+LDA),以及偏最小二乘判别分析法(PLS-DA)对光谱数据进行了分析,建立了羊肉产地来源的定性判别模型.结...     

基于三维荧光光谱结合二维线性判别分析的油类识别方法的研究

油类污染严重威胁到自然环境及人类健康。因此,识别和处理油类污染非常重要。由于三维荧光光谱能够表征石油的荧光特征,故一般利用三维荧光光谱法检测溶液中存在的油类污染物。但油类的三维荧光光谱数据维度较高且直接分析的难度较大,因此可以利用数据降维方法提取原始油类样本的光谱特征,并利用所得到的光谱特征对样本进行识别。基于此,利用二维线性判别分析（2D-LDA）对油类样本进行特征提取,研究提取的不同样本光谱特征的差别,将得到的光谱特征作为K最近邻（KNN）分类的输入,得到相应的分类结果。首先,分别配制四种不同的油类（柴油、汽油、航空煤油、润滑油）样本各20个,共计得到80个油类样本;然后,利用FS920光谱仪采集所有油类样本的三维荧光光谱数据;其次,对采集到的光谱数据进行预处理,去除光谱中散射的干扰并标准化;最后,利用2D-LDA算法对样本进行特征提取,利用KNN算法进行分类,并将其分类结果与经主成分分析(PCA)进行特征提取后的分类结果比较。研究结果表明,2D-LDA提取特征的分类效果优于PCA。利用2D-LDA分别提取发射和激发特征得到测试集识别的准确率相同且都为95%,而将发射和激发光谱特征的分类距离相结合并重新进行分类的准确率为100%。表明两类光谱相对于三维荧光光谱具有互补性,将发射和激发光谱特征相结合能够更好地对样本进行分类。而利用PCA对测试集识别的准确率仅为85%,表明2D-LDA对三维荧光光谱数据的特征提取效果更好。与PCA相比,2D-LDA通过类内散度和类间散度最大化投影向量来提取样本的特征,使得同类样本尽可能接近,不同样本尽可能分离。因此,2D-LDA具有使降维后的数据更容易被区分的特点,故其鲁棒性好。该研究为油类的降维识别提供了一种参考。