基于LVQ与SVM算法的近红外光谱煤产地鉴别

传统煤产地鉴别方法一般以发热量、挥发分、粘结指数、哈氏可磨指数和坩埚膨胀序数作为分类指标,过程复杂耗时较多、耗费巨大的人力、物力并且无法直接快速的得到煤样产地等问题,借助近红外光谱技术快速无损检测的优势,利用基于SVM的留一算法对光谱数据集进行异常样本剔除,得到包含正确光谱信息的煤样光谱数据集,构造基于SVM算法与LVQ算法的定性分析模型,完成基于近红外光谱分析技术的煤产地的快速鉴别,无需对煤样的各种指标进行汇总并且人为预测。针对SVM分析模型中存在随机参数优化问题,引入PSO算法对SVM模型中的损失参数C和核函数半径g进行改进,得到最优参数,最后引入计算准确率的方法对比以上模型并进行评价分析。实验一共收集了加拿大、俄罗斯、澳大利亚、印度尼西亚、中国内蒙等5个地区的煤样光谱数据集,数据集共计305组煤样样本,其中异常样本共计10组,分别选择各国煤炭光谱的前31组作为训练样本,后6组数据作为测试样本,结果表明各分类模型的分类准确率均能达到75%以上,其中基于PSO算法改进的SVM分析模型的准确率可达到96.67%,仅一个样本出现问题,可快速高效地实现基于近红外光谱分析技术的煤产地的鉴别。     

基于近红外光谱和支持向量机的子宫内膜癌早期诊断研究

近红外光谱结合化学计量学方法对癌症的辅助诊断已有了文献报道.该文测定了77例不同生理阶段的子官内膜组织病理切片的近红外光谱,对其分别进行多元散射校正(MSC)、正交信号校正(OSC)以及二者联用的预处理方法,采用拉丁配分法选择3/4样本作为训练集,1/4样本作测试集,建立支持向量机(SVM)模型进行分类,并与基于同样预处理方法建立的偏最小二乘(PLS)模型分类结果进行了比较.SVM对正常、增生和癌变三类不同的组织样品分类结果较好,总分类正确率约92%,好于PLS模型的结果(最高正确率90%).研究结果表明,光谱数据的预处理和建模方法对分类结果有重要影响,SVM结合子宫内膜组织的近红外光谱有望发展成为一种新型的肿瘤诊断方法.     

近红外透射光谱结合判别分析方法在汽车制动液品牌与新旧鉴别中的应用研究

采用近红外透射光谱研究了汽车制动液品牌及新旧的鉴别。采集宝马(BMW),丰田(Toyota),沃尔沃(Volvo)以及嘉实多(Castrol)四种品牌的汽车制动液全新样本以及用过的样本的透射光谱。分别对每一种品牌下全新与用过汽车制动液样本的光谱数据进行主成分分析(PCA),主成分得分图表明不同品牌制动液以及该品牌下全新样本以及用过的样本能够被较好的区分,其光谱特性存在差异。基于主成分载荷(Loadings)进行特征波数选择,偏最小二乘判别分析(PLS-DA),线性判别分析(LDA),簇类独立软模式法(SIMCA),k最邻近分类算法(KNN),随机森林(RF),误差反向传播人工神经网络(BPNN),径向基神经网络(RBFNN),极限学习机(ELM),支持向量机(SVM),最小二乘支持向量机(LS-SVM)等判别分析方法用于建立基于特征波数的判别分析模型,判别模型的建模集和预测集判别正确率均略低于或达到了100%。与其他三种品牌汽车制动液相比,嘉实多全新样本与用过样本的差异较小,KNN与LS-SVM模型的建模集正确率均低于100%。结果表明,近红外透射光谱结合特征波长选择以及判别分析模型对不同品牌制动液以及同一品牌下全新样本以及用过的样本进行识别是可行的,为开发在线或便携式仪器提供理论支持。     

高光谱成像的油菜和杂草分类方法

利用高光谱成像技术结合化学计量学方法对油菜中的杂草进行分类识别。采用近红外高光谱技术,通过正态变量变换(SNV)、去趋势化(De-trending)、多元散射校正(MSC)、移动平均平滑法(MA)、多项式卷积平滑法(SG)、基线校正(baseline)及归一化(normalize)算法对光谱数据进行预处理,采用主成分载荷(PCA loadings)、载荷系数法(x-LW)、回归系数法(RC)、连续投影算法(SPA)分别进行特征波长提取,采用偏最小二乘判别分析(PLS-DA)、极限学习机(ELM)和支持向量机(SVM)建立分类模型。结果表明,基于De-trending 预处理,通过PCA loadings,x-loading weights及SPA特征波长提取方法,基于极限学习机ELM算法建立的模型取得了最优的分类效果,建模集和预测集的分类精度均达到100%,另引入平均分类精度的指标,发现不同试验时间下,模型分类精度变化不大,表明应用近红外高光谱成像技术对油菜和杂草进行分类是可行的。     

基于Adaboost及谱回归判别分析的近红外光谱固态发酵过程状态识别

为了实现固态发酵过程状态的快速监测,以饲料蛋白固态发酵为实验对象,开展了基于近红外光谱分析技术的饲料蛋白固态发酵过程状态定性识别研究。首先利用Antaris Ⅱ型傅里叶变换近红外光谱仪采集140个固态发酵物样本的近红外光谱,并采用标准正态变换(SNV)光谱预处理方法对获得的原始光谱进行预处理;其次,采用谱回归判别分析(SRDA)法对预处理后的近红外光谱进行特征提取;最后,采用最近邻(NN)分类算法作为弱分类器建立固态发酵过程状态识别模型,并对测试集样本进行识别。结果显示,与利用主成分分析(PCA)法和线性判别分析(LDA)法提取的光谱特征建立的识别模型结果相比较,SRDA-NN识别模型获得的结果最佳,在测试集中的正确识别率达到94.28%;为了进一步提高识别模型的准确率,将自适应提升法(Adaboost)与SRDA-NN方法结合,提出了Adaboost-SRDA-NN集成学习算法来建立饲料蛋白固态发酵过程状态的在线监测模型。通过Adaboost算法提升后的SRDA-NN模型预测性能得到了进一步增强,Adaboost-SRDA-NN模型在测试集中的正确识别率达到100%。试验结果表明：在近红外光谱定性分析模型校正过程中,SRDA方法能有效地对近红外光谱数据进行特征提取,以实现维数约简;另外,Adaboost算法能很好地提升最终分类模型的预测精度。     

高光谱与机器学习相结合的大白菜种子品种鉴别研究

提出了基于高光谱信息的大白菜种子品种分类识别方法。利用近红外高光谱图像采集系统采集了八种共239个大白菜种子样本;提取15 pixel×15 pixel感兴趣区域平均光谱反射率信息作为样本信息;采用多元散射校正预处理方法对光谱进行消噪;验证了Ada-Boost 算法、极限学习机(extreme learning machine, ELM)、随机森林(random forest, RF)和支持向量机(support vector machine, SVM)四种分类算法的分类判别效果。为了简化输入变量,通过载荷系数分析选取了10个大白菜种子品种分类判别的特征波长。实验结果表明,四种分类算法基于全波段的分类识别对81个预测样本的正确区分率均超过90%,最优的分类判别模型为ELM和RF,识别正确率达到了100%;以10个特征波长的分类判别精度略有下降,但输入变量大幅减少,提高了信息处理效率,其中最优分类判别模型为EW-ELM模型,判别正确率为100%,因此以载荷系数选取的特征波长是有效的。利用高光谱结合机器学习对大白菜种子品种进行快速、无损分类识别是可行的,为大白菜种子批量化在线检测提供了一种新的方法。     

近红外光谱LASSO特征选择方法及其聚类分析应用研究

近红外光谱技术是一种通过分析样本的特征光谱数据,实现定性或定量分析的无损检测方法,特征数据的完整性和代表性决定了所建模型的性能,而现有分析方法只能实现光谱子区间特征筛选,导致分析模型稳定性差、且难以再优化。为实现近红外光谱区间高维数特征提取,有效提高近红外光谱定性分析模型的精度和稳定性,提出一种基于最小绝对收缩和选择算法(LASSO)的光谱特征筛选方法,并以我国特色高值外贸产品云南松茸为分析对象进行聚类应用研究,讨论了该方法对于高维光谱特征筛选的有效性、分析对比了LASSO筛选特征变量及主元分析(PCA)降维算法所建松茸真伪甄别及食用菌分类模型的预测精度及稳定性。通过调研发现,云南产鲜松茸因其独特外形易于分辨,而片状的干松茸失去其独有的外形特征,导致国内干松茸掺假事件屡禁不止。选取云南产松茸、杏鲍菇、老人头、姬松茸四种干样共166样本数据进行分析,采用光谱范围为900～1 700 nm的NIRQuest512型近红外光谱仪获得166×512维原始光谱数据,剔除异常数据后采用标准正态变换对光谱数据进行预处理。在此基础上,利用LASSO筛选出全光谱区间的特征变量,再使用Kennard-Stone法并结合典型线性(KNN)和非线性建模(BP)算法,构建松茸真伪甄别模型和食用菌分类模型,对两种模型进行盲样测试,并分析了LASSO与PCA算法的不同点,最后使用蒙特卡罗方法检测两种模型的稳定性。实验结果表明基于LASSO光谱特征选择的松茸真伪甄别模型和食用菌分类模型预测精度和稳定性均高于PCA方法,其中基于原始光谱数据所建真伪甄别模型的预测准确率为69.57% (BP)和60.87% (KNN),食用菌分类模型准确率为67.39% (BP)和65.22% (KNN),基于LASSO特征筛选的真伪甄别模型预测准确率分别达到100% (BP)和78.26% (KNN),食用菌分类模型预测准确率分别达到89.13% (BP)和80.43% (KNN),对两种模型进行10次蒙特卡罗实验,其结果平均值分别为99.93%和97.22%,由此可知,与PCA等数据降维算法相比,LASSO可实现全光谱区间的光谱特征选择和数据降维,有效地提高了近红外定性分析模型的预测性能,为近红外分析提供了一种新的特征筛选方法。     

基于波形叠加极限学习机的近红外光谱药品鉴别

近红外光谱药品鉴别作为识别假冒伪劣药品的一种有效技术手段,已被广泛应用到各大医疗行业和药品监督管理机构,并结合模式识别建模方法在基层药品打假中得到较好的推广。由于传统建模方法很难满足药品鉴别中大规模、多分类、快速建模等问题,因此采用一种基于波形叠加极限学习机(SWELM(CS))分类方法对光谱数据进行鉴别。通过选用极限学习机(ELM)作为光谱药品分类器,使得分类模型具有快速学习能力以及对训练样本不敏感的特点;由于极限学习机的连接权值和隐层神经元阈值是随机生成导致网络稳定性差,因此结合布谷鸟搜索算法优化分类模型参数;采用反双曲线正弦函数与Morlet小波函数叠加的激励函数代替ELM原有的单一激励函数改善了分类模型的收敛速度和稳健性。通过上述改进方法使得SWELM(CS)具有对训练样本不敏感性,布谷鸟参数优化的分类稳定性、波形叠加函数的强收敛性与信号特征提取能力。该方法为核函数提供的信号特征提取及拟合的思想,可推广到其他学习算法中以获取更高的分类准确度及稳定性。该实验选定西安杨森制药厂生产的249个近红外光谱药品样本作为研究的主要对象,重点研究光谱药品的二分类和多分类实验,实验证明SWELM(CS)分类器相比BP神经网络、标准ELM以及粒子群优化ELM等传统分类器算法具有更高的分类准确度、分类稳定性及更小的训练样本敏感性。     

云计算的蚕豆虫害可见-近红外光谱分类

利用蚕豆叶片可见-近红外反射光谱结合导数光谱对健康、少量、大量虫害三种等级的实验样本进行光谱特征分析,并选择虫害检测最优波段。采用Hadoop,Spark和VMWare虚拟机搭建云计算平台,使用MLlib机器学习库实现人工神经网络(ANN)和支持向量机(SVM)分类算法,并对三种等级蚕豆叶片全波段和最优波段光谱进行分类建模与预测。结果表明ANN虫害光谱分类模型准确率优于SVM虫害光谱分类模型,并且在云平台上运行效率更高,同时全光谱波段的预测准确性高于最优波段。通过扩展光谱数据集,云计算技术在光谱数据挖掘中的计算效率有显著提升。云计算分类检测可以为作物生物胁迫光谱识别提供新的技术和方法。     

一种风电功率混沌时间序列概率区间简易预测模型

本文基于极限学习机构建了一种简易模型以直接输出风电功率概率区间.同时,为优化模型训练过程中输出区间的性能,本文基于对数据集区间带偏差信息的分析构建了一种新的优化准则,并采用量子细菌觅食优化算法以获取问题的最优解,提高模型泛化能力.对比分析两个风电场在不同置信水平和不同优化准则下的概率预测结果,仿真表明本文模型具有更高的可靠性和更窄的区间带宽,可为风电并网安全稳定运行提供决策支持.     

基于近红外漫反射与漫透射光谱的玉米单倍体鉴别比较研究

使用JDSU公司的MicroNIR1700型微型近红外光谱仪,研究了适合进行单籽粒玉米单倍体鉴别的光谱测量方法。基于近红外光谱定性分析技术,比较了漫反射和漫透射两种情况下玉米单倍体鉴别的效果。光谱数据经过预处理后,采用PLS＋OLDA特征提取算法,应用SVM建立玉米单倍体鉴别模型,分别统计漫反射和漫透射实验条件下,鉴别模型的正确识别率。在微型光谱仪内置光源漫反射的光谱测量方式下,不分胚面朝向,玉米单倍体籽粒平均识别率低于60%,不能有效鉴别玉米单倍体和多倍体。而采用外置光源对籽粒进行漫透射光谱测量方式,获得了平均正确识别率为93.2%的鉴别效果,并且模型稳定性好。实验结果表明,漫反射光谱仅能获得玉米籽粒表层信息,因此玉米籽粒胚面朝向严重影响漫反射光谱鉴别单倍体种子的效果;而漫透射光谱可以实现分析光程纵深信息全累加,能够得到样品内部的信息,因此对胚面朝向不敏感,能够有效地对随机摆放的玉米单倍体和多倍体进行识别。近红外方法能快速、无损地鉴别单倍体,并且微型光谱仪采集速度快,成本低,为实现实用化的自动鉴别提供了条件。     

基于NIR分析和模式识别技术的玉米种子识别系统

模式识别技术及数据挖掘方法已成为化学计量学的研究热点。近红外(NIR)光谱分析以其快速、简便、非破坏性等优势广泛应用于光谱信号的处理和分析模型的建立。基于五种不同的模式识别方法:局部线性嵌入(LLE),小波变换(WT),主成分分析(PCA),偏最小二乘(PLS)和支持向量机(SVM),利用NIR技术建立了玉米种子的模式识别系统,并将其应用于108玉米杂交种和母本178种子的近红外光谱样品。首先利用LLE,WT,PCA,PLS进行消噪或降维,然后运用SVM进行分类识别,而一模支持向量机(1-normSVM)算法直接进行分类识别。三个不同NIR光谱范围的数值实验显示:PCA+SVM,LLE+SVM和PLS+SVM识别效果甚佳,而WT+SVM和1-norm SVM方法也有较高的分类精度。实验结果表明了本文提出方法的可行性和有效性,为利用近红外光谱和模式识别技术进行种子识别研究提供了理论依据和实用方法。     

全谱段光谱分析的块状商品煤种类鉴别

常规的煤炭鉴别方法需进行繁琐的制样过程,且需结合多种化学参数指标进行综合判定,以得到较为准确的分析结果。提出一种基于500～2 350 nm的可见-近红外全谱段光谱分析技术与多层感知器(multilayer perceptron, MLP)分类方法相结合的块状商品煤鉴别方法。该方法具有非接触、无前期制样、无化学分析的优势,可快速高效的获取煤炭的分类信息。采用地物光谱仪采集煤炭原始光谱数据,对噪声过大、影响后续处理的谱段进行删除,剩余部分采用小波阈值去噪法进行噪声去除。将去噪后的数据分成三个数据集：可见-近红外光谱(500～900 nm)数据集、短波红外光谱(1 000～2 350 nm)数据集、全谱段光谱(500～2 350 nm)数据集。对以上三个数据集进行主成分分析,将提取出的25个主成分输入多层感知器分类模型。多层感知器模型由输入层、隐藏层(两层)、softmax分类器构成。对三个数据集进行分类精度的对比,并采用随机森林(random forest, RF)与支持向量机(support vector machine, SVM)两种分类算法进行进一步的验证分析。结果表明：对块状商品煤分类,全谱段光谱分析技术由于数据信息量丰富,能够得到更优的分类效果,在训练样本数为132时,采用MLP分类器的分类精度最高,为98.03%;随机森林与SVM的分类结果验证了全谱段数据集的优越性与普适性。该研究为煤炭的在线分析、便携式煤炭检测仪器的研发提供了可靠的技术支持。     

基于NIR分析和模式识别技术的玉米种子识别系统

模式识别技术及数据挖掘方法已成为化学计量学的研究热点。近红外(NIR)光谱分析以其快速、简便、非破坏性等优势广泛应用于光谱信号的处理和分析模型的建立。文章基于五种不同的模式识别方法:局部线性嵌入(LLE),小波变换(WT),主成分分析(PCA),偏最小二乘(PLS)和支持向量机(SVM),利用NIR技术建立了玉米种子的模式识别系统,并将其应用于108玉米杂交种和母本178种子的近红外光谱样品。首先利用LLE,WT,PCA,PLS进行消噪或降维,然后运用SVM进行分类识别,而一模支持向量机(1-norm SVM)算法直接进行分类识别。三个不同NIR光谱范围的数值实验显示:PCA+SVM,LLE+SVM,PLS+SVM识别效果甚佳,而WT+SVM和1-norm SVM方法也有较高的分类精度。实验结果表明了本文提出方法的可行性和有效性,为利用近红外光谱和模式识别技术进行种子识别研究提供了理论依据和实用方法。     

基于XGBoost与可见-近红外光谱的煤矸识别方法

煤矸智能识别是实现综放开采智能化亟待研发的新技术;可见-近红外光谱技术具有环保、实时等优势,满足煤矸智能分选的要求。为解决基于可见-近红外光谱的煤矸识别问题,引入在数据科学竞赛中表现出色的极端梯度提升树（XGBoost）算法。搭建可见-近红外光谱实验平台采集来自山西西铭、陕西神木、内蒙古巴隆图煤矿的块状煤与矸石样品在370～1 049 nm波段的反射光谱;利用黑白校正、始末波段去除、SG卷积平滑和标准正态变量变换（SNV）对采集的原始光谱进行预处理,以减少光照不均、噪声以及光程差的影响。依据三个煤矿煤与矸石样品反射光谱的差异划分实验组和测试组,实验组差异微小,用于对比不同模型的性能,挑选最佳算法;测试组差异较明显,用于测试最佳算法在其他煤矿下的表现,检验算法对不同煤矿的适用性。在实验组的实验中,首先基于XGBoost算法建立煤与矸石分类模型,并引入常用的机器学习分类算法k近邻法（KNN）、随机森林（RF）、支持向量机（SVM）做对比,结果表明XGBoost的表现最佳,十折交叉验证的平均准确度（ACC₁₀）、分类准确度（ACC）与AUC值分别达到0.957 2,0.970 5与0.971 6,体现出较强的稳定性与分类能力。其次为降低数据维度减少模型运算量,使用递归特征选择（RFE）、连续投影算法（SPA）与竞争性自适应重加权算法（CARS）分别进行特征波长的选择并与上述四种分类算法结合构建简化分类模型,经测试RFE与XGBoost组合的简化模型表现最佳,ACC₁₀,ACC与AUC值分别为0.965 7,0.980 3与0.980 3且数据维度降至9,在降低数据维度的同时提高了模型的稳定性与分类能力。在测试组的实验中,基于优选出的XGBoost与RFE-XGB算法建立的模型,同样可以实现对其他矿区煤与矸石稳定精确地识别,且简化模型表现更好,与实验组结果一致。     

利用近红外光谱技术建立土壤水分含量定标方程

应用近红外漫反射光谱技术（波长为1100—2498nm,分辨率为2nm）,以温县和郑州市郊的土壤为材料建立土壤水分含量分析系统。结果表明,优化各项参数后,光谱经过标准正态变换校正和一阶导数处理后,回归分析采用修正的偏最小二乘法（M PLS）得到的定标模型效果最佳。最终得到的预测方程定标相关系数（RSQ）、交叉验证标准误差（SECV）、交叉验证相关系数（1-VR）分别为0.98,0.92,0.97。数学模型经过验证样品集检验,预测相关系数达到0.96,达到了快速、准确分析土壤水分含量的要求。     

基于模糊支持向量机的高光谱图像分类

常规支持向量机应用到高光谱图像分类中有较好的分类效果,但它对训练样本内部的噪声和孤立点特别敏感,在一定程度上影响了支持向量机的分类性能,针对该问题,引入了模糊支持向量机(FSVM),并且利用灰色关联分析代替模糊隶属度的求解,将这种基于灰色关联分析的模糊支持向量机与一对多算法相结合,解决了多类高光谱图像分类问题。HYDICE高光谱图像分类结果表明,噪声和孤立点训练样本对支持向量机的影响得到了有效地抑制,相比于常规支持向量机方法,分类精度得到了明显的提高。     

中草药大黄的近红外光谱和人工神经网络鉴别研究

大黄是我国最常用的中草药之一。对正品和非正品大黄的快速、准确鉴别对于大黄及其中草药产品的质量控制具有重要的意义。将近红外漫反射光谱分析技术与人工神经网络方法相结合,对52种大黄样品进行了测定和鉴别,正确率可达96%。并对神经网络的隐含层个数和动量因子的影响做了讨论。由于近红外光谱法具有样品前处理少,测定快速和非破坏性等特点,因而特别适合于中草药的鉴别。