近红外光谱的海水微塑料快速识别

光谱技术与机器学习算法结合快速识别微塑料, 为微塑料的现场检测提供了极大的技术支持,是一个得到极大关注的新领域。近红外光谱检测技术具有检测速度快、灵敏度高、不损坏样品,且可以在不对样品进行预处理的情况下直接检测等特点,在化学分析、质量检测等领域广泛应用。本文基于近红外光谱检测技术,研究比较了结合Support Vector Machine（SVM）和Extreme Gradient Boosting（XGBoost）两种机器学习分类算法,构建微塑料的高速有效识别分类模型。采用微型近红外光谱仪采集了20种常见的微塑料标准样品的光谱数据,为了防止过拟合,对每种样品多次采样,共收集了1 260个微塑料样本,每个样本包含512个数据点。利用XGBoost算法进行特征重要性排序,共提取了对识别准确率影响较大的65个数据点。分别采用SVM算法和XGBoost算法对数据降维后提取的65个数据点建立微塑料快速识别模型,并运用网格搜索（GridSearchCV）对XGBoost算法影响较大的超参数进行选取,确定n_estimators,learning_rate,min_child_weigh,max_depth,gamma的最佳超参数分别为700,0.07,1,1,0.0。为了提高模型的稳定性,识别速率和泛化能力,对模型采用10折交叉验证和混淆矩阵评估;研究结果表明,XGBoost模型对微塑料的识别准确率为97%,而SVM模型对微塑料的识别准确率为95%;XGBoost模型对微塑料识别的正确率优于SVM模型。综上所述,XGBoost模型微塑料识别整体性能优于SVM模型,为实际微塑料快速识别提供技术支撑。     

云计算的蚕豆虫害可见-近红外光谱分类

利用蚕豆叶片可见-近红外反射光谱结合导数光谱对健康、少量、大量虫害三种等级的实验样本进行光谱特征分析,并选择虫害检测最优波段。采用Hadoop,Spark和VMWare虚拟机搭建云计算平台,使用MLlib机器学习库实现人工神经网络(ANN)和支持向量机(SVM)分类算法,并对三种等级蚕豆叶片全波段和最优波段光谱进行分类建模与预测。结果表明ANN虫害光谱分类模型准确率优于SVM虫害光谱分类模型,并且在云平台上运行效率更高,同时全光谱波段的预测准确性高于最优波段。通过扩展光谱数据集,云计算技术在光谱数据挖掘中的计算效率有显著提升。云计算分类检测可以为作物生物胁迫光谱识别提供新的技术和方法。     

基于近红外光谱的淡水鱼新鲜度在线检测方法研究

新鲜度是反映鱼类品质以及可否食用的重要指标,在线检测直接关系到食品质量与安全的实施应用,因此对淡水鱼新鲜度进行在线无损检测具有重要意义。应用近红外光谱对淡水鱼新鲜度进行在线检测,试验装置采用自行搭建的淡水鱼近红外光谱在线采集装置,试验时样品在输送链上以0.5 m·s-1的速度运动,采集其近红外漫反射光谱(900～2 500 nm),并用支持向量机(support vector machine, SVM)建立淡水鱼新鲜度在线检测模型。采用光谱理化值共生距离(sample set partitioning based on joint X-Y distance algorithm, SPXY)算法对样本集进行划分,其中校正集111条(新鲜57条,变质54条)、测试集37条(新鲜19条,变质18条),通过对比不同的光谱预处理方法对预测结果的影响,明确了一阶导结合标准化预处理为最优光谱预处理方法,经过该方法预处理后所建模型对校正集的正确识别率为97.96%,对测试集的识别率为95.92%。为了提高模型运行速度对建模所用光谱变量进行优化,分别采用遗传算法(genetic algorithm, GA)、连续投影算法(successive projection algorithm, SPA)和竞争性自适应重加权算法(competitive adaptive reweighed sampling algorithm, CARS) 三种不同的特征变量选择方法对特征波长进行筛选,通过建模比较分析确定CARS为最优波长选择方法,以所选的10个特征波长建立淡水鱼新鲜度支持向量机检测模型,模型对校正集的正确识别率为100%,对测试集的识别率为93.88%。该研究可为近红外光谱用于淡水鱼新鲜度在线检测提供技术支持。     

XGBoost在气体红外光谱识别中的应用

为解决气体红外光谱识别问题,引入提升算法中较新的研究成果——极端梯度提升(XGBoost)算法。选用实测的三氯甲烷、对二甲苯、四氯乙烯气体的红外光谱数据进行实验。首先在对原始数据进行预处理后,通过特征工程提取光谱特征,生成特征向量;然后建立XGBoost模型,并对模型参数进行调优;最后基于分类准确率指标,将所提模型与随机森林(RF)、支持向量机(SVM)、前馈神经网络(FNN)、卷积神经网络(CNN)模型进行对比。实验结果表明,XGBoost在气体红外光谱识别领域有着广阔的应用前景。     

基于LLE-SVR的鸡蛋新鲜度可见/近红外光谱无损检测方法

鸡蛋新鲜度是反映鸡蛋内部品质的一个重要指标。为了能够实现鸡蛋新鲜度的快速无损检测,利用微型光纤光谱仪采集鸡蛋550～950 nm的透射率光谱曲线,与鸡蛋的哈夫单位值进行了定量分析。通过不同的预处理方式分别结合偏最小二乘回归(partial least squares regression, PLSR)与支持向量回归(support vector regression, SVR)建立模型,比较了不同模型的预测结果,发现一阶微分结合SVR能够实现较好地预测,且利用SVR建模要优于PLSR。为了提高运算效率,减少无用信息对建模的不良影响,分别利用线性降维主成分分析法(principal component analysis, PCA)与非线性降维局部线性嵌入(locally linear embedding, LLE)对一阶微分后的光谱数据降维,比较两种降维方法的预测效果,得出了LLE降维要优于PCA降维,其训练集和预测集的相关系数与均方根误差分别为92.2%,7.21和91.1%,8.80,训练集交叉验证的均方根误差相比减少了0.79。实验结果表明,利用局部线性嵌入结合支持向量回归进行非线性建模,能够提高鸡蛋新鲜度的预测能力,表明该方法对鸡蛋新鲜度的可见/近红外光谱检测可行。     

稀疏降噪自编码算法用于近红外光谱鉴别真假药的研究

近红外光谱分析技术作为一种快速、无损检测技术十分适用于真假药品现场鉴别。自编码网络作为当前机器学习领域研究的热点受到广泛关注,自编码网络是一种典型的深度学习网络模型,它比传统的潜层学习方法具有更强的模型表示能力。自编码网络使用贪婪逐层预训练算法,通过最小化各层网络的重构误差,依次训练网络的每一层,进而训练整个网络。通过对数据进行白化预处理并使用无监督算法对输入数据进行逐层重构,使网络更有效的学习到数据的内部结构特征。之后使用带标签数据通过监督学习算法对整个网络进行调优。首先对真假琥乙红霉素片的近红外光谱数据进行预处理以及白化预处理,通过白化处理降低数据特征之间的相关性,使数据各特征具有相同的方差。数据处理之后利用稀疏降噪自编码网络针对真假药品光谱数据建立分类模型,并将稀疏降噪自编码网络模型与BP神经网络以及SVM算法在分类准确率及算法稳定性方面进行对比。结果表明对光谱数据进行白化预处理能有效提升稀疏降噪自编码网络的分类准确率。并且自编码网络分类准确率在不同训练样本数量下均高于BP神经网络,SVM算法在少量训练样本的情况下更有优势,但在训练数据集样本数达到一定数量后,自编码网络的分类准确率将优于SVM算法。在算法稳定性方面,自编码网络较之BP神经网络和SVM算法也更稳定。使用稀疏降噪自编码网络对真假药品近红外光谱数据进行建模,能对真假药品进行有效的鉴别。     

基于近红外光谱和支持向量机的子宫内膜癌早期诊断研究

近红外光谱结合化学计量学方法对癌症的辅助诊断已有了文献报道.该文测定了77例不同生理阶段的子官内膜组织病理切片的近红外光谱,对其分别进行多元散射校正(MSC)、正交信号校正(OSC)以及二者联用的预处理方法,采用拉丁配分法选择3/4样本作为训练集,1/4样本作测试集,建立支持向量机(SVM)模型进行分类,并与基于同样预处理方法建立的偏最小二乘(PLS)模型分类结果进行了比较.SVM对正常、增生和癌变三类不同的组织样品分类结果较好,总分类正确率约92%,好于PLS模型的结果(最高正确率90%).研究结果表明,光谱数据的预处理和建模方法对分类结果有重要影响,SVM结合子宫内膜组织的近红外光谱有望发展成为一种新型的肿瘤诊断方法.     

高光谱成像的三七粉质量等级无损鉴别

三七粉是三七的主要消费和商品形式,市场上存在以次充好、甚至是掺假的现象,由于是粉状物料,难以用肉眼判别,为了实现对不同质量等级的三七粉进行无损鉴别。将30头、40头、60头和80头的三七主根研磨成粉,制备样本。采用可见近红外高光谱成像系统（400.68～1 001.61 nm）采集4种不同头数三七粉,共计384个样品的高光谱图像,提取高光谱图像感兴趣区域(ROI)的平均光谱值作为样本原始光谱。将384个三七粉样本按2∶1的比例划分训练集和测试集。采用卷积平滑（SG）、多元散射校正（MSC）和标准正态变量变换（SNV）3种预处理方法对三七粉样本光谱信息进行预处理并建立支持向量机(SVM)分类模型,通过比较基于3种预处理方法的SVM模型测试集分类准确率,确定SNV为最优预处理方法。采用迭代保留信息变量（IRIV）、变量组合集群分析（VCPA）和变量组合集群分析混合迭代保留信息变量（VCPA-IRIV）3种特征选择方法提取SNV预处理后光谱的特征波长并建立基于特征光谱和原始光谱的SVM分类模型,通过比较基于3种特征选择方法得到的特征波长建立的SVM模型测试集分类准确率,发现将VCPA与IRIV相结合的VCPA-IRIV为最优特征选择方法。VCPA-IRIV提取了18个特征波长代替全光谱数据参与建模,该算法在降低模型复杂度的同时保持了模型的分类精度。为了提高模型的分类精度,采用引力搜索算法（GSA）对SVM模型中惩罚因子c和核参数g进行寻优,并与网格搜索（GS）的结果进行比较,结果表明,VCPA-IRIV-GSA-SVM模型分类效果最好,测试集分类准确率达到100%。可见,利用可见近红外高光谱成像对三七粉进行质量等级无损鉴别是可行的,为市场上三七粉的质量等级鉴别提供了参考。     

可见-近红外高光谱图像技术快速鉴别激光打印墨粉

为了使用快速、无损的方法区分激光打印文件使用的墨粉种类,利用高光谱成像技术结合化学计量法对6种激光打印墨粉的光谱数据进行建模和种类鉴别的研究。利用可见-近红外高光谱成像仪采集400~1 000 nm波段内的光谱数据,采用Savitzky Golay平滑、标准化、多元散射校正和标准正态变量变换4种方法分别对光谱数据进行预处理,而后分别建立随机森林(RF)、K最近邻(KNN)、支持向量机(SVM)、偏最小二乘判别分析(PLS-DA)和簇类独立软模式(SIMCA)模型,进而实现激光打印墨粉的种类鉴别。利用准确率、拒识率和误识率3个指标作为模型评价标准。实验结果显示,SVM和PLS-DA模型的效果最佳,准确率为100%,拒识率和误识率为0。基于可见-近红外高光谱成像技术可以实现激光打印墨粉的快速种类鉴别。     

可见/近红外光谱结合GWO-SVM对千禧番茄的分类鉴别

千禧番茄营养丰富且酸甜可口,不同千禧番茄品种的风味和营养价值均有明显差异,尤其是番茄红素、柠檬酸、维生素C和氨基酸含量的差异较大。传统人工分类方式效率低、主观性强、误检率高等问题亟待解决。为筛选综合营养价值高且风味佳的千禧番茄品种,实现千禧番茄快速准确分类,提出了基于千禧番茄光谱特征的分类模型构建及GWO优化SVM算法研究,以期解决千禧番茄自动化分类问题。以四个品种千禧番茄作为研究对象,试验样本240个,将其按2∶1比例划分为训练集160个和测试集80个样本,利用可见-近红外光谱采集系统获取350～1 000 nm范围内的千禧番茄反射强度,经光谱校正得样本反射率;为增强信噪比,截取481.15～800.03 nm范围内的光谱波段作为有效波段。由于数据采集过程受无关信息干扰影响建模效果,故将平滑点数设置为3进行Savitzky-Golay(SG)平滑预处理。预处理后采用连续投影算法(SPA)提取特征波长变量,优选得到11个特征波长反射率作为输入矩阵X,预设样本变量1, 2, 3和4作为输出矩阵Y,利用支持向量机(SVM)建立SPA-SVM千禧番茄定性分类模型,训练集和测试集平均分类准确率...     

基于XGBoost与可见-近红外光谱的煤矸识别方法

煤矸智能识别是实现综放开采智能化亟待研发的新技术;可见-近红外光谱技术具有环保、实时等优势,满足煤矸智能分选的要求。为解决基于可见-近红外光谱的煤矸识别问题,引入在数据科学竞赛中表现出色的极端梯度提升树（XGBoost）算法。搭建可见-近红外光谱实验平台采集来自山西西铭、陕西神木、内蒙古巴隆图煤矿的块状煤与矸石样品在370～1 049 nm波段的反射光谱;利用黑白校正、始末波段去除、SG卷积平滑和标准正态变量变换（SNV）对采集的原始光谱进行预处理,以减少光照不均、噪声以及光程差的影响。依据三个煤矿煤与矸石样品反射光谱的差异划分实验组和测试组,实验组差异微小,用于对比不同模型的性能,挑选最佳算法;测试组差异较明显,用于测试最佳算法在其他煤矿下的表现,检验算法对不同煤矿的适用性。在实验组的实验中,首先基于XGBoost算法建立煤与矸石分类模型,并引入常用的机器学习分类算法k近邻法（KNN）、随机森林（RF）、支持向量机（SVM）做对比,结果表明XGBoost的表现最佳,十折交叉验证的平均准确度（ACC₁₀）、分类准确度（ACC）与AUC值分别达到0.957 2,0.970 5与0.971 6,体现出较强的稳定性与分类能力。其次为降低数据维度减少模型运算量,使用递归特征选择（RFE）、连续投影算法（SPA）与竞争性自适应重加权算法（CARS）分别进行特征波长的选择并与上述四种分类算法结合构建简化分类模型,经测试RFE与XGBoost组合的简化模型表现最佳,ACC₁₀,ACC与AUC值分别为0.965 7,0.980 3与0.980 3且数据维度降至9,在降低数据维度的同时提高了模型的稳定性与分类能力。在测试组的实验中,基于优选出的XGBoost与RFE-XGB算法建立的模型,同样可以实现对其他矿区煤与矸石稳定精确地识别,且简化模型表现更好,与实验组结果一致。     

高光谱数据对损伤长枣的检测判别

灵武长枣作为宁夏优势特色枣果,具有重要的经济社会价值和科学研究意义。利用可见近红外(Vis/NIR)高光谱成像系统采集60颗完整长枣光谱图像,然后利用损伤装置对60颗完整长枣进行损伤实验,最终得到60颗损伤（内部瘀伤）长枣,高光谱成像系统采集损伤后五个时间段（损伤后2,4,8,12和24 h）长枣的光谱图像。对采集的长枣光谱图像用ENVI软件提取感兴趣（ROI）区域,并计算完整长枣和每个时间段长枣的平均光谱值。原始光谱利用Savitzky-Golay平滑的一阶导数（SG-1）和二阶导数（SG-2）、标准正态变换（SNV）和去趋势（Detrending）、以及SNV-SG-1、SNV-SG-2、Detrending-SG-1、Detrending-SG-2算法进行预处理,原始光谱和预处理光谱建立偏最小二乘判别分析（PLS-DA）分类模型。选择最优的预处理光谱数据,利用连续投影算法（SPA）、间隔随机蛙跳（IRF）、无信息消除变量（UVE）、变量组合集群分析法（VCPA）、区间变量迭代空间收缩法（IVISSA）和IRF-SPA、UVE-SPA、IVISSA-SPA等算法进行特征变量选择,对选择的特征变量建立PLS-DA、线性判别分析（LDA）和支持向量机（SVM）分类判别模型。结果表明,在原始光谱建立的PLS-DA模型中,模型校正集和预测集准确率分别为82.96%和90%。光谱经过预处理后得到SNV-SG-2-PLS-DA为最优分类判别模型,模型校正集和预测集准确率分别为91.11%和96.67%。在特征变量建立的分类模型中,SNV-SG-2-UVE-PLS-DA模型校正集和预测集准确率分别为86.3%和94.44%;SNV-SG-2-SPA-LDA模型校正集和预测集准确率分别为86.3%和83.33%;SNV-SG-2-UVE-SVM模型校正集和预测集准确率分别为77.78%和71.11%。对于分类模型来说线性分类模型（PLS-DA、LDA）分类结果优于非线性分类模型（SVM）分类结果,在线性分类模型结果中PLS-DA优于LDA分类结果,PLS-DA可以更好的提供分类效果。研究表明,利用高光谱结合偏最小二乘判别分析分类模型,可以有效的实现灵武长枣损伤后随时间变化的快速检测,为灵武长枣在线检测提供理论依据。     

基于近红外光谱和支持向量机的子宫内膜癌早期诊断研究

近红外光谱结合化学计量学方法对癌症的辅助诊断已有了文献报道.该文测定了77例不同生理阶段的子官内膜组织病理切片的近红外光谱,对其分别进行多元散射校正(MSC)、正交信号校正(OSC)以及二者联用的预处理方法,采用拉丁配分法选择3/4样本作为训练集,1/4样本作测试集,建立支持向量机(SVM)模型进行分类,并与基于同样预...     

UAV高光谱影像联合SULOV＿XGBoost算法的柑橘果树精细分类方法

精准、动态监测经济作物种植信息是农业精细化管理面临的迫切需求。为实现不同果树品种的精细分类,以桂林市六塘默科特柑橘试验基地为研究区,获取机载高光谱影像数据,深度挖掘不同柑橘果树品种的光谱信息,构建多维数据集,提出一种利用SULOV结合极端梯度提升(eXtreme gradient boosting, XGBoost)算法进行优选特征,并采用XGBoost分类算法进行柑橘果树品种精细分类的方法,最后,与随机森林(random forest, RF)和支持向量机(support vector machine, SVM)的分类结果的精度进行对比分析。结果发现：(1)所提的SULOV结合XGBoost算法(SULOV＿XGBoost)柑橘果树精细分类算法能够有效进行特征差距较小场景的果树作物不同品种间的精细分类,算法整体分类效果优于传统的常用机器学习方法(RF与SVM);(2)一阶微分拐点处值与原始波段值的融合特征对提升精细分类精度具有极大作用;另外加入不同波长范围波段组合也能够显著提高柑橘果树精细分类结果;(3)SVM在地物可辨性较高的条件下其分类性能更佳,且抗干扰能力强。研究成果可为同一物...     

基于XGBoost的糖尿病血液拉曼光谱定量分析法

血液中包含着大量的生物信息,如激素、酶、血糖等成分,而血糖偏高将引发糖尿病。糖尿病有很多并发症,比如脑梗塞,脑出血,肾脏损害,眼底损害,周围神经病变等一系列疾病。目前,血液常规成分检测分析周期较长,结果反馈较慢,难以实现快速连续检测。光学检测技术能够根据待测物质的光谱鉴别物质化学成分和相对含量,因其灵敏度高、适用性强、分析速度快等优势,在血液无创检测领域逐渐发挥其优势。随着激光技术的不断进步,拉曼光谱技术作为一种非线性散射光谱技术,在血液检测技术中得到了广泛应用。为提高拉曼光谱的预测精度,首次将XGBoost算法应用到拉曼光谱血液血糖浓度中进行预测精度的提升。实验中106组血液样本及试验标准值为河北省秦皇岛市第一医院提供,选用布鲁克的MultiRAM光谱仪进行血液的拉曼光谱数据测量,实验中1 064 nm激发光源功率为400 mW,光谱分辨率为6 cm-1,扫描速率为10 kHz,扫描范围为400～4 000 cm-1,对每个样本重复采集10次并计算平均值作为原始光谱数据,以保证实验的准确性和可重复性。该方法无需对数据进行预处理,首先将光谱数据随机划分为训练集和测试集,比例为7∶3,训练集用于训练模型并确定模型参数,测试集用于测试模型的稳定性和预测精度。建立XGBoost模型后,用网格搜索法和k折交叉验证优化模型参数;引入模型评估指标和克拉克网格误差分析图对XGBoost模型血糖浓度的预测进行分析;最后将XGBoost模型与决策树(DT)、随机森林(RF)和支持向量机回归(SVR)模型进行对比。实验结果表明通过XGBoost建立的定量回归模型效果最佳,模型的决定系数为0.999 99,校正集均方误差为0.007 49,预测集均方误差为0.007 17,相对分析误差为331.973 18,预测点均落在克拉克网格误差分析图的A区。结果证明,将XGBoost算法应用到拉曼光谱血液成分定量分析中具有较高的预测精度,并且数据未经过预处理,可以有效缩短程序运行时间,其在拉曼光谱以及近红外光谱定量分析领域具有广阔的发展前景。     

可见-近红外光谱的鸭梨黑心缺陷在线检测AdaBoost集成模型研究

黑心病是鸭梨贮藏期间发生的生理病害,其病变初期表现在内部果核处出现褐色斑块,而在果实外观上与正常果几乎没有任何差异,严重影响鸭梨的贮藏时间和品质,亟需一种快速无损的检测方法为鸭梨质量保驾护航。采用可见-近红外光谱法对鸭梨黑心缺陷进行在线检测和识别,结合平滑（Smoothing）、标准正态变量变换（SNV）、多元散射校正（MSC）、SG一阶导数（SG 1st-Der）以及小波变换（WT）预处理方法和主成分分析（PCA）、k近邻（kNN）、朴素贝叶斯（NBC）、支持向量机（SVM）以及基于Adaboost的集成学习等方法对鸭梨黑心病进行判别研究。Adaboost集成了kNN、NBC和SVM三个独立学习器。将120个健康鸭梨和165个黑心鸭梨共计285个样品划分为训练集和测试集进行模型的构建和评价,采用训练集的查准率/查全率的调和平均值（F-measure）和正确识别率（Accuracy）对分类模型进行优化和评价。研究结果表明：不同属性（正常和黑心）鸭梨样品光谱的前三主成分分布图相互交错,很难直观地对黑心鸭梨进行区分。样品光谱经小波变换（小波基为“Haar”）预处理的kNN模型训练集的F-measure和Accuracy分别为78.98%和82.62%;经过SG一阶导数预处理后的NBC模型训练集的F-measure和Accuracy分别为80.90%和82.11%;经过小波变换预处理后的SVM模型训练集的F-measure和Accuracy分别为90.24%和91.58%;经小波变换预处理的AdaBoost模型训练集的F-measure和Accuracy分别为91.46%和92.63%。通过测试集对模型进行验证可知：光谱经小波变换预处理后建立的Adaboost分类模型最优,分类的F-measure达到90.91%,较WT-kNN,SG 1st-Der-NBC和WT-SVM模型分别提高了11.39%,15.23%和2.30%;Accuracy达到92.63 ％,分别提高了10.52%,11.58%和2.10%;模型对测试集样品预测时的计算时间约为0.12s,满足在线分选要求。可见-近红外光谱结合AdaBoost分类方法,可以为鸭梨黑心病的在线检测提供一种快速简便的分析方法。     

全谱段光谱分析的块状商品煤种类鉴别

常规的煤炭鉴别方法需进行繁琐的制样过程,且需结合多种化学参数指标进行综合判定,以得到较为准确的分析结果。提出一种基于500～2 350 nm的可见-近红外全谱段光谱分析技术与多层感知器(multilayer perceptron, MLP)分类方法相结合的块状商品煤鉴别方法。该方法具有非接触、无前期制样、无化学分析的优势,可快速高效的获取煤炭的分类信息。采用地物光谱仪采集煤炭原始光谱数据,对噪声过大、影响后续处理的谱段进行删除,剩余部分采用小波阈值去噪法进行噪声去除。将去噪后的数据分成三个数据集：可见-近红外光谱(500～900 nm)数据集、短波红外光谱(1 000～2 350 nm)数据集、全谱段光谱(500～2 350 nm)数据集。对以上三个数据集进行主成分分析,将提取出的25个主成分输入多层感知器分类模型。多层感知器模型由输入层、隐藏层(两层)、softmax分类器构成。对三个数据集进行分类精度的对比,并采用随机森林(random forest, RF)与支持向量机(support vector machine, SVM)两种分类算法进行进一步的验证分析。结果表明：对块状商品煤分类,全谱段光谱分析技术由于数据信息量丰富,能够得到更优的分类效果,在训练样本数为132时,采用MLP分类器的分类精度最高,为98.03%;随机森林与SVM的分类结果验证了全谱段数据集的优越性与普适性。该研究为煤炭的在线分析、便携式煤炭检测仪器的研发提供了可靠的技术支持。     

主成分分析结合支持向量机辅助激光诱导击穿光谱对塑料快速分类识别

大量废弃的塑料制品给生态环境造成严重破坏,当务之急是要对塑料进行分类回收。传统的分类方法普遍存在成本高,效率低,操作复杂等问题,不能满足工业生产的需要。激光诱导击穿光谱技术由于具备简单灵活,快速灵敏等优点,在物质鉴别领域有广泛应用。采用激光诱导击穿光谱技术结合主成分分析（PCA）和支持向量机（SVM）算法对20种塑料进行分类识别研究。由于目前有关塑料分类识别速率的研究报道较少,该实验在保证识别准确率的前提下,进一步研究和分析实验过程耗费的时间,满足工业生产中快速分类的要求。每种塑料采集100组光谱数据,随机选取50组数据作为训练集建立模型,余下50组作为测试集测试模型的分类识别效果,所以训练集和测试集各有1 000组光谱数据。将训练集的数据不加处理地输入SVM中进行训练,并采用5折交叉验证建立最佳模型,此时测试集的识别准确率为99.90%,建模时间为1小时58分41.13秒,预测时间为11.96 s。由此可见,单纯使用SVM算法可以得到很高的准确率,但是需要耗费大量时间。为了提高实验效率,引入主成分分析算法,将原来的高维数据变换成低维数据,并用降维后的数据训练模型。针对不同的主成分个数,均采用随机训练十次再取平均值的方法获得相关数值。实验表明,当选取主成分个数为13时,得到相应的识别准确率为99.80%,而PCA处理时间为1.44 s,建模时间为12.16 s,预测时间仅为0.02 s。虽然PCA算法结合SVM算法在对20种塑料进行分类识别时准确率有轻微下降,但是大大减少了模型训练的时间,实验效率得到很大程度的提高。结果表明,结合两种算法辅助激光诱导击穿光谱可以对塑料进行快速准确的分类识别。     

基于Stacking集成学习的近红外光谱油页岩含油率预测

为了克服单一模型预测精度很难进一步提高的不足,利用近红外光谱分析结合基于Stacking框架的异构集成学习模型实现对油页岩含油率的检测。以松辽盆地某区块所取230个油页岩岩芯样本为研究对象,使用低温干馏法测量油页岩样本的含油率,同时扫描每个样本对应的近红外光谱数据。样本使用蒙特卡洛算法进行异常样本剔除,将剔除异常样本后的213个数据按照3∶1的比例随机划分为训练集和预测集。利用去趋势加基线校正方法进行预处理消除光谱数据中噪声和基线漂移,利用随机森林算法进行波长重要性排序并保留重要波长,在此基础上采用CARS算法进行特征波长提取,进一步降低数据维度。最后,构建以PLS, SVM, RF和GBDT为初级学习器,PLS回归模型为次级学习器的Stacking集成学习模型,各初级学习器模型参数使用网格搜索进行寻优。使用决定系数和预测均方根误差作为各模型的评价指标,探究单一模型和集成学习模型对油页岩含油率预测的准确性。研究结果表明,RF-CARS方法能够有效筛选重要波长,进而提高模型效率。基于Stacking的异构集成学习模型与单一模型(SVM和PLS)和同构集成学习模型(RF和GBDT)相比有更...     

基于贝叶斯优化的SVM玉米品种鉴别研究

为了快速检测玉米品种类型,基于支持向量机(SVM)和近红外光谱联合建立玉米品种的分类模型。以郑单958、先玉335、京科968、登海605和德美亚等五个品种共计293个样本为研究对象,对采集的近红外光谱进行标准正态变量变换(SNV)处理后使用主成分分析法(PCA)对光谱数据进行降维处理。按照6∶1比例,随机选取251个样本为训练集,42个样本作为测试集,探讨贝叶斯优化算法(BO)对SVM模型性能的影响。分别使用网格搜索(GS)、遗传算法(GA)和BO算法等三种方法对SVM模型的两个重要参数惩罚因子C和径向基核函数参数γ进行寻优。选择各模型十折交叉验证识别准确率最高时对应的惩罚因子和核参数作为建模参数,建立SVM分类模型。将使用BO算法建立的SVM分类模型与使用GS和GA进行参数寻优后建立的模型性能进行比对。实验发现,使用BO优化的SVM分类模型相比于其他两种优化算法得到的SVM模型性能具有显著优势,测试集的识别准确率可达到100%。说明使用BO算法寻优的SVM模型参数是全局最优参数,其他两种优化算法寻优的参数可能陷入了局部最优,从而导致模型性能表现不佳。在进行PCA降维前后的光谱数据上分别建立BO-SVM模型,结果表明,BO算法对于高维数据优化效果不佳,更适用于低维数据。对于不同样本类别间数量不均衡导致模型性能表现不佳的问题,通过剔除郑丹958和先玉335两类数量较少的样本,使用剩余三个类别,共计248个样本重新建立SVM模型,实验发现,剔除两类小样本之后,各个模型在测试集上的性能均有提升,说明对于类间样本数量不均衡问题,某类样本数量越多,对于模型参数的修正就越细腻,模型对该类的拟合效果就越好。研究结果可用于玉米品种的快速鉴别,也可为基于近红外光谱的其他农产品分类和产地鉴别提供参考。