高光谱成像的煤与矸石分类

煤与矸石分选是煤矿生产的必要工序,现有的人工分选与机械分选,存在效率低,易造成资源浪费以及环境污染等问题.鉴于可见/近红外高光谱成像具有分析速度快、样品无需预处理、无污染等诸多优势,旨在探讨基于可见/近红外高光谱成像对黑色背景下块状煤与矸石准确分类的可行性,并基于特征波长筛选算法简化模型,为构建多光谱煤与矸石分选系统提...     

基于可见-近红外和热红外光谱联合分析的煤和矸石分类方法研究

煤与矸石是矿山采煤过程中主要固体堆放物,对其进行遥感动态监测是矿山环境保护的重要需求。由于煤与部分矸石存在“异物同谱”现象,在使用传统的可见-近红外遥感分类时,往往将部分矸石划分为煤,导致遥感分类精度降低。首先对铁法矿区的12个煤样本和115个矸石样本进行可见-近红外光谱测试,发现绝大部分矸石样品的光谱与煤差异很大,二者易于区分,但有部分矸石与煤样本存在“异物同谱”现象。为进一步对矸石与煤区分,测试了混分样本的热红外光谱,发现二者存在明显的光谱差异,利用热红外光谱特征可以将其区分开来。在此基础上,提出了基于可见-近红外和热红外光谱联合分析的煤与矸石区分方法。该方法首先对所有样本进行可见-近红外光谱测试,利用Mao模型进行第一步分类识别;其次对煤与矸石混分的样品进行热红外光谱测试,利用光谱吸收比率SAR作为判别指标进行第二步分类,两步的分类结果为最终分类结果。该方法在铁法、兖州、神东和木里矿区的验证结果表明,其具有很高的分类准确率,效果远好于单独基于可见-近红外光谱特征的分类方法。研究结果表明,利用多种光谱联合分析的方法可以解决单波段存在的“异物同谱”现象,对于地物遥感分类具有重要的借鉴意义。     

近红外光谱的海水微塑料快速识别

光谱技术与机器学习算法结合快速识别微塑料, 为微塑料的现场检测提供了极大的技术支持,是一个得到极大关注的新领域。近红外光谱检测技术具有检测速度快、灵敏度高、不损坏样品,且可以在不对样品进行预处理的情况下直接检测等特点,在化学分析、质量检测等领域广泛应用。本文基于近红外光谱检测技术,研究比较了结合Support Vector Machine（SVM）和Extreme Gradient Boosting（XGBoost）两种机器学习分类算法,构建微塑料的高速有效识别分类模型。采用微型近红外光谱仪采集了20种常见的微塑料标准样品的光谱数据,为了防止过拟合,对每种样品多次采样,共收集了1 260个微塑料样本,每个样本包含512个数据点。利用XGBoost算法进行特征重要性排序,共提取了对识别准确率影响较大的65个数据点。分别采用SVM算法和XGBoost算法对数据降维后提取的65个数据点建立微塑料快速识别模型,并运用网格搜索（GridSearchCV）对XGBoost算法影响较大的超参数进行选取,确定n_estimators,learning_rate,min_child_weigh,max_depth,gamma的最佳超参数分别为700,0.07,1,1,0.0。为了提高模型的稳定性,识别速率和泛化能力,对模型采用10折交叉验证和混淆矩阵评估;研究结果表明,XGBoost模型对微塑料的识别准确率为97%,而SVM模型对微塑料的识别准确率为95%;XGBoost模型对微塑料识别的正确率优于SVM模型。综上所述,XGBoost模型微塑料识别整体性能优于SVM模型,为实际微塑料快速识别提供技术支撑。     

基于IPLS-XGBoost算法的可见-近红外光谱鸡蛋新鲜度高效准确检测技术研究

针对传统光谱法检测鸡蛋新鲜度存在的效率低、准确率不够高等问题，提出采用可见-近红外光谱结合极度提升树(XGBoost)等算法对鸡蛋新鲜度分类进行研究，以期在保证足够高准确度的同时大幅提高检测效率。将不同储存条件下的鸡蛋作为样本，并分别划分为训练集和测试集，采用训练集的综合评价指标(F-measure)和准确率(Accuracy)评估分类模型的性能。具体地，首先利用可见-近红外光谱系统采集鸡蛋的反射光谱，将所得的光谱数据经过不同预处理后再结合随机森林(random forest, RF)、偏最小二乘(partial least squares, PLS)、支持向量机(support vector machine, SVM)、多层感知机(muhi-layer perception, MLP)以及XGBoost等分类算法构建鸡蛋新鲜度分类评估模型，并对比各模型性能指标。分析结果发现，经Savitzky-Golay一阶导(Savitzky Golay first-order derivative, SG-1^st-Der)预处理后的RF、 SVM、 XGBoost模型和经标...     

空间分辨光谱和可见/近红外光谱的番茄颜色等级判别

比较分析空间分辨光谱和单点可见/近红外光谱（可见/短波近红外光谱和中波近红外光谱）对番茄颜色的识别能力。根据番茄表面和内部颜色将600个样品分为6个等级（green, breaker, turning, pink, light red和red）。分别利用新型空间分辨光谱系统（550~1 650 nm）,可见/短波近红外光谱仪（400~1 100 nm）和中波近红外光谱仪（900~1 700 nm）采集番茄的空间分辨（spatially-resolved, SR）光谱和单点可见/近红外（SP Vis/NIR）光谱,建立番茄等级的偏最小二乘判别（PLSDA）模型,比较其对番茄颜色等级的预测效果。结果表明, SR光谱组合可在最佳单一SR光谱基础上进一步提高番茄颜色的识别能力,对番茄表面颜色和内部颜色的识别率可分别达到98.8%和84.6%。光源-检测器距离较近的SR光谱对番茄表面颜色的识别有帮助,而光源-检测器距离较远的SR光谱能较好的判别番茄内部颜色。SP NIR光谱在对番茄表面颜色判别中与SR光谱具有一定可比性,其分类准确率可达到95%,但SP Vis/NIR光谱在对番茄内部颜色识别中具有较低的分类准确率,分类结果远不如SR光谱,说明SR光谱比SP Vis/NIR光谱对番茄颜色的判别更具潜力。     

基于Adaboost及谱回归判别分析的近红外光谱固态发酵过程状态识别

为了实现固态发酵过程状态的快速监测,以饲料蛋白固态发酵为实验对象,开展了基于近红外光谱分析技术的饲料蛋白固态发酵过程状态定性识别研究。首先利用Antaris Ⅱ型傅里叶变换近红外光谱仪采集140个固态发酵物样本的近红外光谱,并采用标准正态变换(SNV)光谱预处理方法对获得的原始光谱进行预处理;其次,采用谱回归判别分析(SRDA)法对预处理后的近红外光谱进行特征提取;最后,采用最近邻(NN)分类算法作为弱分类器建立固态发酵过程状态识别模型,并对测试集样本进行识别。结果显示,与利用主成分分析(PCA)法和线性判别分析(LDA)法提取的光谱特征建立的识别模型结果相比较,SRDA-NN识别模型获得的结果最佳,在测试集中的正确识别率达到94.28%;为了进一步提高识别模型的准确率,将自适应提升法(Adaboost)与SRDA-NN方法结合,提出了Adaboost-SRDA-NN集成学习算法来建立饲料蛋白固态发酵过程状态的在线监测模型。通过Adaboost算法提升后的SRDA-NN模型预测性能得到了进一步增强,Adaboost-SRDA-NN模型在测试集中的正确识别率达到100%。试验结果表明：在近红外光谱定性分析模型校正过程中,SRDA方法能有效地对近红外光谱数据进行特征提取,以实现维数约简;另外,Adaboost算法能很好地提升最终分类模型的预测精度。     

高光谱图像分类的ReliefF-RFE特征选择算法构建与应用

高光谱图像具有波段连续、维数高、数据量大、相邻波段相关性强的特点,可为地物分类提供更为丰富的细节信息。但是,数据中存在大量冗余信息与噪声,在图像分类中如直接利用其所有波段特征而不进行有效分析与选择,将会导致较低的计算效率和较高的计算复杂度,分类精度亦可能随着波段维数增加而出现先增后减的“休斯（Hughes）现象”。为快速地从高达数十个甚至数百个波段的高光谱图像中提取出具有较好识别能力的特征子集,从而避免“维度灾难”,将过滤式ReliefF算法和封装式特征递归消除算法（RFE）相结合,构建了ReliefF-RFE特征选择算法,可用于高光谱图像分类的特征选择。该算法根据权重阈值,利用ReliefF算法快速剔除大量无关特征,缩小并优化特征子集的范围;利用RFE算法进一步搜索最优特征子集,将缩小范围后的特征子集中与分类器关联性小、冗余的特征进行递归筛选,进而得到分类性能最佳的特征子集。采用Indian pines数据集、Salinas-A数据集与KSC数据集等3个标准数据集作为实验数据,将ReliefF-RFE算法的应用效果与ReliefF和RFE算法进行对比。结果显示,在3个数据集中,应用ReliefF-RFE算法的高光谱图像分类平均总体精度（OA）为92.94%、F-measure为92.81%,Kappa系数为91.94%;ReliefF-RFE算法的平均特征维数是ReliefF算法的37%,而平均运算时间则是RFE算法的75%。由此表明,ReliefF-RFE算法能够在保证分类精度的同时,克服过滤式ReliefF算法无法有效减小特征之间冗余以及封装式RFE算法时间复杂度较高的缺陷,具有更为均衡的综合性能,适用于高光谱图像分类的特征选择。     

基于XGBoost的铝合金LIBS光谱分类识别方法

铝合金作为重要的金属材料,广泛应用于各领域,但大量的铝合金废料却难以进行分类回收。二次资源的回收利用是我国工业绿色、可持续发展的助推器,如何快速、简便地对铝合金废料进行识别分类则成为了铝合金废料回收利用的先决条件。激光诱导击穿光谱（LIBS）是近年来发展快速的一种分析技术,具有快速、全元素分析、实时、原位、远距离检测等优点,已广泛应用于塑料、土壤、肉类、钢铁等识别研究,大多采用最小二乘判别分析法、簇类独立软模式、人工神经网络、支持向量机、随机森林等算法来建立模型。基于迭代型树的XGBoost算法具有正则化、并行处理运算、内置交叉验证和高度的算法灵活性等优势,其模型结构相对简单、运算量较小,且准确率较高,成为近年来机器学习中极受欢迎的算法,因而被广泛应用。基于六种铝合金样品的600组光谱数据,根据NIST原子发射光谱数据库进行光谱特征提取,确定光谱特征谱线的分类依据。利用XGBoost算法进行自动分类及排序,将处理后的光谱数据随机划分为训练集和测试集,通过训练集构建算法模型,提取其分类特征;利用测试集检验模型的稳定性和可用性,防止出现过拟合。XGBoost在固定参数下得到的模型具有一定的自适应性,较少受数据集的影响,总体准确率可达96.67%。其分类特征与已知的元素含量信息相吻合,证明了基于光谱的特征谱线数据,可为分类识别提供参考;同时还可根据XGBoost生成的特征评分来对光谱谱线特征的重要性进行排序。实验结果表明,LIBS可用于不同种类铝合金的快速识别,为废弃金属的分类回收提供了一种新的技术。     

基于核局部保持投影的近红外光谱玉米单倍体识别研究

实现快速、精确地鉴别玉米单倍体籽粒对玉米单倍体育种技术十分重要。近红外光谱分析技术可在线分析、监测,且无损、分析速度快、操作简便、测试成本低,对实现自动化的大规模鉴定并分拣玉米单倍体非常有帮助。通过美国JDSU的近红外光谱仪进行玉米近红外光谱的数据采集,交叉采集玉米单倍体、多倍体数据。数据处理时,将数据分为训练集和测试集两部分。依次对数据做预处理以消除噪声影响,做核变换将其投射到更高维度空间中增强可分性并进行特征提取,最后建立分类模型鉴别分析。分别统计采用不同的特征提取算法并建立模型鉴别测试的正确识别率。实验结果表明,采用核局部保持投影（KLPP）的特征提取算法的正确识别率更高、稳定性更好,在两组测试集上的正确识别率的均值分别达到95.71%和96.43%。通过分析可以得出,玉米种子的近红外光谱数据经过非线性变换（为高斯核变换）投影到更高维度的空间后,表现出更易于分类的分布特点,保持数据的局部特性也更利于后续的分类。这为玉米单倍体鉴定进一步研究提供了新的方向。     

典型块状煤的可见-近红外光谱特征研究

因可见-近红外波段反射光谱测试方便,仪器成本较低,适用于在线分析,为此针对煤在可见-近红外波段的反射光谱曲线特征规律及其产生机理进行了研究分析。从晋、鲁、宁、吉地区煤矿收集了无烟煤、烟煤、褐煤三大类型中的12种典型煤样,按煤阶从高到低具体包括无烟煤一号、无烟煤二号、贫煤、贫瘦煤、瘦煤、焦煤、肥煤、1/3焦煤、气肥煤、气煤、褐煤一号、褐煤二号,在实验室利用地物光谱仪采集了块状煤样在可见-近红外波段的反射光谱曲线。通过对光谱曲线特征分析,发现无烟煤的反射光谱曲线整体上趋于水平方向,吸收谷特征不明显,随煤阶的降低,光谱反射率、近红外波段光谱斜率整体上呈增加趋势,较明显的吸收谷特征增多且吸收强度增加,有13个较明显的吸收谷特征波段。通过X射线衍射分析（XRD）测定了煤样的碳材料结构和矿物成分,煤非晶质性分子结构的芳构化趋势对煤阶升高时光谱反射率降低、反射曲线趋于平缓起到主要作用。当煤阶降低时,以脂肪侧链为主的有机吸收基团的中红外波段基频在近红外波段的倍频和合频产生众多吸收叠加,绝大多数吸收谷特征不明显,相对较为明显的吸收谷产生在1 700和2 300 nm附近。同时含Fe等过渡金属的矿物、H₂O、粘土矿物等无机物成分也是煤反射光谱曲线吸收谷特征增多的因素。通过对实验煤样X射线荧光分析（XRF）和工业分析测定了煤样中Fe和Al等矿物元素成分含量和空气干燥基水分、灰分、挥发分、固定碳含量,得出煤反射光谱曲线的近红外波段光谱斜率与挥发分产率、固定碳含量分别呈正、负相关性。H₂O谱带吸收深度之和与内在水分含量线性相关性较好,Fe和Al含量与相关波段吸收谷深度之和基本呈线性关系,而主要由有机基团倍频和合频所产生的1 700和2 300 nm附近两处吸收谷深度之和与挥发分产率线性相关性较差。获得典型块状煤种的可见-近红外波段反射光谱特征,为煤矿区高光谱遥感以及煤光谱数据库的建立提供依据,也为直接利用可见-近红外波段的反射光谱曲线波形特征快速、低成本、定性地识别煤种类提供参考;同时对煤矿用煤炭探测光谱传感器的研制具有重要意义。     

基于可见光波段的燃烧与未燃烧矸石分类方法研究

我国煤矿数量众多,分布广泛,大量堆积的煤矸石对矿区环境造成严重影响,其中部分煤矸石处理不当可能引发自燃和爆炸,对矿区安全构成直接威胁。根据煤矸石的燃烧状态可以分为燃烧矸石和未燃烧矸石两类,其存在的安全隐患和对环境的危害性有所不同,同时其综合利用的途径亦不相同。因此,对煤矸石进行燃烧矸石和未燃烧矸石的分类识别与监测就显得尤为重要。目前的监测方法主要为实地勘查调研,其效率低、成本高,难以满足煤矸石监测的实际需求。选择辽宁省铁法矿区作为研究区,首先从矿区矸石山现场采集典型的煤矸石样本106个;然后,利用SVC HR1024光谱仪测试其可见光-近红外光谱,分析燃烧和未燃烧矸石的光谱特征,并基于可见光波段构建光谱指数NDGI,用于识别燃烧矸石和未燃烧矸石。选择实验室测试的光谱数据和实际卫星遥感数据对该指数进行了验证,并与随机森林法进行对比。结果显示：在350～760 nm燃烧矸石光谱曲线斜率整体较高,在550～630 nm反射率存在陡升现象,而未燃烧矸石在整个可见光波段光谱曲线斜率较低;以0.25作为NDGI指数阈值,可以很好地将燃烧矸石和未燃烧矸石区分开来,实验室样本验证结果显示,NDGI指数的分类精度可达99.1%,高于随机森林分类法的95.2%;现场的验证结果表明,使用铁法矿区的landsat8 OLI数据,并基于NDGI指数对矿区内的矸石山进行燃烧和未燃烧区域识别划分,所提取的燃烧和未燃烧矸石在形态和大小上与Google Earth具有很好地一致性,表明该指数对于矸石的燃烧状态具有很好识别效果。在上述研究基础上,分别取燃烧和未燃烧矸石进行矿物鉴定,通过对比矸石燃烧前后矿物种类的变化,分析造成燃烧和未燃烧矸石的光谱特征差异的原因。结果表明：燃烧使矸石中的Fe2+被氧化为Fe3+。Fe3+的大量增加造成光谱曲线在550nm处形成明显的波谷特征,在整个燃烧过程中生成的玻璃质在750nm处形成高反射率,二者综合造成燃烧和未燃烧矸石的NDGI指数差异。研究结果为煤矿区燃烧和未燃烧矸石的区分识别提供了一种快速、高效、较为准确的实用方法。     

基于XGBOOST的恒星光谱分类特征数值化

恒星光谱分类是研究恒星的基础性工作之一,常用的光谱分类是基于20世纪70年代Morgan和Keenan建立起来的并逐步完善的MK分类系统。然而基于MK规则的交互式决策分类系统对处理海量天文光谱数据存在着一定的困难。目前光谱巡天一般采用的自动化分类则是模版匹配方法而忽略对谱线特征的测量。怎样自动、客观地提取海量光谱中的分类特征并应用这些特征进行分类可以对天体的物理化学性质的统计分析至关重要。针对此问题,通过机器学习和计算光谱的谱线指数结合的方法,提取光谱特征,并通过大数据分析定量地确定对光谱特征谱线的分类判据（数值化）,确定每一类光谱具有物理意义的特征谱线的强度分布。首先对LAMOST DR4恒星光谱测量其谱线指数作为输入,光谱的分类标记采用官方发布的分类结果。使用XGBoost算法进行自动分类及特征排序,从而获得已知或未知的对于分类决策最为敏感的谱线。首先,选取高信噪比（S/N>30）、被LAMOST标记为B,A,F和M的恒星光谱数据,总计约414万个。然后,对光谱数据计算谱线指数从而使其得到降维处理,过滤冗余信息。其次,将处理后的恒星光谱数据随机划分为训练集和测试集,通过适当调整算法参数,用训练集得到所需要的分类决策树模型,用测试集测试其稳定性和可用性,以防止出现过拟合,同时使用算法自带函数进行提取分类特征。最后,输出并整理实验中算法所得的决策树模型,并挑选其概率比较大的分支作为最终的决策树模型。通过实验,可以发现在固定参数下,XGBoost所得的模型有一定的自适应性,较少受数据集影响,总体准确率可达88.5%;同时其所输出的分类决策树与已知的特征较为吻合,而且可以获得基于大数据的、数值化的特征谱线对应分类的范围,为完善基于特征的分类提供定量的规则。     

基于XGBoost的糖尿病血液拉曼光谱定量分析法

血液中包含着大量的生物信息,如激素、酶、血糖等成分,而血糖偏高将引发糖尿病。糖尿病有很多并发症,比如脑梗塞,脑出血,肾脏损害,眼底损害,周围神经病变等一系列疾病。目前,血液常规成分检测分析周期较长,结果反馈较慢,难以实现快速连续检测。光学检测技术能够根据待测物质的光谱鉴别物质化学成分和相对含量,因其灵敏度高、适用性强、分析速度快等优势,在血液无创检测领域逐渐发挥其优势。随着激光技术的不断进步,拉曼光谱技术作为一种非线性散射光谱技术,在血液检测技术中得到了广泛应用。为提高拉曼光谱的预测精度,首次将XGBoost算法应用到拉曼光谱血液血糖浓度中进行预测精度的提升。实验中106组血液样本及试验标准值为河北省秦皇岛市第一医院提供,选用布鲁克的MultiRAM光谱仪进行血液的拉曼光谱数据测量,实验中1 064 nm激发光源功率为400 mW,光谱分辨率为6 cm-1,扫描速率为10 kHz,扫描范围为400～4 000 cm-1,对每个样本重复采集10次并计算平均值作为原始光谱数据,以保证实验的准确性和可重复性。该方法无需对数据进行预处理,首先将光谱数据随机划分为训练集和测试集,比例为7∶3,训练集用于训练模型并确定模型参数,测试集用于测试模型的稳定性和预测精度。建立XGBoost模型后,用网格搜索法和k折交叉验证优化模型参数;引入模型评估指标和克拉克网格误差分析图对XGBoost模型血糖浓度的预测进行分析;最后将XGBoost模型与决策树(DT)、随机森林(RF)和支持向量机回归(SVR)模型进行对比。实验结果表明通过XGBoost建立的定量回归模型效果最佳,模型的决定系数为0.999 99,校正集均方误差为0.007 49,预测集均方误差为0.007 17,相对分析误差为331.973 18,预测点均落在克拉克网格误差分析图的A区。结果证明,将XGBoost算法应用到拉曼光谱血液成分定量分析中具有较高的预测精度,并且数据未经过预处理,可以有效缩短程序运行时间,其在拉曼光谱以及近红外光谱定量分析领域具有广阔的发展前景。     

SVM自助重加权采样的蚕茧雌雄特征波长选择

使用近红外光谱鉴别蚕茧雌雄设备成本较高,挑选有用特征可以减少成本.雌雄蚕茧的近红外光谱存在着共线性的关系,因此提出了一种包裹式的特征选择方法,基于支持向量机的自助重加权采样(BRS-SVM)的特征选择方法.使用NirQuest512近红外光谱仪采集了蚕茧的漫透射近红外光谱.用试验集的全波段建模得到特征重要度热图,并通过...     

主成分分析结合支持向量机辅助激光诱导击穿光谱对塑料快速分类识别

大量废弃的塑料制品给生态环境造成严重破坏,当务之急是要对塑料进行分类回收。传统的分类方法普遍存在成本高,效率低,操作复杂等问题,不能满足工业生产的需要。激光诱导击穿光谱技术由于具备简单灵活,快速灵敏等优点,在物质鉴别领域有广泛应用。采用激光诱导击穿光谱技术结合主成分分析（PCA）和支持向量机（SVM）算法对20种塑料进行分类识别研究。由于目前有关塑料分类识别速率的研究报道较少,该实验在保证识别准确率的前提下,进一步研究和分析实验过程耗费的时间,满足工业生产中快速分类的要求。每种塑料采集100组光谱数据,随机选取50组数据作为训练集建立模型,余下50组作为测试集测试模型的分类识别效果,所以训练集和测试集各有1 000组光谱数据。将训练集的数据不加处理地输入SVM中进行训练,并采用5折交叉验证建立最佳模型,此时测试集的识别准确率为99.90%,建模时间为1小时58分41.13秒,预测时间为11.96 s。由此可见,单纯使用SVM算法可以得到很高的准确率,但是需要耗费大量时间。为了提高实验效率,引入主成分分析算法,将原来的高维数据变换成低维数据,并用降维后的数据训练模型。针对不同的主成分个数,均采用随机训练十次再取平均值的方法获得相关数值。实验表明,当选取主成分个数为13时,得到相应的识别准确率为99.80%,而PCA处理时间为1.44 s,建模时间为12.16 s,预测时间仅为0.02 s。虽然PCA算法结合SVM算法在对20种塑料进行分类识别时准确率有轻微下降,但是大大减少了模型训练的时间,实验效率得到很大程度的提高。结果表明,结合两种算法辅助激光诱导击穿光谱可以对塑料进行快速准确的分类识别。