基于强影响度的近红外奇异样本识别算法研究

校正样本选择以及奇异样本剔除对于近红外光谱定量和定性建模非常重要。现有的识别奇异样本的方法一般都基于数据重心估计,需要一个经验的判断阈值,在很大程度上限制了其识别准确性和实用性。针对现有方法奇异样本识别准确率低的问题,改进了一种现有度量尺度-杠杆值,构造出一种新的基于强影响度的奇异样本识别算法。这种度量尺度在一定程度上减少了对数据重心的依赖,使正常样本更加聚集,拉开了奇异样本与正常样本的距离;同时,为了避免人工根据经验设定阈值的不合理性,引入统计学领域中跳跃度的概念,提出了一种自动阈值设定方法判别奇异样本。为了验证该算法的有效性,利用马氏距离、杠杆值-光谱残差法与该算法分别对200个代表性校正集样本中的异常样品进行剔除,然后通过偏最小二乘法(PLS)对剩余的校正集样本(以烟碱为指标)定量建模,并对60个代表性测试集样本进行预测,以交互验证均方根误差(RMSECV)、相关系数(r)和预测均方根误差(RMSEP)为评价指标比较各算法的优劣。实验对比结果表明,基于强影响度的奇异样本识别算法较现有方法明显提高了奇异样本识别的准确率,具有较低的RMSECV(0.104),RMSEP(0.112)以及较高的R(0.983),提高了模型的稳定性和预测能力。     

基于特征分层选择和融合度相结合的近红外光谱多类识别度量算法研究

针对高维空间下获取最优特征子集异常复杂和模型识别准确率较低的问题,提出了基于特征分层选择和融合度相结合的近红外光谱多类识别度量算法。首先引入跳跃度,构造了一种特征分层方法,将所有特征依据对样本的重要性程度划分不同的特征子集,从而避免了从原始特征数据逐个剔除无关特征构建特征子集的繁琐过程;同时又改进了样本的融合度,将其代替K最近邻分类器(KNN)中依据概率进行类别判断的方式,提高了分类器的识别精度,较好地解决了多类识别准确率较低的问题。为验证该算法的有效性,选取五类具有代表性382个烟叶样品为实验对象,构建了烟叶产地识别度量模型,并选取64个样本进行了模型测试,以预测均方根误差(RMSEP)、交互验证均方差(RMSECV)和相关系数(r)作为模型稳健性的评价指标,以产地识别准确率作为算法优劣评价标准。仿真实验结果表明,利用该算法构建的模型具有较低的RMSEP(0.117),RMSECV(0.106)和较高的r(0.973),平均识别准确率达到98.44%,性能明显优于其他算法,该算法对于高维光谱数据具有良好的识别性能。     

基于随机森林结合博弈论的特征选择算法在近红外光谱分类中的应用研究

针对近红外光谱中的噪声和冗余信息导致分类模型识别率低的问题,提出了随机森林结合博弈论的特征选择算法。该算法首先根据随机森林对特征重要性进行度量,优选出对分类具有一定相关性的特征;然后利用改进的夏普利值结合互信息计算优选特征的权重,从加权后的特征集合中去掉冗余得到最优特征子集。为了验证算法的有效性,将其应用于烟叶产地识别模型,实验结果表明,该文所提出的特征选择算法对烟叶产地识别效果较好,分类识别率可达95.88%。     

基于Wasserstein散度的t-SNE相似性度量方法研究

近红外光谱具有高维、高冗余、非线性的特性,严重影响了样本之间的相似性度量的精准,故而提出了一种基于Wasserstein散度的t分布随机近邻嵌入算法(Wt-SNE)。基于流形学习算法思想,利用高斯分布将高维数据的距离转换为概率分布,使用更加偏重长尾分布的方式t分布表示低维空间中对应数据点的概率分布。将高维数据的概率分布嵌入映射至低维度空间,重构低维流形结构,引入Wasserstein散度度量两个空间内概率分布的差异,通过降低散度值来提高两个分布的相似度,以此来实现高维数据降维处理。为验证Wt-SNE算法的有效性,首先对烟叶近红外光谱数据进行降维投影,并与PCA、 LPP、 t-SNE算法比较,结果表明Wt-SNE算法降维后的数据,在低维空间内样本类别边界更加明显。其次,采用KNN、 SVM和PLS-DA分类器对降维后的数据进行烟叶产地预测,准确率分别为93.8%、 91.5%、 92.7%,表明降维后的数据不仅重构了原始光谱的空间结构而且保留了样本间的相似度关系。最后,选取某一卷烟叶组配方中的烟叶进行单料目标烟叶的替换,根据备选样本与目标样本之间的马氏距离选取替换样本。实验表明,Wt-...     

改进S/B算法的近红外光谱模型转移

针对模型转移中S/B算法对于非线性问题的局限性,在传统S/B算法进行线性拟合、偏最小二乘法求参数的基础上加以改进,提出了引入变量的高次幂、使用Lagrange插值法与Newton插值法求待定系数和插值多项式来解决两组数据的非线性问题。为了验证改进算法的有效性,先对主机样品建模并分别预测主机和子机样品,然后通过实验数据和评价指标,筛选出最佳函数关系进行子机模型校正,并分别用改进的S/B算法和传统的S/B算法对子机未知样本进行预测。实验结果表明：直接用主机原模型对子机预测的值与真实值差距较大,利用改进的S/B算法(H-S/B)比传统的S/B算法预测值更接近真实值。改进的S/B算法提高了预测值的准确性,解决了传统S/B算法的非线性问题,实现了更好的模型转移效果,增强了网络化模型应用的通用性。