半监督偏最小二乘法在烟叶近红外感官评价模型中的应用

半监督学习方法可以充分利用大量未标注样本来弥补已标注样本的不足,针对应用近红外光谱建立农产品等复杂体系的分析模型中,存在获得大量精确标注样本较困难,而使用少量标注样本或大量未准确标注样品建模结果不理想的问题,基于半监督自训练理念,提出半监督偏最小二乘(Semi supervised-partial least squares,SS-PLS)方法优化模型。本研究以全国不同产地、不同等级的211份原料烟叶近红外光谱及其对应感官评价数据为例,应用SS-PLS方法优化模型,模型性能较原始模型有显著提高,优化后SS-PLS方法模型的决定系数(R2)达90%左右,建模标定值分布标准差与拟合值标准差的比值(Ratio of Performance to Deviation,RPD)达3.0以上,模型内部交叉验证及预测标准差(Standard error of cross validation SECV以及Standard Error of Prediction,SEP)值达1.0以下;并将原始感官评价数据与SS-PLS优化后的数据,按照固定阈值划分为优、中、差三个等级,应用基于主成分及FISHER准则的投影方法(Projection Model based on Principal Component and Fisher Criterion,PPF)分析得到的结果表明,SS-PLS优化后的分类结果也显著好于原始感官评价数据。SS-PLS可解决使用小样品集建模的数据代表性问题,在获得大量精确标注样本较困难情况下,为建立近红外光谱分析模型提供了一种新的化学计量学方法。     

应用在线近红外光谱分析复烤前后原烟及片烟的质量特性

应用在2012年"中华"专用分拣复烤生产线中采集的7个产地的复烤前原烟和复烤后片烟的在线近红外光谱为试验资料,通过建立不同产地近红外光谱的投影分析模型,并结合方差及相关分析等,研究烟叶复烤前后的均一性及相似性等品质特征的变化,为客观的掌握烟叶原料质量及卷烟产品配方提供技术支撑。本研究结果表明,从数量庞大的在线近红外光谱中,按等间隔采样时间筛选约1万条左右用于建模分析可行,取样代表性充分;经人工分拣、打叶、复烤后的各产地烟叶近红外光谱的均一性提高幅度可达10%~35%,烟叶品质的均质化程度显著提高;同时复烤后各产地烟叶所体现的相似性关系亦发生了变化,从整体上其相似性显著降低,即由产地体现的风格品质差异显著提升,为优质卷烟的原料配方设计提供了更大空间,体现了我国烟草企业生产优质中式卷烟需要消耗大量财力、人力进行烟叶复烤加工的必要性。传统的化学分析等手段需要花费大量的时间和精力,难以对整个加工环节进行控制,近红外光谱技术以其快速、无损的优势,不仅能够实现待测样品成分含量等的实时检测与质量控制,而且应用生产过程中的大量近红外光谱,可以从多角度进行有关产品品质信息的充分挖掘,是一种在众多行业特别是农产品和食品加工行业中极具应用前景的在线分析检测技术。     

近红外光谱主成分-所有可能回归法定量分析烤烟、小麦样品中的组分含量

利用主成分-所有可能回归法,建立了烤烟、小麦样品不同组份的近红外光谱定量分析模型。结果表明,烤烟样品的总糖、还原糖以及小麦样品的蛋白质含量的预测模型均有好的定量分析结果,且其预测结果与PLS法预测结果相当。     

应用近红外光谱和多算法融合方法分析烤烟的香型风格特征

以全国17个主要烤烟产地省份中收集的3 914个烟叶样品的近红外光谱为实验对象,其中浓香型、中间香型、清香型烟叶光谱分别865条、1 403条、1 646条,应用近红外光谱和多算法融合方法分析其香型风格特征。在以产地进行初步划分烟叶香型以及认可过渡型和非典型香型类型的基础上,选取基于主成分及Fisher准则的投影法(PPF)、偏最小二乘判别(DPLS)、支持向量机(SVM)作为单分类器,得到各个算法第1和2判别分析结果;应用PPF-DPLS-SVM融合和各算法第1和2判别分析结果,将预测验证样品的分析结果详细划分为典型、过渡型、非典型香型样品(分别为493,392,115个);其中典型香型烟叶样品的判别准确率达到92.7%,较未进行典型样品划分时PPF,DPLS,SVM单算法的识别准确率分别提高了30.2%,15.4%,16.6%。样品数据来源于全国主要烤烟产地,数据量大,代表性较好,分析结果具有一定普遍性;提出的多算法融合分析方法大幅度提高了通过客观数据判别烤烟香型的准确率;同时,将烤烟香型细划分为典型、过渡型和非典型香型的方式,对烤烟烟叶原料的科学合理利用以及烟叶原料的模块化工业加工等有指导作用。     

应用近红外光谱投影模型法分析烟叶的产区与风格特征

以在2003年—2012年向国内17个主要烤烟产地,五大烟叶生态产区,收集的4 733个烟叶样品的近红外光谱为试验对象, 其中浓香型烟叶光谱1 580条, 清香型2 004条, 中间香型1 149条;应用基于主成分及Fisher准则(PPF)的方法建立烟叶生态产区和风格特征的投影分析模型,以生态产区模型的分析结果阐释了烟叶香型风格划分的合理性,并依据风格特征模型得到的预测样品投影值与模型中各类投影均值之间的欧氏距离,对预测样品给出最近和次近类别及描述风格特征程度的量化分值,结合模型中各类投影值的离散度以及设定阈值,将预测结果细化为典型浓、浓偏中、中偏浓、典型中、中偏清、清偏中、典型清、清透浓、浓透清等9类或超模型范围样品;应用2102在实际复烤生产加工及各烟叶原料基地中收集的不同部位、不同产地的35个烟叶样品验证了分析结果的合理性。该种分析方式,不仅可以实现预测样品的判别分析,并且可得到关于预测样品更细化的风格特征信息,可对烟草工业企业实现原料的跨区组合及叶组配方等提供指导。     

不同傅里叶近红外仪器间(积分球漫反射测量)的模型传递及误差分析

模型传递是近红外光谱分析技术中一个关键的共性基础技术问题,通过在同一工作原理的两台仪器之间寻求可行的数学方法, 使得在一台仪器上建立的模型能够应用于另外一台仪器样品光谱响应的预测,对近红外技术的实际应用具有重要意义。以150份烤烟作为试验样品,以两台布鲁克公司MPA近红外光谱仪,一台热电公司Antaris近红外光谱仪作为研究对象,通过积分球漫反射检测技术获得光谱数据。采用一阶导数(first-order derivative,1st Der)和标准正态变量变换(standard normal variate, SNV)对光谱数据进行处理分析,计算不同仪器间光谱的残差值、残差一阶矩、残差信号概率密度和最大信噪比等参数,并采用偏最小二乘法(partial least squares, PLS)建立烤烟总糖含量数学模型,检验模型传递效果。结果表明,一阶导数具有降低残差一阶矩,将仪器偏差信号转换为标准高斯分布的优点,但同时会降低信噪比。标准正态变量变换同样可以降低一阶矩,同时可大幅度提高信噪比,但无法将仪器偏差信号转换为标准高斯分布,需要进一步的信号处理。一阶导数与SNV相结合可保留两种方法的优点,同时在一定程度上弥补每种方法单独处理的缺点,是一种可以消除以积分球漫反射作为光谱测量方式的因仪器厂家或型号不同、使用年限不同等原因所产生的噪声的处理方法,可实现傅里叶型近红外光谱仪之间的模型传递效果的明显改善。     

近红外光谱结合非负回归系数回归法(配方回归)解析混合样品的组成比例

准确、快速解析混合样品的组成比例对食品、农产品加工过程的质量控制和配方设计具有重要作用。传统的解决方法多是利用大量代表性样品建立统计模型来实现,耗时耗力。以醇类及酸类液体混合样品及其低浓度溶液混合样品(无近红外特征吸收的四氯化碳(CCl₄)为溶剂介质)的透射光谱,以及片状烟叶样品漫反射光谱为例,采用导数和S.G.平滑,结合非负回归系数回归法(配方回归)验证了在一定条件下解析混合样品组成比例的可行性。结果表明,对醇酸类液体透射光谱,根据非负回归系数回归法得到的解析比例更接近于醇酸类液体的实际摩尔比例,与实际摩尔比例的误差在8%以内, 其低浓度溶液的解析效果更优,与实际摩尔比例的误差在4%以内;对片状烟叶的漫反射光谱,根据非负回归系数回归法得到的解析比例与实际质量比例的误差在10%以内;同时,混合样品的实际光谱与理论解析光谱之间均具有高度一致性,F和t检验的结果均在0.01水平上,无显著性差异,从理论上分析了解析比例的可靠性。该方法只需已知几种纯样品的光谱数据,即可解析出混合样品的纯样品组成比例,具有较好应用前景。     

应用近红外光谱投影模型法分析烟叶的部位特征

以自2003年至2012年在国内外主要烤烟产地收集的5 170个烟叶样品的近红外光谱为试验对象, 其中典型上部烟叶光谱1 394 条, 中部2 550条, 下部1 226条;应用基于主成分及Fisher准则(PPF)的方法建立投影分析模型,遵循相邻主成分数下得到的投影结果没有显著性差异和主成分个数尽量少的原则,推荐主成分数为4下建立投影分析模型,模型结果表明：上、下部烟叶的近红外光谱特征具有显著差别,基本实现完全区分;而中部烟叶分别与上部和下部具有一定程度重叠,这与部位本身具有连续性特征的实际情况相符合。同时,依据模型得到的预测样品投影值与模型中各类投影均值之间的欧氏距离,对预测样品给出最近和次近类别及描述部位特征程度的量化分值,并结合模型中各类投影值的离散度以及设定的阈值,将预测结果细化为典型上、上偏中、中偏上、典型中、中偏下、下偏中、典型下等7类或超模型范围样品;应用2012年在实际复烤生产加工中取得的不同部位、不同产地的34个烟叶样品验证了分析结果的合理性。该种分析方式,不仅可以实现预测样品的判别分析,而且可得到关于预测样品更丰富的属性特征信息,可对烟草工业企业实现原料的均值化加工和烟叶配方等提供指导。     

基于烟叶电子鼻-近红外数据融合的支持向量机分类判别烟叶年份（英文）

提出了一种基于烟叶近红外光谱(NIR)和烟叶电子鼻(EN)融合数据的烟叶年份判别的支持向量机分类模型。在NIR和EN数据融合的基础上,利用遗传算法来进行变量选择,再建立烟叶年份判别支持向量机模型,所得到的烟叶判别模型在训练集和独立测试集上都具有较高的准确率。建立的烟叶判别NIR-ESVM模型的建模准确率达到100%,留一法准确率达到98.55%,对未知样本的预报准确率为90%。     

烟叶总还原糖近红外光谱稳健模型的建立及其在多台仪器的长期应用

该文使用基于光谱图像特征抽提的尺度不变特征变换（SIFT）的多步波长筛选方法建立了烟叶总还原糖（TRS）的近红外光谱（NIRS）稳健模型，实现了其在多台仪器的直接共享和长期应用。首先采用SIFT方法根据代表性主机样品光谱挑选特征光谱点集合Uc，然后从Uc中剔除样本光谱标准方差（SDSS）过低的点，挑选重要特征光谱点集合Uic，此两步波长筛选法简称为SIFT-SDSS。随后进一步从Uic中挑选对水分不敏感（Moisture-unsensitive,MUS）的波长点，得到重要且稳定的光谱点集合Uisc，此3步波长筛选法简称为SIFT-SDSSMUS。从2011～2013年采集的292个主机烟叶样品中按TRS浓度区间选择80%样品作为建模集，建立不同波长集合下烟叶TRS的偏最小二乘回归（PLSR）校正模型。结果表明，基于SIFT-SDSS两步波长筛选的光谱点建立的TRS模型传递到6台从机预测另外77个2011～2013年样品的TRS时，所有从机样品的平均相对误差绝对值（MARE）均小于6%，满足企业内控要求。该模型对5台近红外仪上2014～2020年各年度样品、1台近红外仪上2014～201...