基于机器学习的玉米单倍体近红外光谱鉴别方法研究

在玉米单倍体技术中,单倍体鉴别是非常重要的环节。该研究对大量玉米单倍体与杂合二倍体的近红外透射光谱进行分析,以期建立一套在生产上实用的单倍体鉴别模型。通过采集三组遗传背景不同的玉米单倍体与杂合二倍体籽粒光谱,进行不同机器学习算法对比,光谱预处理建模效果比较,以及分析数据集大小对模型构建的影响。对比所有单倍体与杂合二倍体的平均光谱,发现二者在光谱的吸收峰位置基本相同,但是单倍体的吸光度略高于杂合二倍体,尤其是在波长940～1 120 nm以及1 180～1 316 nm这两段谱区差异较大。在构建的几个模型中,采用偏最小二乘法和神经网络算法的模型单倍体鉴别准确率较高,分别为93.26%和95.42%。测试集验证的结果与模型准确率一致,表明两种算法适宜进行单倍体大规模筛选。利用偏最小二乘法模型比较了不同光谱预处理方法的模型效果,发现仅进行移动窗口平滑预处理原始光谱进行建模准确率最高。对不同大小数据集的建模效果对比发现,在一定范围内增大数据集有助于提高模型准确率。而且数据中单倍体所占比例较高时,单倍体预测召回率可达100%。此外,还根据籽粒颜色标记挑选出不易鉴别的单倍体和杂合二倍体,利用偏最小二乘法构建的机器学习模型预测准确率可达93.39%,显示出近红外鉴别单倍体的优势,即有可能在不依赖籽粒颜色的情况下实现准确鉴别。基于机器学习的近红外单倍体鉴别方法具有较高的准确率,而且该方法还能在后期数据增加的基础上不断优化,对其开展理论研究有望为自动化智能鉴别单倍体创造条件。     

基于近红外光谱技术的小麦条锈病和叶锈病的早期诊断

为实现小麦条锈病和叶锈病的早期诊断,利用近红外光谱技术结合定性偏最小二乘法(DPLS)建立了一种鉴别这两种病害的方法。试验将150片小麦叶片(健康叶片、条锈病潜育叶片、条锈病发病叶片、叶锈病潜育叶片、叶锈病发病叶片各30片)分为5类,扫描获得近红外光谱,建立小麦叶片DPLS近红外光谱鉴别模型。原始光谱数据经二阶导数处理后,在4 000～8 000 cm-1范围内,当利用不同建模比建模时,建模集的平均识别率为96.56％,检验集的平均识别率为91.85％,证明了模型的稳定性。当建模比为2∶1、主成分数为10时,模型识别效果较好,建模集的识别准确率为97.00%,检验集的识别准确率为96.00%。表明应用近红外光谱技术建立的小麦条锈病和叶锈病早期诊断的定性鉴别方法是可行的。     

近红外影像诊断的物理基础和乳腺癌的早期诊断

乳腺癌的早期诊断是提高妇女生活品质、降低死亡率的重要环节.作为乳腺癌主流诊断技术的钼靶软X射线诊断(mammography)对人体具有射线损伤,而近红外影像诊断(CDI)是无损伤、可反复检查的新诊断技术,但假阳性率偏高,目前受到医学界的质疑.文章从影像诊断的物理基础入手,讨论了癌症病变组织的生长、转移和血管分布异常对于近红外光透过率的影响,分析了CDI的优缺点,并从理论上得出了该技术满足影像诊断三要素的结论.文章作者还评述了市场竞争因素对于这一技术发展的影响,最后简单提及物理学在与生命科学交叉领域的研究课题和发展机会.     

近红外影像诊断的物理基础和乳腺癌的早期诊断

乳腺癌的早期诊断是提高妇女生活品质、降低死亡率的重要环节.作为乳腺癌主流诊断技术的钼靶软X射线诊断（mammography）对人体具有射线损伤,而近红外影像诊断（CDI）是无损伤、可反复检查的新诊断技术,但假阳性率偏高,目前受到医学界的质疑.文章从影像诊断的物理基础入手,讨论了癌症病变组织的生长、转移和血管分布异常对于近红外光透过率的影响,分析了CDI的优缺点,并从理论上得出了该技术满足影像诊断三要素的结论.文章作者还评述了市场竞争因素对于这一技术发展的影响,最后简单提及物理学在与生命科学交叉领域的研究课题和发展机会.     

近红外光谱分析技术

介绍了近红外光谱分析技术的工作原理,阐述了其数学模型的建立及分析过程,总结了现有常用的化学计量学方法及各自的优点,最后简单的概括了近红外光谱分析技术的应用,尤其是在制药方面的应用.     

基于近红外光谱和支持向量机的子宫内膜癌早期诊断研究

近红外光谱结合化学计量学方法对癌症的辅助诊断已有了文献报道.该文测定了77例不同生理阶段的子官内膜组织病理切片的近红外光谱,对其分别进行多元散射校正(MSC)、正交信号校正(OSC)以及二者联用的预处理方法,采用拉丁配分法选择3/4样本作为训练集,1/4样本作测试集,建立支持向量机(SVM)模型进行分类,并与基于同样预...     

基于近红外光谱和支持向量机的子宫内膜癌早期诊断研究

近红外光谱结合化学计量学方法对癌症的辅助诊断已有了文献报道.该文测定了77例不同生理阶段的子官内膜组织病理切片的近红外光谱,对其分别进行多元散射校正(MSC)、正交信号校正(OSC)以及二者联用的预处理方法,采用拉丁配分法选择3/4样本作为训练集,1/4样本作测试集,建立支持向量机(SVM)模型进行分类,并与基于同样预处理方法建立的偏最小二乘(PLS)模型分类结果进行了比较.SVM对正常、增生和癌变三类不同的组织样品分类结果较好,总分类正确率约92%,好于PLS模型的结果(最高正确率90%).研究结果表明,光谱数据的预处理和建模方法对分类结果有重要影响,SVM结合子宫内膜组织的近红外光谱有望发展成为一种新型的肿瘤诊断方法.     

基于近红外光谱技术和人工神经网络的玉米品种鉴别方法研究

提出了一种采用近红外光谱技术结合人工神经网络对玉米品种进行鉴别的方法。在3 800～10 000 cm-1(波长1 000～2 632 nm)范围内采集四种玉米单粒完整籽粒的近红外漫反射光谱,经Savitky-Golay平滑和多重散 射校正预处理后,对数据进行主成分分析,再结合人工神经网络技术进行品种鉴别。主成分分析表明,前8个主成分的累积贡献率达到99.602%。以前8个主成分作为网络输入,品种类型作为输出,建立三层LMBP神经网络模型。每个品种 各取30粒共120个样本用于建模,10粒共40个样本用于预测。模型对建模集120个样本鉴别率为100%,对预测集40个样本的鉴别率为95%。实验结果说明该方法能快速无损地鉴别玉米品种,为玉米的品种鉴别提供了一种新方法。     

基于近红外光谱技术的秸秆工业分析

工业分析是生物质热化学工程技术中的一项常规应用分析。文章探讨了近红外光谱技术(NIRS)在秸秆工业组成分析上的应用,并利用近红外光谱技术预测了秸秆中挥发分和固定碳含量。利用Foss 6500光栅型近红外光谱仪在1 108～2 492 nm光谱范围内分别对直接切短秸秆样品中水分、灰分、挥发分和固定碳以及干燥粉碎样品中灰分、挥发分和固定碳的近红外光谱建立了预测模型。对于直接切短秸秆样品,水分、灰分、挥发分和固定碳校正模型外部验证的R2_V(SEP)分别为0.92(0.76%),0.94(0.84%),0.88(0.82%)和0.75(0.65%)。干燥粉碎样品中灰分、挥发分和固定碳的近红外光谱模型外部验证的R2_V(SEP)分别为0.98(0.54%),0.95(0.57%)和0.78(0.61%)。实验结果表明,近红外光谱技术能实现秸秆的快速分析和多组分同时测定, 从而可降低秸秆工业分析的成本。     

近红外光谱的数据预处理研究

进行了小麦样品近红外光谱数据的预处理研究,一般仪器记录的样品近红外光谱数据中包含有一系列噪声和干扰信号,因此适当的预处理是进行后续光谱定标、建模及模型传递的基础,对可靠地获得准确分析结果具有很重要的作用。结合小麦样品蛋白质含量近红外光谱分析工作,对由近红外光栅光谱仪和傅里叶变换近红外光谱分别记录的66种小麦样品光谱数据,采用高斯一阶、二阶导数小波变换方法进行了预处理。对比常用的一阶差分预处理,证明高斯函数导数小波变换方法是十分有效、实用的,预处理后光谱曲线非常光滑、噪声消除效果明显,富含有用光谱分析信息的区域更加清晰显示,因而非常有助于后续的光谱定标、建模和模型传递工作。     

基于无监督可能模糊学习矢量量化的近红外光谱生菜品种鉴别研究

为解决模糊学习矢量量化(FLVQ)对噪声数据敏感问题,在无监督可能模糊聚类(UPFC)基础上提出一种无监督可能模糊学习矢量量化(UPFLVQ)算法。UPFLVQ用UPFC的隶属度和典型值来更新学习矢量量化网络的学习速率,计算类中心矢量。UPFLVQ 属于无监督机器学习算法,适用于无学习样本情况下的样本分类。研究了UPFLVQ用于近红外光谱生菜品种鉴别的可行性。采用FieldSpec@3型便携式光谱分析仪获取波长范围为350～2 500 nm的三种生菜样本的短波近红外光谱和长波近红外光谱,然后采用主成分分析(PCA)进行近红外光谱的维数压缩,取前三个主成分,累计可信度达97.50%,将2151维的近红外光谱压缩为三维数据。再运行模糊C-均值聚类(FCM)至迭代终止,并以FCM的类中心作为UPFLVQ的初始聚类中心,最后运行UPFLVQ得到隶属度和典型值以实现近红外光谱的生菜品种鉴别。同时,运行UPFC进行近红外光谱的生菜品种鉴别。实验结果表明：UPFLVQ和近红外光谱技术相结合的模型具有检测速度快,鉴别准确率高,对生菜不造成损坏等优点,可实现不同品种生菜的鉴别。UPFLVQ是将UPFC和FLVQ相结合的聚类算法,利用UPFLVQ建立近红外光谱的生菜品种鉴别模型时无需学习样本,适用于线性可分的数据聚类,为快速和无损地鉴别生菜品种提供了一种新的方法。     

油页岩含油率近红外光谱原位分析方法研究

为实现油页岩含油率的原位检测,采用便携式近红外光谱分析技术,针对吉林扶余油页岩基地2号钻井的66个岩芯样品开展了原位检测的分析建模方法研究。采用自制便携式近红外光谱仪器获得反射率、吸光度、K-M函数三种数据形式光谱数据,结合主成分-马氏距离(PCA-MD)剔除异常样品、无信息变量消除法(UVE)波长筛选及二者组合的四种建模数据优化方法,采用相同的数据预处理方法进行偏最小二乘(PLS)和反向传播神经网络(BPANN)两种方法的建模分析研究,确定最佳分析模型及方法。结果表明(1)不论是否采用四种不同的数据优化方法,两种建模方法所用建模数据库适合采用反射率或K-M函数的光谱数据形式;(2)两种建模方法,采用四种不同的数据优化方法,对相同数据库建模精度的影响不同：采用PLS建模方法、以PCA-MD和UVE+ PCA-MD两种方法进行数据优化、可以提高K-M函数光谱数据形式数据库的建模分析精度,采用BPANN建模方法、以UVE、PCA-MD 与UVE组合的 三种方法进行数据优化、对三种数据形式数据库的建模精度均有所提高;(3)除以反射率光谱数据并进行PCA-MD数据优化外,采用BPANN方法的建模精度好于PLS法。其中采用反射率光谱数据形式、只进行UVE数据优化外的BPANN建模精度最高,预测相关系数为0.92、标准偏差为0.69%。     

基于近红外光谱判断分析煤种的鉴别研究

煤种信息为煤炭质量评价、进出境税收征管提供技术支撑。传统煤种鉴别方法需测定煤炭样品干燥无灰基挥发分、低煤阶煤透光率、粘结指数、恒湿无灰基高位发热量等指标,能耗大,检测周期长,不利于口岸快速通关。基于不消耗化学试剂、快速、低成本等优势,采用近红外光谱鉴别煤种受到广泛关注,但目前还未有针对全球不同产地来源煤炭的煤种鉴别应用,煤炭近红外光谱特征与煤种的相关关系仍有待挖掘。采集了来自澳大利亚、俄罗斯、印度尼西亚等9个国家410批进口煤炭代表性样品,涉及褐煤、烟煤和无烟煤3个煤种,对比分析了不同煤种煤炭样品的漫反射近红外光谱特征,发现不同煤种煤炭样品近红外光谱在吸光度、光谱斜率、特征峰上存在差异。结合样品成分信息、X射线衍射、近红外光谱进行数据挖掘,发现近红外光谱吸光度与煤炭中固定碳含量呈正相关,光谱斜率与煤炭芳构化呈负相关,煤炭芳构化增加导致长波长方向的吸收系数增大,光谱斜率变小,光谱特征吸收峰主要为水分和有机物质含氢基团的特征信息,特征峰强度取决于煤炭中水分和挥发分含量。采用主成分分析（PCA）进行数据降维,光谱变量从1 557个降到394个,对前10个主成分进行逐步判别,筛选出PC1,PC2,PC3,PC4,PC6,PC7,PC8,PC9和PC10代替原始数据作为模型输入变量,建立煤种鉴别的Fisher判别分析模型,建模样品验证准确率为98%,交叉验证准确率为97.8%,测试样品验证准确率为99.1%。PCA载荷图表明：PC1和PC2主要与煤炭挥发分含量相关,其次是水分含量。判别函数1（57.7%）与PC1的相关性最强,判别函数2（42.3%）与PC2的相关性最强,说明不同煤种中挥发分含量和水分含量的差异是近红外光谱进行煤种鉴别的内在依据。     

基于近红外光谱技术的瓶装醋定性检测

采用近红外光谱直接对四种瓶装醋进行检测,并与比色皿检测方法获得的谱图进行了比较。结果发现,两种检测方法获得的谱图在近红外区域有明显差别,瓶装醋在1 480和1 900nm附近无吸收峰,而在1 660nm附近有一吸收峰,明显区别于比色皿检测获得的谱图;瓶装醋检测获得的吸光度最大值不超过4,而用比色皿所测值约为6,说明玻璃包装对其检测有一定的影响。本研究采用一阶导数法来消除此影响,并用主成分-神经网络方法建立了瓶装醋的定性分析模型,模型预测精度达到100%,表明一阶导数可以消除玻璃包装对瓶装醋近红外检测的影响,实现定性分析的目的。     

基于粪便可见-近红外反射光谱的高山麝慢性肠炎诊断

提出了一种利用粪便可见-近红外反射光谱进行高山麝慢性肠炎诊断的新方法。以FieldSpec？3地物光谱仪采集了125份高山麝粪便（正常粪样70份,慢性肠炎患者粪样55份）的光谱数据,将其随机分成训练集（95份）和检验集（30份）。光谱经S.Golay平滑与一阶导数处理后以主成分分析法（PCA）降维。以前6个主成分（含原始光谱95.16%的特征信息）作为新变量,利用训练集样本,分别以模糊模式识别、BP-神经网络、Fisher线性判别以及Bayes逐步判别四种方法建立高山麝慢性肠炎的诊断模型。对检验集30个未知样的预测表明,Fisher线性判别的准确率为86.7%,模糊模式识别与BP-神经网络模型判别的准确率为90%,Bayes逐步判别的准确率最高,达93.3%。进一步分析发现所有误诊都源于将正常样误判为病样,四种方法对病样的检出率均达100%。说明利用粪便的可见-近红外反射光谱进行高山麝慢性肠炎的快速、非接触性诊断是可行的,且PCA 结合Bayes逐步判别是一种优选方法。     

可见-近红外多光谱数据对水稻种子成活率的判定

种子活性受到存储条件的影响很大。收集了真实情况下受到不同存储条件影响的种子,通过发芽实验验证了其成活率存在差异。再从中选择适量的种子样本,采集其单颗种子的可见-近红外反射光谱,运用不同的光谱预处理技术,结合不同的机器学习建模手段,以区分不同成活率的种子。比较了不同的光谱预处理方法,比如标准反射光谱校正、多元散射校正等。从识别准确度的角度,认为标准反射光谱校正的方法,能够很大程度上提升不同存活率种子的光谱差异性,从而经过机器学习判断达到更高的识别准确度。同时比较了支持向量机、 K邻近和距离判别分析等机器监督学习建模方法,发现利用标准反射光谱校正的方法结合距离判别分析,能够对种子样本实现完全准确的判定。更进一步,为了满足实际运用中快速识别的要求,将高分辨率的光谱数据压缩成为低分辨率多通道带通光谱数据,这样可以大大降低的光谱数据长度,节约各种机器学习器在训练和判断中所用的时间。使用简化过后的多通道带通光谱数据判定种子存活率,其识别准确度仍然接近90%。充分说明了,利用多通道宽带光谱数据,并选择合适的机器学习建模方式,足以满足实际选种产业的一般性需求,有潜力作为未来粮种成活率快速鉴别的技术手段。还采用了多种带通宽度以简化光谱,分析比较不同带通宽度对识别精度的影响。总体来说由于带宽增大,数据量减少,识别速度更快,但是识别精度降低。从10~50 nm改变光谱带宽,标准反射校正后的简化光谱的识别精度从87.50%下降到58.75%。在实际运用中,需要权衡识别速率和预期识别精度,合理的选择带宽。验证了根据简化后的可见近红外反射光谱,能够较快速且准确的识别水稻种子存活率,为以后的基于带通滤波片的快速种子存活率识别奠定了基础。     

氯化钠近红外光谱检测技术研究

氯化钠(NaCl)近红外光谱分析在生物医学上有着重要的意义。钠离子(Na+)是人体血液中电解质的主要成分,而电解质有助于维持身体的酸碱平衡。采用近红外光谱技术测量氯化钠浓度,在分析钠离子近红外光谱检测机理的基础上,选定波长建立了NaCl浓度线性回归预测模型,同时为了减小温度对水吸收的扰动,使用选定光谱区建立偏最小二乘(PLS)非线性回归模型。结果表明所建立的非线性校正模型决定系数(R2)=99.82%,交叉验证均方误差(RMSECV)=14.5,剩余预测偏差(RPD)=23.7。完全满足日常生化检测精度要求,该技术可以应用于医院实验室钠离子浓度定量分析。