基于近红外光谱技术和机器学习的乳腺癌原位诊断研究

近红外(NIR)光谱,可提供样本丰富的结构和成分信息。机器学习主要用于数据的分析和挖掘,可以对数据进行精确分类和信息提取。本研究采用自研的NIR光谱探针技术进行乳腺癌组织的原位光谱采集并进行癌变(光谱)分析;运用基线校正(BC)、标准正态变量变换(SNV)、一阶导数二阶多项式21点Savitzky-Golay平滑(1^(st)-2-21SG)和二阶导数三次多项式25点Savitzky-Golay平滑(2^(nd)-3-25SG))四种方法进行光谱预处理;结合机器学习方法,包括主成分分析(PCA)、K最近邻(KNN)、Fisher判别分析(FDA)及支持向量回归(SVR),进行乳腺癌变和癌旁组织的分类和判别。研究发现PCA-KNN模型的最优预测结果为基于BC+SNV,其准确率、敏感性及特异性达88.34%、98.21%、76.11%。PCA-FDA模型的最优结果为基于BC+1^(st)-2-21SG,其准确率、敏感性及特异性达90.00%、98.21%、79.54%。SVR模型的最优结果为基于BC+2^(nd)-3-25SG,其准确率、敏感性及特异性达90.00%、100.00%、79.55%。论证了机器学习方法结合NIR光谱可以实现小样本量乳腺癌的高效精确诊断。     

大米拉曼光谱不同预处理方法的相近产地鉴别研究

用相近产地的大米代替独有的地理因素形成的地域品牌大米,消费者难以辨别。基于拉曼光谱技术,试验对比不同预处理方法包括一阶导数+平移平滑、二阶导数+平移平滑,小波变换+去除基线三种常用的预处理方法,另外提出一种改进的分段多项式拟合+去除基线共四种预处理方法,分别结合偏最小二乘法实现相近产地大米的鉴别分析,提出一种最佳的鉴别相近产地大米的预处理方法。首先用拉曼光谱仪采集了黑龙江省依安县3个相近产地大米的150个拉曼位移为200～3 100 cm-1的大米光谱样本,再对原始拉曼光谱分别用一阶导数+平移平滑、二阶导数+平移平滑、小波变换+去除基线、分段多项式拟合+去除基线进行光谱预处理。分别从每个产地选取33个样本进行训练,并对未知的51个样本建立了基于偏最小二乘法的鉴别分析模型,在训练集中一阶导数+平移平滑的预处理方法相关系数值最大、均方误差和均方根误差最小,小波变换+去除基线的预处理方法相关系数值最小、均方误差和均方根误差最大;在测试集中采用3点2次拟合+去除基线的预处理方法的相关系数值最大、均方误差和均方根误差最小,二阶导数+平移平滑的预处理方法最差。最后再通过PLS建模结果得知,在训练集中,采用四类九种预处理的方法对三个产地大米的总识别率均为100%;在测试集中,采用3点2次拟合+去除基线对三个产地大米总识别率为100%,采用5点2次拟合+去除基线对三个产地大米总识别率为52.9%,其他分段多项式拟合介于二者之间;采用一阶导数+平移平滑、二阶导数+平移平滑和小波变换的总识别率分别为88.2%,86.2%和96.1%;从中发现,分段式多项式拟合中的3点2次拟合+去除基线的优势明显,与其相关系数、均方误差、均方根误差结果吻合,总体识别率高,鉴别效果稳定。     

中红外光谱的进口木材树种识别方法

基于支持向量机和马氏距离探索了中红外光谱分析识别进口的卢氏黑黄檀、风车木、微凹黄檀、燃料紫檀和东非黑黄檀的能力。应用中红外光谱仪采集了500组试验样本进行分析,对试验数据进行了预处理:首先,为了保证样本的有效性,对异常光谱进行了诊断。基于莱特检验法诊断出卢氏黑黄檀和微凹黄檀各有2组异常,风车木、燃料紫檀和东非黑黄檀各有1组异常。为使样本数量统一,五种树种分别剔除了包含异常光谱在内的5组数据;其次,分析了近红外光谱的树种识别研究,结果表明:对光谱数据进行一阶导数处理,可提高识别的精度。因此,对中红外光谱数据进行了平滑处理和一阶导数处理。采用主成分分析提取了光谱数据的特征值,测试集的第一和第二主成分得分的散点图显示,平滑加一阶导数处理的测试集的各自聚类性较平滑处理好。以主成分的得分为特征,基于支持向量机和马氏距离进行了识别研究。考虑到识别方法中主成分个数的选取会直接影响识别的精度,而通常主成分的选取仅参考累计贡献率,此处为使主成分的选取更科学,在支持向量机识别方法中利用粒子群算法进行参数寻优时,对主成分的个数(范围为[5, 30])与5折检验下的最佳判别准确率的关系进行了试验,结果表明:平滑处理和平滑加一阶导数处理的主成分个数在[7, 11]范围内的5折检验下的最佳判别准确率较高,结合对应的判别准确率,确定了最佳的主成分个数为8个。以前8个主成分作为输入变量,基于支持向量机和马氏距离对测试集进行了测试,结果得出:两种识别方法的正确识别率均较高,支持向量机的识别率略高于马氏距离,平滑加一阶导数处理的识别率均优于平滑处理,平滑加一阶导数处理的支持向量机正确识别率达到了98%,识别效果最好。因此,中红外光谱分析可以作为木材树种识别的一种有效手段。     

高光谱图像和叶绿素含量的水稻纹枯病早期检测识别

基于高光谱成像技术和化学计量方法,实现了对水稻纹枯病病害的早期检测识别。以幼苗时期的水稻植株为研究对象,对其进行纹枯病病菌侵染,获得染病植株,采集358～1 021 nm波段范围的高光谱图像,三次实验共240个样本,包括染病植株120个样本和健康植株120个样本。根据高光谱图像的光谱维,对染病水稻叶片和健康水稻叶片提取感兴趣区域（ROI）,利用感兴趣区域的光谱数据,对其进行Savitzky-Golay（SG）平滑、Savitzky-Golay（SG）一阶求导、Savitzky-Golay（SG）二阶求导、变量标准化（SNV）和多元散射校正（MSC）预处理,建立线性判别分析（LDA）和支持向量机（SVM）分类模型,结果表明：采用SG二阶求导预处理后的线性判别分析（LDA）模型取得了较好的性能,正确识别率在建模集达98.3%,在预测集达95%;利用载荷系数法（x-loading weights, x-LW）对原始光谱和5种预处理的光谱数据进行特征波长提取,然后根据选取的特征波长建立线性判别分析（LDA）和支持向量机（SVM）分类模型,其中采用SG二阶求导预处理后提取的12个特征波长的线性判别分析（LDA）模型取得了较好的性能,其正确识别率在建模集达97.8%,在预测集达95%,而且基于载荷系数法建立的模型性能与全波段相当,可以通过载荷系数法减少数据量对水稻纹枯病病害进行识别;根据高光谱图像的图像维,研究了基于图像主成分分析、基于概率滤波和基于二阶概率滤波的图像特征提取方法,利用提取的特征变量建立反向传播神经网络(BPNN)和支持向量机（SVM）分类模型,其中基于图像主成分分析的反向传播神经网络（BPNN）模型取得了较好的性能,建模集准确识别率达90.6%,预测集的准确识别率达83.3%;根据高光谱图像光谱维和图像维的最优模型,特将叶绿素含量作为建模的另一个特征,分别与光谱特征、图像特征组合,建立反向传播神经网络（BPNN）和线性判别分析（LDA）模型,提出基于光谱特征加叶绿素含量、图像特征加叶绿素含量和光谱、图像特征加叶绿素含量三种组合方式,其中,光谱特征和图像特征分别与叶绿素组合的方式比之前单独的光谱和图像特征建模性能都有所提升,而且三种组合方式中光谱特征加叶绿素含量的反向传播神经网络（BPNN）建模方式取得本研究所有建模方式中较优的性能,其准确识别率在建模集达100%,在预测集达96.7%。以上研究表明,基于高光谱图像和叶绿素含量对水稻纹枯病病害进行早期识别是可行的,为水稻病害的早期识别提供了一种新方法。     

优化Savitzky-Golay滤波器的参数及其在傅里叶变换红外气体光谱数据平滑预处理中的应用

对傅里叶变换中红外光谱数据的平滑预处理中,通常采用Savitzky-Golay滤波器的方法进行光谱数据的平滑预处理,然而Savitzky-Golay滤波器的多项式拟合阶次和窗宽等参数的合理选则始终是一个难题,并无统一的选择依据,通常在一定数值范围内,采用多组数据进行遍历尝试,最终选择一组相对较优的数据作为Savitzky-Golay滤波器的多项式拟合阶次和窗宽参数。文中探索了Savitzky-Golay滤波器的多项式拟合阶次和窗宽等参数的优化选取这一问题,并对其主要频率指标参数与多项式拟合阶次和窗宽等参数进行了定性定量分析,得出了截至频率、阻带起始点频率、第一旁瓣峰值频率及第一旁瓣峰值幅度与窗宽和阶次之间具体的计算方程表达式。随后,根据采集的中红外气体组分的光谱数据特征,依据上述计算方程式,优化计算选取多项式拟合阶次和窗宽分别为8和11时,其Savitzky-Golay滤波器的中红外气体组分的光谱数据平滑效果最优。最后通过实际采集的0.1%, 0.2%, 0.5%, 1%, 2%, 5%浓度的CH₄光谱数据进行平滑预处理,在次吸收峰区域,原始光谱的折算吸光率相对最大误差和最小误差分别为17.230 5%和0.243 0%, 平滑处理后的光谱的折算吸光率相对最大误差和最小误差分别为0.088 0%和0.020 6%。可见经过Savitzky-Golay滤波器进行所探索的光谱数据预处理之后其相对误差基本稳定,并且相对较低,为后期光谱数据的准确定性和定量分析奠定了基础。     

近红外光谱快速鉴别不同产地药用植物重楼的方法研究

重楼属植物极具药用价值,野生资源主要分布在我国西南省区。应用近红外漫反射光谱,以贵州、广西和云南三个不同产区的70份野生药用植物重楼为研究对象进行产地鉴别。采用多元信号校正、标准正态变量、一阶导数、二阶导数、Norris平滑和Savitzky-Golay滤波六种方法,对训练集(50份样品)原始光谱进行优化处理。结果表明,多元信号校正结合二阶导数和Norris平滑预处理光谱效果最好。采用光谱标准偏差选择光谱波段(7 450~4 050cm-1),结合主成分-马氏距离(principal component analysis-mahalanobis distance,PCA-MD)建立分类模型,前三个主成分累计贡献率、R2、RMSEC和RMSEP分别为89.44%,97.58%,0.179 6,0.266 4,预测正确率90%;采用变量重要性图选择光谱波段(7 135.33~4 007.35cm-1),结合偏最小二乘判别分析法(partial least square discrimination analysis,PLS-DA)建立判别模型,前三个主成分累计贡献率、R2、RMSEC和RMSEP分别为89.28%,95.88%,0.234 8,0.348 2,预测正确率为100%。比较两种方法的结果可知:采用变量重要性图方法选择光谱波段结合偏最小二乘判别分析法建立的判别模型能更准确地鉴别不同产区的重楼,该方法的建立为中药材真伪和品质评价奠定基础。     

木材种类的近红外光谱和模式识别

木材的种类识别是木材加工和贸易的一个重要环节,传统的木材种类识别方法主要有显微检测法和木材纹理识别法,其操作繁琐,耗时长,成本高,不能满足当前需求。本研究利用木材的近红外光谱(NIRS)结合模式识别方法,以期实现木材种类的快速准确识别。采用近红外光谱结合主成分分析法(PCA)、偏最小二乘判别分析法(PLSDA)和簇类独立软模式法(SIMCA)三种模式识别对58种木材进行种类鉴别研究;5点平滑、标准正态变量变换(SNV)、多元散射校正(MSC)、Savitzky-Golay一阶导数(SG 1st-Der)和小波导数(WD)五种光谱预处理方法用于木材光谱的预处理;校正集和测试集样品的正确识别率(CRR)用于模型的评价。采用PCA方法,通过样品的前三个主成分空间分布图分辨木材种类的聚类情况。在建立PLSDA模型,原始光谱的正确识别率最高,分别为88.2%和88.2%;5点平滑处理的光谱校正集和测试集的CRR分别为88.1%和88.2%;SNV处理的光谱校正集和测试集的CRR分别为84.4%和84.5%;MSC处理的光谱校正集和测试集的CRR分别为83.1%和84.2%;SG 1st-Der处理的光谱校正集和测试集的CRR分别为81.8%和82.7%;WD(小波基为“Haar”,分解尺度为80)处理的光谱校正集和测试集的CRR分别为87.3%和87.2%。可知,在PLSDA模型中,木材光谱未经预处理种类识别效果最后好。在建立SIMCA模型过程中,原始光谱的校正集和测试集的CRR分别为99.7%和99.4%;5点平滑处理的光谱校正集和测试集的CRR分别为100%和100%;SNV处理的光谱校正集和测试集的CRR分别为99.5%和99.1%;MSC处理的光谱校正集和测试集的CRR分别为99.0%和98.4%;SG 1st-Der的光谱校正集和测试集的CRR分别为81.8%和82.7%;WD处理的光谱校正集和测试集的CRR分别为100%和100%。可知,在SIMCA模型中,木材光谱经平滑和小波导数处理后的识别效果最好,且光谱的校正集和测试集CRR都为100%。采用三种模式结合五种不同的预处理方法对木材近红外光谱进行定性建模识别时,由于木材样本属性复杂,主成分分布图相互交织,PCA无法识别出58种木材;原始光谱的PLSDA模型可以得到较好的判别模型,但校正集和测试集的CRR只有88.2%和88.2%;木材光谱经过5点平滑或WD预处理后的SIMCA模型可达到最好的识别效果,校正集和测试集的CRR均为100%,且WD-SIMCA模型因子数比5点平滑SIMCA模型小,模型更为简化,故WD-SIMCA为58种木材种类识别的最优模型。研究表明光谱预处理方法可以有效的提高木材种类识别精度,有监督模式识别方法SIMCA可以用来建立有效的木材识别模型,近红外光谱结合模式识别可以为木材种类的识别提供一种快速简便的分析方法。     

空间分辨光谱和可见/近红外光谱的番茄颜色等级判别

比较分析空间分辨光谱和单点可见/近红外光谱（可见/短波近红外光谱和中波近红外光谱）对番茄颜色的识别能力。根据番茄表面和内部颜色将600个样品分为6个等级（green, breaker, turning, pink, light red和red）。分别利用新型空间分辨光谱系统（550~1 650 nm）,可见/短波近红外光谱仪（400~1 100 nm）和中波近红外光谱仪（900~1 700 nm）采集番茄的空间分辨（spatially-resolved, SR）光谱和单点可见/近红外（SP Vis/NIR）光谱,建立番茄等级的偏最小二乘判别（PLSDA）模型,比较其对番茄颜色等级的预测效果。结果表明, SR光谱组合可在最佳单一SR光谱基础上进一步提高番茄颜色的识别能力,对番茄表面颜色和内部颜色的识别率可分别达到98.8%和84.6%。光源-检测器距离较近的SR光谱对番茄表面颜色的识别有帮助,而光源-检测器距离较远的SR光谱能较好的判别番茄内部颜色。SP NIR光谱在对番茄表面颜色判别中与SR光谱具有一定可比性,其分类准确率可达到95%,但SP Vis/NIR光谱在对番茄内部颜色识别中具有较低的分类准确率,分类结果远不如SR光谱,说明SR光谱比SP Vis/NIR光谱对番茄颜色的判别更具潜力。     

甘蔗初压汁锤度近红外光谱分析的波段优选

用近红外透射光谱技术和偏最小二乘法建立甘蔗初压汁锤度的定量分析模型。用多元散射校正和Savitzky-Golay平滑化方法对原谱、一阶导数谱和二阶导数谱进行预处理。选取400—1100nm、1100—1400nm、1550—1850nm、2100—2350nm以及全谱（400—2500nm）5个波段,每个波段分别采用原光谱、一阶导数谱、二阶导数谱。同时调整Savitzky-Golay平滑点数和PLS因子数,通过多次PLS数值实验比较,按照预测效果确定每个模型的最优平滑点数、因子数,再从中选优。结果表明,采用二阶导数谱的1550-1850nm波段的定标效果最好,模型的预测相关系数、预测均方根偏差、相对预测均方根偏差分别为0.896,0.406,1.95%。1550—1850nm波段可以代替全谱波段得到好的定标效果,为设计小型专用近红外分析仪器提供依据。     

基于Savizky-Golay多项式的三维荧光光谱的曲面平滑方法

平滑处理是光谱分析中常用的预处理方法.在二维光谱分析中应用广泛的Savizky-Golay多项式曲线平滑方法并不能直接应用于三维荧光光谱的曲面平滑.文章针对三维荧光光谱提出了多项式平滑方法,从而将Savitzky-Golay多项式平滑方法扩展到三维荧光光谱,以解决曲面平滑问题.对基于三维荧光光谱的水体有机污染物浓度检测...     

近红外光谱结合随机森林算法：一种快速有效的附子产地溯源策略

可靠的原产地认证方法对于保护指定产地的高价值中药材（例如道地药材、地理标志产品等）至关重要。附子作为著名的传统中药和川产道地药材，疗效显著，临床应用广泛，在国内外市场需求量很大。不同产地的附子疗效和价格有所不同，大众很难通过传统经验进行准确鉴别，基于植物代谢组学模式下的质谱检测技术，测试样本制备过程繁琐冗长、操作复杂、检测时间长，且重现性偏低。近红外光谱作为一种成熟、快速、无损的检测技术，被机器学习集成后为中药材在线质量监管和控制带来新途径。基于近红外光谱技术结合随机森林算法建立了一种不同产地附子无损鉴别模型。在四川、陕西和云南等主要栽培区域共采集了255份附子样本，采用傅里叶变换近红外光谱获得所有样本的漫反射光谱信息。采用单一和组合光谱预处理方式以消除光谱中的多种干扰，并筛选出最佳预处理方式，以此为输入指标建立随机森林模型。采用灵敏度、特异度和平衡精度等指标评价了模型的综合性能。结果表明：Savitzky-Golay平滑+多元散射校正为最佳预处理方式；仅采用全波长数据，RF模型对3组省级的样本的预测准确率超过了90%，预处理后预测准确率达98.39%；对于市/县一级样本，RF模型同样具有优秀的判别能力，准确率大于75%。模型对道地产区周边栽培区域的样本，识别率达100%。过滤出前100个特征波数，重新优化模型，模型对各市/县级区域的识别精度超过85%，尤其是对一些产自高原样本的识别能力得到了明显提升。研究中采用了环境友好型溯源策略，分析速度更快，样品损失更少，精度更高，为不同产地附子快速、高效的鉴别提供了新模式，为后续附子及其相关炮制品的鉴别和溯源提供了参考。     

Near-infrared (NIR) spectroscopic evaluation of articular cartilage: A review of current and future trends

This review describes recent developments and applications of near-infrared (NIR) spectroscopy for characterization of articular cartilage integrity. It summarizes the research findings in this area and presents some spectral ranges and peaks associated with the different properties and components of articular cartilage. We further describe recent adaptations of NIR spectroscopy for clinical evaluation of articular cartilage injury and degeneration. Critical to accurate decision-making during repair surgery is having clear knowledge of lesion severity and spread, and how to grade the quality of surrounding cartilage. Thus, in this review, we detail efforts aimed at quantification and classification of cartilage pathology using NIR spectroscopy. Finally, we present open questions and challenges with a view to guiding future directions in NIR spectroscopy research on articular cartilage.     

煤粉发热量近红外光谱检测的预处理方法研究

煤炭的发热量是评价煤炭品质的重要指标。首先对比分析了平滑处理、微分处理、多元散射校正(MSC)以及标准归一化(SNV)等光谱与处理方法在改善煤粉近红外漫反射光谱信噪比的效果,然后利用偏最小二乘法(PLS)和主成分分析方法(PCR)分别对采用每种预处理方法处理后的光谱建立煤粉发热量模型,发现采用5点平滑处理、多元散射校正和标准归一化处理可使模型的性能有较明显的改观,5点平滑效果最好,相关系数、校正标准差和预测标准差分别为：0.989 9,0.0004 9和0.0005 2,采用25点平滑处理产生了过平滑现象,导致模型的性能变坏,采用微分预处理后的光谱建立的模型没有明显变化,对模型的性能影响不大。     

Evaluation of water content by spatially resolved transverse relaxation times of human articular cartilage

Non-invasive assessment of cartilage properties, specifically water content, could prove helpful in the diagnosis of early degenerative joint diseases. Transverse relaxation times T(2) of human articular cartilage (34 cartilage slices of three donors) were measured on a pixel-by-pixel basis in a clinical whole body MR system in vitro. In vivo feasibility to measure quantitative T(2) maps was shown for human patellar cartilage. The relaxation times of cartilage with collagen in the radial zone oriented perpendicular to the magnetic field increased from approximately 10 ms near the bone to approximately 60 ms near the articular surface. Cartilage water content of the tibial plateau and femoral condyles could be determined from the correlation with T(2) (R(2) = 0.71) with an error of approximately 2 wt.%. In vivo, directional variation would need to be considered. If confirmed in vivo, T(2) measurements could potentially serve as a non-invasive tool for the evaluation of the status and distribution of water content in articular cartilage.     

T2 relaxation time measurements in osteoarthritis

Quantification of changes in T(2) relaxation time, in human cartilage, with progression of osteoarthritis (OA), and evaluation of qualitative correlations with clinical evaluation, histology and polarized light microscopy (PLM). Cartilage-bone plugs were harvested from fresh cadaveric knees (n = 10) and specimens after surgical knee replacement (n = 2) at 12 locations, including lateral and medial sides of tibia, femora and patella. Magnetic resonance imaging was performed at 1.5 Tesla using a.2D spin echo sequence. Histological slices were assessed for OA severity through a grading scale based on combined histological and PLM results. T(2) values in clinically moderate OA were generally higher than in severe OA and normal cartilage. Significant association was established between normal and early OA subjects and T(2) variation, in the medial compartment of the knee (p < 0.05) but especially in the medial tibial cartilage (p < 0.00005). As expected, medial and lateral tibio-femoral compartments underwent more severe degeneration. Additionally, there were intracompartmental variation of the relaxation times and histological patterns, which demonstrate the underlying focal involvement of OA in the knee. Furthermore, T(2) values reflected OA pathogenesis with a positive correlation with histology grading scale. Finally, increased T(2) is correlated to histological degeneration of cartilage and may be a good marker for early OA in tibial articular cartilage.     

基于可见-近红外光谱的植物叶绿素含量无损检测方法研究

叶绿素含量是植物营养胁迫、光合作用能力和生长状况的良好指示剂。实时、可靠的作物营养诊断是进行科学施肥管理的基础,也是实施精细农业的关键技术之一。文章提出了一种应用可见-近红外光谱技术检测植物叶绿素含量的方法。采用透反射测样方式获取了植物叶片的可见-近红外光谱,并对获得的500～900 nm光谱数据进行平滑、一阶微分以及小波变换等预处理,然后采用偏最小二乘法(PLS)建立了植物叶片叶绿素含量与叶片吸收光谱的定量分析模型,最后利用该模型对预测集样本进行预测。预测集中样本的预测值与标准值之间的相关系数为0.93,预测均方根误差为1.1 SPAD。实验结果表明,利用可见-近红外光谱检测叶片叶绿素含量是可行的,这对今后实现快速无损检测植物叶绿素含量具有重要的指导意义。     

子宫内膜癌组织近红外光谱预处理与波段选择研究

应用近红外光谱技术对子宫内膜组织病理切片进行快速无损检测。收集了154样品光谱,其中正常样本的个数36个,增生的60个,癌变的58个。由于原始光谱中包含大量干扰信息,所以光谱预处理方法和波段选取的方法在近红外光谱分析中占有非常重要的地。利用多种预处理方法,包括一阶导数、多元散射校正、多项式最小二乘拟合求导、标准归一化、平滑、移动窗口中值滤波,对样品光谱进行了预处理。利用标准偏差谱来选取最优波段,选取的最优波段范围为4 000~6 000 cm-1。然后用处理后的光谱数据进行主成分分析,分类准确率达到100%。研究结果表明近红外光谱技术结合化学计量学方法可以作为一种癌症快速诊断的新技术,对于癌症的早期诊断和癌症组织的恶化过程研究具有重要的意义。