LAMOST恒星分类模板间相似性度量分析

随着获取和收集天文光谱大数据能力的与日俱增,合理利用计算科学技术正确地分析海量光谱的处理方法及结果统计。前述工作采用了欧氏距离分析判别LAMOST实测光谱与模板之间相似度的研究,研究恒星分类准确性取决于高质量的模板光谱,选取LAMOST光谱在用的分类软件中183个恒星模板光谱,分别利用欧氏距离和马氏距离方法得出A,F,G,K和M型恒星模板间的均值和最大值,完成每条谱线相互之间的相关性分析,找出相对距离较大的模板及形成原因。相似度度量可视化实验数据结果表明模板之间具有一定的区分度,通过马氏距离分析模板间相似性能更进一步辨识出相近模板之间的细微差别,具备较优良的判别效果,证实了LAMOST现有分类的各模板间距离较均匀,且分类结果较为准确。该研究可进一步优化在用光谱分类模板,提升LAMOST恒星分类模板库的精确度和可信度。     

基于局部均值的K-近质心近邻光谱分类

天体光谱包含着许多重要的关于天体的物理和化学信息,如天体表面的有效温度、重力加速度以及化学丰度等,天体光谱的处理和分析对天文研究具有重要的科学意义。一些大型巡天计划的实施(如SDSS,LAMOST等)使我们获得了海量的天文光谱数据,因此天文光谱数据的自动分类成为重要的科学研究课题,然而面对如此海量的光谱数据,一些传统的光谱自动分类方法已经不适用,迫切需要寻找高效率的光谱自动分类技术。研究了基于局部均值的K-近质心近邻(local mean-based K-nearest centroid neighbor,LMKNCN)算法在恒星(Star)、星系(Galaxy)和类星体(Quasar,QSO)的光谱分类中的应用。LMKNCN算法的基本思想是根据近质心近邻原则,从每一类训练样本集中为待测样本点选取k个近质心近邻点,然后根据每一类中所选取的k个近质心近邻点的均值点到待测样本点x的距离来判别x的所属类别。针对美国SDSS-DR8的天体光谱数据,对比了K-近邻、K-近质心近邻、LMKNCN三种算法在恒星、星系和类星体的光谱分类中所表现的性能,结果表明三种方法中,LMKNCN算法对这三种光谱的识别率高于其他两种算法或者与其相当,而且其平均分类正确率高于另外两种算法,特别是在类星体的识别率上表现的更好。表明了该算法对天文光谱大数据的快速处理和有效利用具有重要的意义。     

基于聚类和最佳指数的快速高光谱波段选择方法

最佳指数法是常用的高光谱图像数据波段选择方法,但存在运算时间过长的问题。运用K-means聚类算法,对最佳指数方法进行了改进,提出了聚类最佳指数法,并进行了一系列伪装目标识别的对比实验。实验结果表明,与最佳指数法相比,改进后的方法在保证目标分类精度的前提下,运算速度提高了数十倍;与单纯使用K-means聚类运算相比,不仅运算时间缩短,而且分类精度有所提高。利用改进算法能够在伪装环境下更加快速有效地识别目标。     

基于改进加权欧氏距离的光谱反射率重建样本选择方法研究

获取物体的光谱反射率是准确再现物体在各种光照条件下真实颜色的关键保证,这对纺织服装、出版印刷、网络电商、远程医疗等对颜色有较高要求的行业有重要作用。光谱反射率重建的目的是利用训练样本建立数码相机等通用设备所获取的RGB三色值和光谱反射率高维向量间的映射关系,从而避免使用分光光度计等专业设备所带来的成本高、操作复杂、分辨率低等问题。训练样本的选择是影响光谱反射率重建算法效果的重要因素。从物理角度看,光谱反射率是一条关于波长的光滑曲线,光谱反射率向量最大的相关性特征就是其光滑性,因此,训练样本的选择应同时考虑空间距离和形状的相似性。针对局部学习方法中局部样本选择问题,提出一种能同时考虑光谱反射率向量形状相似和空间距离相近的更加有效的训练样本选取方法,以提高光谱反射率重建的精度。该方法利用待测样本与训练样本之间的加权欧氏距离与向量夹角距离结合后赋予不同权重作为相似性度量,根据样本容量动态地选出相似度较高的样本。实验以孟赛尔半光泽数据集(munsell matte)为样本集,基于伪逆法进行光谱反射率重建,以光谱均方根误差和色差为评价指标,与加权欧氏距离方法从样本选择的有效性和重构精度两方面进行...     

基于穆勒矩阵成像全阵元曲线的癌变组织识别

改进原有背向穆勒矩阵成像装置,采集未染色肺癌、乳腺癌切片,基于穆勒矩阵各阵元的物理含义,借鉴光谱数据生成偏振立方体,纵向提取任意像素全阵元曲线,展示曲线特有的穆勒矩阵信息分析方式。采用夹角余弦曲线分类方法,对照病理标注生成混淆矩阵。其中肺癌、乳腺癌精度可达89.59%、87.82%,高倍率乳腺癌精度为77.52%。全阵元曲线较单一阵元分类准确率更高。本文方法的可视化分析、像素分类、跨尺度特性表明在偏振检测领域有很大的挖掘空间以及应用潜力。     

基于光谱分类和局部DPCM的干涉超光谱数据压缩

为了获得较高的压缩比,针对干涉超光谱图像数据的空间维相关性和干涉光谱维相关性,提出了一种将光谱分类与局部DPCM相结合的联合压缩算法。先对整个光谱数据进行光谱分类,得到一个与二维空间对应的分类号矩阵和一个与干涉光谱对应的光谱类别库,然后利用局部DPCM对光谱类别库进行进一步压缩。分类作为第一步压缩对整个压缩算法的压缩效果至关重要,本文分析了不同分类标准和分类精度下的压缩效果,相对欧氏距离标准优于夹角标准和干涉RQE标准。文中最后选取了合适的分类标准编程实现联合压缩算法并与JPEG2000进行比较,联合压缩算法的压缩效果优于JPEG2000。     

基于谱聚类与类间可分性因子的高光谱波段选择

随着遥感技术和成像光谱仪的发展,高光谱遥感图像的分辨率不断提高,其庞大的数据量在提高其遥感探测能力的同时,也给分析和处理带来了很大的困难。高光谱波段选择可以有效减少数据冗余,提高分类识别精度和处理效率。因此如何从多达数百个波段的高光谱图像中选择出具有较好分类识别能力的波段组合是亟待解决的问题。针对上述问题,采用基于图论的谱聚类算法,将原始高光谱图像中的波段作为待聚类的数据点,利用互信息描述两两波段间的相似度,生成相似度矩阵。再根据图谱划分理论,将相似度矩阵生成的非规范化图拉普拉斯矩阵进行谱分解,得到类间相似度小且类内相似度大的类簇;然后根据地物类型计算各波段的类间可分性因子,将其作为类簇内进一步选择代表性波段的参考指标,达到降维的目的;最后通过支持向量机与最小距离分类方法对波段选择后的图像分类。该方法区别于传统的无监督聚类方法,采用基于图论的谱聚类算法,并根据先验知识计算类间可分性因子来选择波段。通过与自适应波段选择算法和基于自动子空间划分的波段指数算法的对比实验,结果表明：两组实验当聚类数目达到相对最佳时,该波段选择方法支持向量机图像总分类精度达到94.08%和94.24%以上,最小距离分类图像总分类精度达到87.98%和89.09%以上,有效保留了光谱信息,提高了分类精度。     

基于空谱字典的加权联合稀疏表示高光谱图像分类

稀疏表示广泛用于高光谱图像分类任务中。针对字典原子空间信息和光谱信息未得到充分利用的问题,提出了基于空谱字典的加权联合稀疏表示高光谱图像分类算法。计算测试像元与字典原子的空谱联合距离,选择相似度最高的K个字典原子,并将被选择字典原子的超像素邻域扩充到新的字典中,形成空谱字典。在联合稀疏模型中,对测试像元的超像素邻域像元使用不同的权重,在空谱字典上构建加权稀疏表示模型。基于所选的两个高光谱数据集的实验证明所提算法能够有效地提高分类精度。     

改进的 K/S 算法对近红外光谱模型传递影响的研究

在近红外光谱分析模型传递中,常用Kennard/Stone算法(K/S算法)来选择转换集样品。K/S算法是根据样品间光谱的欧氏距离来计算样品间差异的。为了寻求样品间差异的最佳表达方式,用K/S算法选出更有代表性的样品。文章分别用欧氏距离和马氏距离计算混胺样品的光谱差异,用PDS算法传递混胺中二甲苯胺近红外光谱分析模型,通过传递后的预测标准偏差(SEP)评价两种距离的优劣。用性质差异和光谱差异结合的方式计算样品间的差异,并与单独用光谱差异和性质差异的方式进行比较。结果表明,在PDS算法中,马氏距离选出的样品更具有代表性,性质差异和光谱差异的结合更能代表样品间的差异。     

荧光光谱成像技术结合聚类分析及主成分分析的藻类鉴别研究

为探讨快速、实时藻类检测方法,实验通过荧光光谱成像技术结合模式识别方法对不同藻类进行鉴别研究。发现藻类样本存在着显著的荧光特性,通过采集40个藻类样品的荧光光谱图像,对图像进行去噪、二值化处理,确定有效像素后,根据光谱立方体绘制每个样本的光谱曲线,将所得400～720 nm区段范围内的光谱数据作鉴别分析,再利用系统聚类分析及主成分分析两种不同的模式识别法对光谱数据进行处理。系统聚类分析结果表明： 采用欧氏距离法及平均加权法计算样本间的聚类距离,在距离L=2.452以上水平处可将样本正确分类,准确率为100%;主成分分析结果表明： 通过对原始光谱数据进行一阶微分、二阶微分、多元散射校正、变量标准化等预处理后,再对数据进行主成分分析,其中二阶微分预处理后鉴别效果最佳,八种藻类样品在主成分特征空间中独立分布。因此,利用荧光光谱成像技术结合聚类分析法及主成分分析法对藻类进行鉴别是可行的,操作简便、快速、无损。     

地物光谱不确定性及光谱角制图算法适用性研究

地物光谱不确定往往使同种地物光谱之间存在一定程度的差异,影响了地物的识别精度,对光谱角制图算法的地物识别效果也会产生一定的影响。光谱角制图算法(spectral angle mapper,SAM) 是基于光谱曲线整体相似性的一种算法,在高光谱遥感信息分类中应用广泛,但在计算两条地物光谱曲线的相似性时并没有考虑地物光谱不确定性的影响,因此往往会不能正确识别出目标地物。针对地物光谱的不确定性,研究了光谱角制图算法的适用性,并对光谱角制图算法进行了改进。改进的基本思路为：设置测试光谱与参考光谱各波段的光谱差异量为一相同值,并根据同种地物光谱向量之间夹角最小的原则,利用求导的方法求出光谱差异量,以克服地物光谱不确定性的影响。为了验证改进效果,利用USGS的五种高岭石标准光谱,在考虑地物光谱不确定性的情况下,分别选择局部波段和全局波段计算高岭石标准光谱之间的光谱角,并对光谱角计算结果和光谱角制图算法的适用性进行了分析。通过USGS标准矿物光谱数据的实验证明：改进的光谱角度制图算法利用光谱差异量可以有效表征同种地物光谱的差异,能够克服地物光谱不确定性的影响并提高地物识别的精度,对地物光谱不确定性具有更好的适用性,并对基本符合光谱差异向量各维值相等的局部波段组合具有更好的效果。     

净信号的局部建模算法及其在近红外光谱分析中的应用

提出了一种基于净信号分析的局部建模算法,以克服光谱定量分析中样本间差异性过大和样本待测性质与光谱之间存在非线性等问题。首先利用净信号分析方法得到校正样本和待测样本的净信号,然后用待测样本净信号和校正样本净信号之间的欧式距离作为样本相似性判据,选取一定数量的与待测样本最相似的校正样本组成局部校正子集,建立局部PLS回归模型。针对一组猪肉近红外光谱数据集的实验结果表明,该方法的预测精度显著优于全局建模方法和基于光谱欧式距离的局部建模方法。     

A two-phase face recognition method in frequency domain

In this paper, we propose a two-phase face recognition method in frequency domain using discrete cosine transform (DCT) and discrete Fourier transform (DFT). The absolute values of DCT coefficients or DFT amplitude spectra are used to represent the face image, i.e. the transformed image. Then a two-phase face classification method is applied to the transformed images. This method is as follows: its first phase uses the Euclidean distance formula to calculate the distance between a test sample and each sample in the training sets, and then exploits the Euclidean distance of each training sample to determine K nearest neighbors for the test sample. Its second phase represents the test sample as a linear combination of the determined K nearest neighbors and uses the representation result to perform classification. In addition, we use various numbers of DCT coefficients and DFT amplitude spectra to test the effect on our algorithms. The experimental results show that our method outperforms the two-phase face recognition method based on space domain of face images.     

应用近红外高光谱成像技术检测面粉中偶氮甲酰胺

高光谱成像技术不仅可以获得样品的图像信息,每个像素点还包含了光谱信息,因其信息量丰富的特点已在食品安全检测方面得到了应用。该研究应用近红外高光谱成像技术检测面粉中偶氮甲酰胺。分别采集纯偶氮甲酰胺、纯面粉和面粉中10种不同浓度偶氮甲酰胺混合样品的高光谱图像。通过比较纯偶氮甲酰胺和纯面粉的平均漫发射光谱,找到两者区分度较大的4个吸收波段：1 574.38,2 038.55,2 166.88和2 269.91 nm。采用二阶导数对样品图像中的像素点光谱进行预处理,通过光谱角制图、光谱相关角和光谱相关性度量三种光谱相似性分析方法对混合样品中的偶氮甲酰胺像素和面粉像素进行检测。结果表明,预处理后的平均光谱不能有效检测面粉中偶氮甲酰胺;单像素点光谱结合光谱相似性分析实现了混合样品中偶氮甲酰胺像素和面粉像素的分类;分类结果的验证显示了偶氮甲酰胺像素和面粉像素的正确分类。研究结果为利用高光谱技术检测面粉中添加剂提供了方法支持,为食品中掺杂物的检测提供参考。     

基于Top-Hat变换的高光谱吸收特征增强方法

对地物高光谱进行特征分析是高光谱影像用于目标识别和地物分类的基础.基于数学形态学的Top-Hat变换提出了一种光谱吸收峰增强算法.该方法在增强吸收峰的同时还保持了吸收谱带的波形特征.从美国地质调查局USGS光谱数据库选取的11条不同矿物的反射光谱曲线,对其吸收峰增强曲线和原始光谱曲线进行了K-means聚类分析.结果表明:吸收峰增强曲线的聚类结果在波形上和地质背景上都优于原始光谱曲线;且将吸收峰增强曲线的聚类的结果用矿物光谱的ASTER影像采样光谱曲线显示时,能总结出各组矿物的ASTER光谱典型特征.说明吸收峰增强曲线很好地增强了矿物光谱的吸收特征,提高了高光谱的可分性,同时还能为基于多光谱数据的遥感信息提取提供参考,是十分有用的高光谱分析方法.     

一种新的恒星光谱间距离度量方法：残差分布距离

距离度量是光谱巡天数据处理中的一个重要研究内容,其定义了一种不同光谱间的距离计算方法,以此为基础可进行光谱的分类、聚类、参数测量及离群数据挖掘等工作。距离度量方法的好坏在一定程度上影响了分类、聚类、参数测量及离群数据挖掘的效果及性能,同时随着大规模恒星光谱巡天项目的开展,如何针对恒星光谱定义更为有效的距离度量方法成为其数据处理中一个非常关键的问题。基于此问题,在充分考虑到恒星光谱的特点及其数据特征的基础上,提出一种新的恒星光谱间的距离度量方法：残差分布距离。该距离度量有别于传统计算恒星光谱间距离计算方法,利用该方法计算恒星光谱间的距离时,首先将两条光谱归一化到同一尺度下,然后计算对应波长处的残差,以残差谱分布的标准差作为距离度量。该距离度量方法可用于恒星分类、聚类以及恒星大气物理参数测量等应用中。本文以恒星光谱细分类为例来比较检验该距离度量方法,结果表明该方法定义的距离在分类时能更为有效的刻画不同类别光谱间的差距,可以很好的用于相关应用中。同时还研究了信噪比对该距离度量方法的影响：残差分布距离一定程度上受光谱信噪比影响,信噪比越小,对距离的影响越大;在信噪比大于10之后,残差分布距离对分类的影响很小。     

微型快照式窄带多光谱成像宫颈癌筛查方法

白光阴道镜图像对比度较低,不利于医生鉴别不同病变程度组织,也不利于自动化宫颈癌筛查。利用癌变组织富含血红蛋白成分及血红蛋白具有特征波段这一特性,与传统高光谱空间扫描成像及分时获取不同波段多光谱成像方法相反,利用快照式多光谱窄带成像来加速光谱图像获取过程,提升不同病变程度组织之间灰度对比度同时,降低后续图像分析处理算法难度,实现对宫颈组织病变类型高帧率自动化分类。首先,使用微型快照式窄带多光谱摄像方法,在血红蛋白的两个强吸收峰(415±10)和(525±10) nm、一个反射带(620±10) nm和一个背景波段(450±10) nm共四个波段对宫颈组织进行快照式零时差获取四幅窄带光谱图像。而后,对所获取的光谱图像进行简单代数加减,以生成突显病变组织的融合图像,提高不同病变程度组织之间的对比度。最后,使用欧式距离分类算法,对光谱融合图像中不同病变级别进行分类,建立计算机辅助宫颈癌筛查方法。创新点在于实现了高帧率计算机辅助光学病理诊断方法。分别采用临床常规白光阴道镜及微型快照式窄带多光谱摄像对宫颈癌手术切下的新鲜组织进行彩色图像及光谱融合图像的高帧率采集,并使用同一个欧式距离分类算法对两种图像进行自动分类,分类结果都以组织病理诊断作为标准来计算正确率。通过对比两种分类结果正确率来检验光谱融合图像相对于彩色图像是否提升对比度,及其是否可以实现与组织病理诊断(金标准)结果一致的诊断。欧式距离分类算法对光谱融合图像分类准确率接近100%,远高于对白光阴道镜图像约50%的准确率。多位临床医生对基于微型快照式多光谱摄像头光谱融合图像的计算机自动分类结果表示接受。微型快照式窄带多光谱成像方法能有效提升光谱融合图像获取帧率及不同病变程度组织之间灰度对比度,能有效快速地将宫颈组织划分为与组织病理诊断结果一致的病变类型。由于诊断客观、无创伤、结果立等可得,该方法将有助于实现落后地区宫颈癌筛查的普及以及图像导航下的宫颈癌精准治疗手术。     

基于一阶梯度信息的光谱相似度评价方法

目前的光谱相似度评价方法主要基于光谱形状和幅值两种信息,但这两种信息仅仅能体现出光谱的轮廓,并不能很好的反应地物光谱的吸收峰等“指纹”特征,为了更好的体现出光谱特征在评价中的作用,提出了基于一阶梯度信息的光谱相似度评价方法。首先对传统光谱角度匹配度评价方法SAM进行了改进,提出MSAM评价方法,进而提出了调整的梯度光谱角度匹配(MGSAM)法。MGSAM比较了两条光谱曲线的梯度角匹配度,光谱曲线的梯度信息可以突出光谱吸收峰等“指纹”特性的存在,因此MGSAM可以充分体现出两条对比曲线的光谱特征相似度。分析了偏置信息和光谱深度对于MSAM和MGSAM的影响,指出MGSAM对于偏置信息具有更强的鲁棒性,且可以客观地反映出光谱深度差异,进而直观地反映出光电系统或相关算法的光谱特征保真能力。将MGSAM作为评价方法应用到压缩感知光谱成像系统评价中,仿真结果表明,随着采样率的变化,MSAM的值在 0.998~1之间,而MGSAM的值在0.72~1之间,具有明显的变化并具有较大的差异性,可以客观地反映出压缩感知系统对于光谱特征的保真能力,并具有更强的差异化分辨力,为该类系统提供了一个更客观的评价方法。将MGSAM应用到了基于光谱相似度的地物分类中,测试数据选择了Salinas,Pavia和Indian Pines三个公开数据,结果显示基于MSAM的平均分类精度为0.86,基于MGSAM的平均分类精度0.93,由此说明MGSAM可以突出光谱特征在分类中的作用,大大提高了分类精度。     

早M型矮恒星光谱聚类方法与分析

大规模光谱巡天项目如LAMOST等产生了海量极具研究价值的观测数据,如何对此数量级的数据进行有效的分析是当前的一个研究热点。聚类算法是一类无监督的机器学习算法,可以在不依赖于领域知识的情况下对数据进行处理,发现其中的规律与结构。恒星光谱聚类是天文数据处理中一项非常重要的工作,主要对海量光谱巡天数据按照其物理及化学性质分类。针对LAMOST巡天中的早M型矮恒星的光谱数据,使用多种聚类算法如K-Means,Bisecting K-Means和OPTICS算法做了聚类分析,研究不同聚类算法在早M型恒星数据的表现。聚类算法在一定程度依赖于其使用的距离度量算法,同时研究了欧氏距离、曼哈顿距离、残差分布距离和上述三种聚类算法搭配下的表现。实验结果表明：(1)聚类算法可以很好地辅助分析早M型矮恒星的光谱数据,聚类产生的簇心数据和MK分类吻合得非常好。(2)三种不同聚类算法表现不尽相同,Bisecting K-Means在恒星光谱细分类方面更有优势。(3) 在聚类的同时也会产生一些数量较少的簇,从这些簇中可以发现一些稀有天体候选体,相对而言OPTICS适合用来寻找稀有天体候选体。