Acquiring multi-spectral images by digital still cameras based on XYZLMS interim connection space

A method based on the XYZLMS interim connection space is proposed to accurately acquire the multi-spectral images by digital still cameras. The XYZLMS values are firstly predicted from RGB values by polynomial model with local training samples and then spectral reflectance is constructed from XYZLMS values by pseudo-inverse method. An experiment is implemented for multi-spectral image acquisition based on a commercial digital still camera. The results indicate that multi-spectral images can be accurately acquired except the very dark colors.     

窄带快照式多光谱成像色彩还原方法

由于兼具光谱分辨和空间分辨能力, 快照式窄带多光谱成像在资源遥感、精准农业、医疗检测等领域将有广泛应用。由于该方法使用窄带成像来提高光谱分辨率及图像对比度,所获得的图像是灰度信息,失去了场景的色彩信息,不便专家对图像鉴别、评价与赏析。已有的色彩还原算法主要针对光谱波段带宽较宽或者多个波段叠加基本覆盖整个可见光谱范围等两种光谱成像仪,不适合窄带多光谱成像方法的色彩还原。该研究适合于快照式窄带多光谱成像的色彩还原方法,提出建立窄带多光谱彩色相机的概念。首先,提出两种窄带多光谱色彩还原方法：(1)基于CIE色度系统三刺激值色的,(2)基于贝尔阵列插值算法的;其次,分别应用两种算法还原快照式窄带多光谱相机所获得的植物、手臂及宫颈组织等三种代表性场景窄带多光谱灰度图像;之后,计算并比较表征两种算法所得的代表性场景彩色图像的均值、方差、熵及梯度等表征图像质量的参数数值,确定出适合快照式窄带多光谱成像的色彩还原方法;最后,对所确定的色彩还原算法进行色偏校正。实验结果表明,基于CIE三刺激值色彩还原方法比贝尔阵列插值法更适用于窄带多光谱成像颜色复原。配合使用CIE三刺激值色彩还原方法及灰度图象校正算法,从窄带光谱成像所获得的植物、手臂皮肤及宫颈组织的灰度图像所还原出的近彩色图像逼近物体真实色彩,满足人眼观察习惯。介绍了仅覆盖可见光光谱范围30%的窄带多光谱图像进行色彩还原的方法,该方法证明快照式窄带多光谱成像可以兼具光谱分辨能力,同时保持可供人主观辨识的色彩信息。所提出实现快照式窄带多光谱彩色成像的方法,有望设计不同于传统RGB相机的彩色相机实施方案。     

基于遗传算法选择多光源下的光谱反射率重构研究

为解决基于RGB三通道信息值重构光谱反射率精度不理想的问题,提出了一种优化的基于RGB三通道信息的光谱反射率重构算法。首先编码产生随机选择多个光源的个体,RGB三通道值通过多项式回归算法预测多个光源下的三刺激值,并采用伪逆法进行多光源下的光谱反射率重构,然后将样本的重构精度作为个体的适应度评估值,以优胜劣汰,适者生存为原则对个体进行选择、交叉、变异操作,最后得到适用于颜色样本光谱重构的多个光源与基于这些光源重构得到的光谱反射率。实验选用Munsell颜色集作为训练样本集,RC24色卡、SG140色卡作为检测样本集,8个标准光源和82个发光二极管光源作为实验光源,采用该算法从90个光源中选取最优的光源组合并重构得到样本的光谱数据,并与Zhang提出的基于穷举法选择的多光源下的光谱重构方法和A光源下的伪逆法进行了重构精度对比。实验结果显示该研究提出的方法随着光源个数的增加,光谱反射率重构精度提高,特别是光源个数增加到3时,光谱重构精度提高的幅度最大。在三种重构方法中,该方法重构RC24的平均色差和平均光谱均方根误差分别为0.332 4和0.002 9,而Zhang的方法与伪逆法的平均色差分别为0.429 3和3.266,平均光谱均方根误差分别为0.029 7和0.004 8;该文方法重构SG140的平均色差和平均光谱均方根误差分别为0.486 2和0.007 3,而Zhang的方法与伪逆法的平均色差分别为0.544 8和3.821 9,平均光谱均方根误差分别为0.035 6和0.013 3。结果表明基于多光源下的光谱反射率重构精度明显优于基于单个光源下的重构精度,而基于遗传算法的多光源选择方法又优于穷举法,它能够根据颜色样本自动寻找到最优光源组合,从而基于最优多光源下的三刺激值重构样本的光谱反射率,提高了光谱反射率重构的精度。     

按波长分区的LCD颜色特征化模型

为了建立液晶显示器颜色计算模型,分别对EIZO CG19, IBM 19, DELL 19和HP 19 LCD显示器进行了通道独立性和颜色叠加性的检验。通过检验单通道和双通道数字驱动值与颜色三刺激值之间的关系可以验证各通道之间的独立性,从而证明了上述显示器的显示色与三原色光谱辐亮度函数之间存在线性叠加关系。实验中发现三原色光谱辐亮度与数字驱动值的关系是波长的非线性函数,提出了一种按波长分区法计算三原色光谱辐亮度函数的方法,用RGB三原色的测量光谱拟合出各波长辐亮度值与数字驱动值之间的三次多项式关系,利用这个关系可计算得到任意数字驱动值对应的三原色光谱辐亮度曲线,然后可按颜色相加关系由三原色光谱辐亮度曲线计算出任意数字驱动值下的显示色。实验结果表明,只需要测量少量几个数字驱动值下的光谱曲线就可以准确计算出任意数字驱动值下的三原色光谱辐亮度曲线,进而计算得到任意混合色的光谱辐亮度曲线,大大减少了测量样品数量。这种计算方法所需的测量样品数量少、计算准确度高,可以满足工业应用的精度要求,能作为LCD显示器颜色特征化的一种方法。     

基于多区间映射评价优选的光谱数据融合显示算法

研究降维、去冗后光谱数据色彩显示问题。传统的光谱数据色彩显示时,常采用截取或压缩至0~1范围进行映射,容易丢失图像细节,提出一种基于多区间平移映射评价优选方法的光谱数据色彩融合显示算法。首先对光谱数据立方体进行主成份变换,将前三成分分别赋值给对色空间的黑白通道、红绿通道和黄蓝通道,然后经过空间变换到sRGB空间,将数据分段平移到0~1范围,映射至8位RGB空间,并对每次平移映射图像进行标准差、熵、平均梯度的单项评价,全部平移结束后,对所有的评价值进行综合评价,选取综合评价值最高的区间输出映射。实验结果表明,融合图像能最大限度地保证图像的能量、信息和清晰度,有利于人眼的快速识别判断。     

局部k最近邻加权线性回归的光谱反射率重建

现实中很多场景都需要精确的颜色表示,如纺织、印刷、艺术品扫描存档、在线商品展示等。光谱反射率是决定物体颜色的本质属性,如果知道了光谱反射率,就可以重现物体在任何光照和观测条件下的颜色。采用专业仪器测量光谱反射率有成本高、分辨率低、测量时间慢等问题。随着数码成像设备的普及,基于相机RGB响应值的光谱反射率重建算法具有重要现实意义。光谱反射率重建的目的是建立低维RGB响应值到高维光谱反射率向量的映射关系,回归方法在这一领域已取得广泛应用。由于光谱反射率向量所处的空间是嵌在高维欧氏空间中的一个低维子流形,在训练样本有限的条件下,传统的全局回归方法不能有效地学习该流形结构,往往导致过拟合,使得学习出来的模型泛化能力较差。局部线性回归方法虽然可以改善全局回归过拟合的问题,但是局部学习方法易受例外点的影响,导致拟合不足。针对这一问题,提出一种基于局部加权线性回归的光谱反射率重建方法,这种方法在一个k最近邻范围约束内,给每个局部训练样本赋予不同的权重,从而有所侧重地利用局部训练样本来估计光谱反射率。实验结果表明,基于局部k最近邻加权线性回归的方法能更有效地利用局部信息,缓解过拟合和拟合不足,更准确地重建光谱反射率。     

Spectral reflectance estimation for electronic endoscope

A method of spectral reflectance estimation for electronic endoscopes is described. A new approach is proposed for the overfitting problem. We use a small training set. Initially, cross-validation is used to select model parameters. Then, for additional validation of the method a color image acquired under the same illumination as the training data is used. This additional color image gives a clear solution for both the estimation of spectra and the estimation of color reproduced from these spectra. Experiments confirm that the method predicts spectral reflectance and colors well. Accurate reproduction of endoscope images in different viewing conditions and under another light source was implemented using this approach.     

Recovery of reflectance spectra from colorimetric data using principal component analysis embedded regression technique

The classical principal component analysis technique is enhanced for reconstruction of reflectance spectra of surface colors from the corresponding tristimulus values under a given set of viewing conditions, i.e., D65 illuminant and 1964 standard observer. In this paper, the number of implemented eigenvectors has been virtually extended from three to six by estimation of another set of tristimulus values under illuminant A and 1964 standard observer. The second set of colorimetric data was predicted by the conventional non-linear regression method and used in the spectral reconstruction to produce a fully determined system in the case of six eigenvectors. The improvement obtained from the proposed modification was examined for the recovery of the reflectance spectra of Munsell color chips as well as ColorChecker DC samples. The performance is evaluated by the mean, maximum and standard deviation of color difference values under other sets of light sources. The values of mean, maximum and standard deviation of root mean square (RMS) errors between the reproduced and the actual spectra were also calculated. Results are compared with those obtained from traditional methods using the principal component analysis (PCA) routine. All metrics show that the suggested method leads to considerable improvements in comparison with the standard PCA approach.     

用神经网络校正微型颜色传感器颜色特性的方法研究

采用光学积分原理设计的光电色度仪器,由于其结构简单、测量速度快、成本低等优点已被广泛地应用在产品的色度检验控制过程中。基于微型颜色传感器的颜色测量仪器也属于光电色度类仪器,由于它不能完全模拟标准色度观察者和标准光源,即不能完全满足卢瑟(Luther)条件,所以其测量值RGB与三刺激值XYZ并不相等,且存在非线性关系。讨论了采用BP神经网络进行微型颜色传感器颜色特性校正的方法,其优点是对仪器的匹配滤色片要求较低,只要在测量软件中增加训练好的校正网络程序,就可以获得准确的颜色三刺激值。     

用于数码显微镜的白平衡校正方法

提出了一种用于数码显微镜的非线性白平衡方法.以标准D65光源光照下孟赛尔色卡每个色块的XYZ三刺激值和所成图像中的RGB值为训练样本,用神经网络建立不同数码显微镜拍摄的RGB输出与XYZ三刺激值之间的关系;再通过Estevens矩阵把XYZ三刺激值转换成人眼感光器所接受到的刺激值,并进行非线性计算;最后把计算结果转换回RGB空间,从而得到白平衡后的图像.实验结果表明,该方法所得的白平衡校正结果更加接近标准白光照射下的图像颜色.在光源色纯度较高的情况下,采用调整通道增益的方法变化幅度较大,而采用本文提出方法结果更加稳定;特别是当光源的色纯度过大使得图像中某个颜色通道的值接近0的时候,用调整三通道增益的方法已经完全失去了校正作用,而采用本文中的非线型方法仍然可以得到好的校正结果.同时,此方法中建立的神经网络模型反映的是成像设备的RGB空间到XYZ空间的转换特性,对于不同的光照条件,此特性不变,因此对于不同光源不需要分别建立神经网络模型.     

基于视感知特征的多光谱高保真降维方法研究

为解决多光谱数据在降维压缩过程中的颜色精度保持问题,提出一种基于人眼视觉感知特征的多光谱数据高保真降维压缩方法(VPCM)。研究首先依据人眼视觉响应的非线性解析特征,成功构建了同时综合人眼光谱特征与色度特征的变换函数,并通过进一步构造的优化函数对其进行修正,以针对不同的样本集找到最佳变换方向,而后利用修正后的视觉特征变换函数对光谱样本集进行空间变换(Γ(S)=C),然后利用主成分分析方法对经视觉特征函数变换后样本集光谱数据进行降维压缩处理,并通过逆变换重构出样本集光谱数据(Γ-1(C)=^S),进行降维评价。实验选取四类具有典型代表性的数据集作为测试样本,分别以D50/2°条件下的CIELab色差和75组典型照明光源(钨丝灯、荧光灯和LED灯)下的平均同色异谱指数(MMI)作为色度主要评价指标,同时对比了Lab-PQR和2-XYZ两种较为先进的光谱降维算法。实验结果为VPCM方法的MMI值最小,其次是LabPQR,而2-XYZ的表现较差;VPCM方法在75组光源下对四组样本集的平均重构色差ΔEab也为最小,且最大样本平均色差及方差均要小于其他两种方法;VPCM方法的重构光谱精度介于Lab-PQR和2-XYZ之间,Lab-PQR的重构光谱精度最高。实验结果显示新方法色度压缩精度整体优于对比的两种方法,在变换参考条件下具有良好的色差稳定性,能够较好的应用于多光谱数据色度高保真压缩。     

用于数码显微镜的白平衡校正方法

提出了一种用于数码显微镜的非线性白平衡方法.以标准D65光源光照下孟赛尔色卡每个色块的XYZ三刺激值和所成图像中的RGB值为训练样本,用神经网络建立不同数码显微镜拍摄的RGB输出与XYZ三刺激值之间的关系;再通过Estevens矩阵把XYZ三刺激值转换成人眼感光器所接受到的刺激值,并进行非线性计算;最后把计算结果转换回RGB空间,从而得到白平衡后的图像.实验结果表明,该方法所得的白平衡校正结果更加接近标准白光照射下的图像颜色.在光源色纯度较高的情况下,采用调整通道增益的方法变化幅度较大,而采用本文提出方法结果更加稳定;特别是当光源的色纯度过大使得图像中某个颜色通道的值接近0的时候,用调整三通道增益的方法已经完全失去了校正作用,而采用本文中的非线型方法仍然可以得到好的校正结果.同时,此方法中建立的神经网络模型反映的是成像设备的RGB空间到XYZ空间的转换特性,对于不同的光照条件,此特性不变,因此对于不同光源不需要分别建立神经网络模型.     

一种离散点插值算法用于重建光谱反射率

提出了一种用离散点插值算法来重建光谱反射率的方法。首先建立数字相机响应值与典型反射样品表面光谱反射率之间的查找表,然后进行Delaullay分区、提取和插值,最后通过数字相机的输出数据来准确地重建物体表面的光谱反射率。实验结果表明,该方法能够重建典型反射样品的光谱反射率,能够实时获取被摄场景的多光谱图像,易于硬件的实现。     

具有颜色恒常性的光谱反射率重建

给定物体三刺激值,重建物体反射率在跨媒体颜色复制领域有着重要应用.常见的重建反射率算法包括基向量法、维纳估计法、加权伪逆方法等,这些方法大多都是为了建立由低维度三刺激值或者RGB向高维度光谱反射率的映射关系,以重建的反射率与原始反射率的接近程度为评价指标,并且需要光谱反射率数据进行训练.但是很多工业领域在产品设计时都需...     

基于主成分分析的光谱重建训练样本选择方法研究

训练样本构成是影响光谱重建精度的一个重要因素,针对学习型光谱重建算法中训练样本选择问题,提出了一种基于主成分分析的训练样本选择方法。为了保证训练样本与重建样本的相似度,首先根据欧式距离最小原则从待选样本集中选择与重建样本相机响应值相似的样本,并去掉其中的重复样本;然后进行主成分分析;设定阈值筛选各主成分系数较大的样本作为训练样本,最后得到与主成分个数相同的训练样本子集。为验证该方法的有效性,通过在镜头前加载宽带滤色片搭建多通道图像获取系统采集多通道图像信息,将得到的各样本子集用作训练样本,利用伪逆法重建光谱信息,最后将重建的光谱精度与常用的训练样本及训练样本选择方法得到的重建光谱精度进行比较。实验结果表明：提出的方法显著提高了光谱重建的色度精度和光谱精度,优于常用的样本选择方法,能较大程度满足高精度颜色复制要求。     

θ调制多光谱照相中可见光与红外图像融合的研究

针对θ调制多光谱照相技术，提出了一种基于小波变换的图像融合及假彩色化新方法，其特点是使用改进的加权平均法融合可见光波段解码图像与红外图像的小波分解低频分量，以局部能量差为测度标准融合高频分量，将融合的图像在RGB空间合成假彩色图像.理论分析和实验结果表明该方法具有良好的融合性能和假彩色效果.     

基于独立成分分析法ICA的多光谱重建

构造了一个6通道,8-bit多光谱相机(MSC)模型作为图像采集装置(包括一个三色数码相机和一个滤光片),在多光谱成像技术基础上,通过模拟相机的数码响应,对物体表面的反射光谱进行重建。由数码相机的响应值得到物体的光谱反射比。使用独立成分分析法来进行数据压缩,光谱重建结果分别用CIE1976色差,光谱反射比RMS误差和反射比相对误差进行评价。20例训练样本的平均CIE1976色差为0.1579,平均反射比均方差为0.0099,平均反射比相对误差为0.0107;12例待测样品的平均CIE1976色差为0.7150,平均反射比均方差为0.0309,平均反射比相对误差为0.0312。结果说明,基于独立成分分析法的光谱重建是一种有效的光谱重建方法。     

基于同色异谱黑理论的非线性复合模型光谱重建研究

同色异谱现象是光谱反射率重建与颜色再现中的一个重要问题。采用三基色CCD相机采集CIE标准光源D65下的颜色样品信号,建立非线性复合模型,使用主成分分析结合神经网络的方法(PCA-NET)改进基于同色异谱黑理论的R矩阵算法,对标准Munsell色卡光谱重建进行研究。在保证给定照明条件下的色度精度同时,对光谱重建的结果进行了实验评价和讨论。实验结果表明,在给定的照明条件下,PCA-NET算法能够准确的拟合相机输出信号与主成分系数之间的非线性关系, 将其代替线性算法应用于R矩阵算法中时,测试集的平均均方根值是未改进R矩阵算法的0.76,平均标准差是R矩阵算法的0.85,可有效提高光谱反射率的重建精度。改进后的R矩阵算法具有精度较高、操作简单易实现的特点, 可用于对重建色度精度及光谱精度均要求较高的领域。     

基于非线性光谱字典学习的单幅RGB图像光谱重建方法研究

针对单幅RGB图像重建光谱图像中的病态问题,提出一种基于非线性光谱字典学习的非线性重建方法。为了适应线性和非线性数据,该方法首先改进了基于自联想神经网络模型的非线性主成分分析算法,并利用其从训练光谱集中学习低维光谱字典,用于光谱重建的求逆方程中,以缓解病态状况。再在此光谱字典基础上,利用阻尼高斯牛顿法结合截断奇异值分解的正则化方法,进一步缓解该非线性反演的病态问题,实现单幅RGB图像重建光谱图像。在实验中,采用Munsell以及Munsell+Pantone两个光谱训练集学习光谱字典,同时利用CAVE和UEA光谱图像库进行光谱重建测试。该方法测试结果与现有方法比较发现,该方法在不同光谱训练集下重建CAVE和UEA两库光谱图像的均方根差的平均值最低,分别为0.212 4,0.255 4,0.229 4和0.294 9,均方根差的标准偏差接近最好方法的效果,分别为0.068 5,0.084 7,0.066 8和0.087 0。此结果表明该方法针对单幅RGB图像重建光谱图像在重建精度和稳定性上均存在优势。     

一种色度自适应投影标记点的选取方法

近年来,对物体的颜色显现力、光源光谱功率分布和自身表面反射光谱三者的定量关系方面的研究备受大家关注。在三维扫描测量领域,由于颜色特征具有反映物体材料和纹理等丰富信息的优势,提出了一种主要由彩色相机、投点光源和PC机组成的色度自适应投点仪结构,其中数字微镜(DMD)作为投点光源的核心元件用于调制R,G,B 三个LED光源的光谱功率分布。然而主动式标记点的颜色显现力因受未知反射光谱投影接受面的影响,其颜色特征往往难以识别和区分。为了提高投影标记点与不同反射光谱的投影接收面作为背景的分辨力,描述了一种色度自适应投影标记点的选取方法。在高维线性反射光谱建模的基础上,用光谱响应的方法对彩色投点仪设备特征化,以解决三通道彩色相机设备特征化精度低的问题。并通过样本训练为高维线性反射光谱的求解提供条件约束。继而,在CIE1931色度坐标空间下,选取与投影接收面背景色度坐标欧氏矩最大的色度坐标点。根据投点仪设备特征化结果,推导其LED最优设定值。最后,采用24孟塞尔色卡作为被投影对象,主动标记点与色块的色差作为其颜色显现力的评价参数,通过与激光二极管投点仪做对比性实验。实验结果表明对各不同色度的投点接受面,提出的色度自适应投影标记点的选取方法均有较好表现。