并行MapReduce PLS算法及其在光谱分析中的应用

偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。     

基于GPU计算的并行PLS算法研究与实现

偏最小二乘算法(PLS)是与红外、近红外光谱分析结合使用最为广泛的化学计量学算法,然而当前PLS算法通常采用单线程方式实现,当校正模型数量多或样本数量大、波长点数和主成分数较多,模型需对光谱预处理和波长选择方法反复优化时,计算十分缓慢。为大幅提高建模速度,该文提出了一种基于图形处理器(GPU)的并行计算策略,利用具有大规模并行计算特性的GPU作为计算设备,结合CUBLAS库函数实现了基于GPU并行的PLS建模算法(CUPLS)。利用近红外光谱数据集进行性能对比实验,结果表明CUPLS建模算法较传统单线程实现的PLS算法,加速比可达近42倍,极大地提升了化学计量学算法的建模效率。该方法亦可用于其它化学计量学算法的加速。