并行MapReduce PLS算法及其在光谱分析中的应用

偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。     

ABC_Kmeans聚类算法的MapReduce并行化研究

随着数据的海量增长,数据聚类算法的研究面临着海量数据挖掘和处理的挑战。针对K-means聚类算法对初始聚类中心的依赖性太强、全局搜索能力也差等缺点,将一种改进的人工蜂群算法与K-means算法相结合,提出了ABC_Kmeans聚类算法,以提高聚类的性能。为了提高聚类算法处理海量数据的能力,采用MapReduce模型对ABC_Kmeans进行并行化处理,分别设计了Map、Combine和Reduce函数。通过在多个海量数据集上进行实验,表明ABC_Kmeans算法的并行化设计具有良好的加速比和扩展性,适用于当今海量数据的挖掘和处理。     

基于云计算的并行K-means聚类算法研究

目前数据呈爆炸式增长,海量存储状态,给聚类研究带来了诸如计算复杂性和计算能力不足都很多问题;而云计算平台通过负载均衡,动态配置大量的虚拟计算资源,有效地突破了耗时耗能的瓶颈,在海量数据挖掘中体现出了其独特的优势;文章深入研究了基于云计算平台Hadoop的并行K-means算法,并结合MapReduce分布式计算模型,给出了算法设计的方法和策略,包括MapReduce处理的map、shuffle和Reduce 3个过程,仿真结果表明K-means并行算法的效率较高。     

基于MapReduce的K-means聚类算法的优化

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷,提出了一种基于MapReduce的改进K-means聚类算法。该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者。这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势。     

故障诊断算法在MapReduce中的优化实现

针对故障诊断算法特点,给出了MapReduce框架实现故障诊断算法的基本方法。通过对故障诊断算法和MapReduce运算框架的分析,得出诊断算法MapReduce化的基本方法和思路。在算法研究的基础上,针对非迭代诊断算法,采用传统MapReduce框架实现。针对迭代诊断算法,采用添加了传送模块的迭代式MapReduce框架实现。分别以最近邻法和模糊C均值聚类算法为例,给出非迭代和迭代诊断算法MapReduce化的具体实现。实验结果表明,本文所提基本方法可以运用在故障诊断算法中,为诊断算法MapReduce化提供依据,将MapReduce运用到故障诊断算法中可以有效提升故障诊断效率。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题。针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化。最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

云环境下的高效K-Medoids并行算法

传统聚类算法K-Medoids对初始点的选择具有随机性,容易产生局部最优解;替换聚类中心时采用的全局顺序替换策略降低了算法的执行效率;同时难以适应海量数据的运算。针对上述问题,提出了一种云环境下的改进K-Medoids算法,该改进算法结合密度法和最大最小原则得到优化的聚类中心,并在Canopy区域内对中心点进行替换,再采用优化的准则函数,最后利用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展。实验结果表明,该改进算法与传统算法相比对初始中心的依赖降低,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间。     

双重并行环境下最短路径的研究

并行问题和最短路径问题已成为一个热点研究课题,传统的最短路径算法已不能满足数据爆炸式增长的处理需求,尤其当网络规模很大时,所需的计算时间和存储空间也大大的增加;MapReduce模型的出现,带来了一种新的解决方法来解决最短路径;GPU具有强大的并行计算能力和存储带宽,与CPU相比具有明显的优势;通过研究MapReduce模型和GPU执行过程的分析,指出单独基于MapReduce模型的最短路径并行方法存在的问题,降低了系统的性能;论文的创新点是结合MapReduce和GPU形成双并行模型,并行预处理数据,针对最短路径中的数据传输和同步开销,增加数据动态处理器;最后实验从并行算法的性能评价指标平均加速比进行比较,结果表明,双重并行环境下的最短路径的计算,提高了加速比。     

一种基于Map/Reduce分布式计算的恒星光谱分类方法

天体光谱中蕴含着非常丰富的天体物理信息,通过对光谱的分析,可以得到天体的物理信息、化学成分以及天体的大气参数等。随着LAMOST和SDSS等大规模巡天望远镜的实施,将会产生海量的光谱数据,尤其是LAMOST正式运行后,每个观测夜产生大约2~4万条光谱数据。如此海量的光谱数据对光谱的快速有效的处理提出了更高的要求。恒星光谱的自动分类是光谱处理的一项基本内容,该研究主要工作就是研究海量恒星光谱的自动分类技术。Lick线指数是在天体光谱上定义的一组用以描述光谱中谱线强度的标准指数,代表光谱的物理特性,以每个线指数最突出的吸收线命名,是一个相对较宽的光谱特征。研究了基于Lick线指数的贝叶斯光谱分类方法,对F,G,K三类恒星进行分类。首先,计算各类光谱的Lick线指数作为特征向量,然后利用贝叶斯分类算法对三类恒星进行分类。针对海量光谱的情况,基于Hadoop平台实现了Lick线指数的计算,以及利用贝叶斯决策进行光谱分类的方法。利用Hadoop HDFS高吞吐率和高容错性的特点,结合Hadoop MapReduce编程模型的并行优势,提高了对大规模光谱数据的分析和处理效率。该研究的创新点为：(1) 以Lick线指数作为特征,基于贝叶斯算法实现恒星光谱分类;(2) 基于Hadoop MapReduce分布式计算框架实现Lick线指数的并行计算以及贝叶斯分类过程的并行化。     

监控系统预警视频的分布式检索设计与实现

视频监控系统在日积月累的监控过程中会产生大量的视频信息,如何在海量视频中基于内容快速检索出需要的信息成为亟待解决的问题;文章在视频检索过程中,将视频图像的SIFT特征提取匹配与MapReduce并行模式相结合,同时利用LSH映射对视频图像进行分组并存储在HBase数据库中,在配合并行分析的同时减少了计算量;最后实验证明,采用MapReduce并行模式提取图像SIFT特征值,时间会随着集群节点的增加而不断降低,并最终趋于稳定;由此可知,对基于内容的视频检索采用并行化分析可以显著提高效率,实现了Hadoop架构在视频分析方面的应用拓展。     

基于Matlab分析负荷对多联机IPLV的影响

多联机有其特殊的优点,但是不同部分负荷的组合对IPLV的影响仍需进一步研究。文中建立IPLV与部分负荷的相关公式,运用MATLAB软件分析不同卸载级负荷与IPLV的关系,从而确定不同部分负荷的最优组合。     

Point defects on graphene on metals

Understanding the coupling of graphene with its local environment is critical to be able to integrate it in tomorrow's electronic devices. Here we show how the presence of a metallic substrate affects the properties of an atomically tailored graphene layer. We have deliberately introduced single carbon vacancies on a graphene monolayer grown on a Pt(111) surface and investigated its impact in the electronic, structural, and magnetic properties of the graphene layer. Our low temperature scanning tunneling microscopy studies, complemented by density functional theory, show the existence of a broad electronic resonance above the Fermi energy associated with the vacancies. Vacancy sites become reactive leading to an increase of the coupling between the graphene layer and the metal substrate at these points; this gives rise to a rapid decay of the localized state and the quenching of the magnetic moment associated with carbon vacancies in freestanding graphene layers.     

五边形石墨烯负载Pt单原子稳定性能的应变调控

基于密度泛函理论的第一性原理计算方法,研究了Pt原子在五边形石墨烯(PG)上的吸附与动力学行为.研究结果表明,单个Pt原子在PG上虽然具有较大的吸附能及较高的扩散势垒,却不能够在衬底形成均匀分散的单原子.这是因为,随Pt原子数增加,Pt_n(n=1, 2, 3)在PG上的平均结合能也逐渐增加,更倾向于形成团簇,该发现有效否定了之前的报道称Pt能在PG上形成稳定的单原子催化剂这一结论(Phys. Chem. Chem. Phys. 21, 12201 (2019)).基于此,我们考虑对PG施加双轴应变,随着拉伸应力增加,Pt金属原子间的平均结合能逐渐降低,当拉伸应变施加至12%左右时,单个Pt在衬底上的结合能与Pt₂在衬底上的平均结合能相等,从而实现PG上均匀分散的Pt单原子催化剂.该结果对五边形石墨烯基材料应变调控实现单原子催化剂提供理论借鉴.     

Remarks on KdV-type flows on star-shaped curves

We study the relation between the centro-affine geometry of star-shaped planar curves and the projective geometry of parametrized maps into RP¹. We show that projectivization induces a map between differential invariants and a bi-Poisson map between Hamiltonian structures. We also show that a Hamiltonian evolution equation for closed star-shaped planar curves, discovered by Pinkall, has the Schwarzian KdV equation as its projectivization. (For both flows, the curvature evolves by the KdV equation.) Using algebro-geometric methods and the relation of group-based moving frames to AKNS-type representations, we construct examples of closed solutions of Pinkall’s flow associated with periodic finite-gap KdV potentials.     

基于个性化模型的人眼色差对视功能影响的研究

利用光学设计软件Zemax,对人眼色差对视功能的影响进行了研究.对构建的个性化人眼模型进行离焦、像散和高阶像差矫正的模拟.视觉效果的提高受到了色差的很大限制.在中、高空间频率处,自然光下的调制传递函数约为单色光下的50%.在自然光下,传统视觉矫正能够获得1.2的视力,个性化视觉矫正能够获得1.5的视力,还远远达不到人们所期望的超视觉.     

基于区域增长的图像跟踪算法的研究

为了提高序列图像的跟踪精度,提出了基于区域增长的特征量提取方法。这种方法可捕获图像中所有单连通域,并能准确地提取其特征量,然后依据所提取的特征量设计分类器,实现对图像中所有单连通域进行分类识别并加以跟踪的目的。此算法有效地解决了一般传统识别算法难以区分目标和其近邻区域的干扰,而导致跟踪目标特征量提取不准确的问题。在目标特征提取识别算法的基础上,还提出了阈值预测分割算法,并应用在序列图像的跟踪中,取得了较好效果。     

射频超导腔的低温烘烤研究

射频超导腔在高场下的Q-slope严重影响到高加速梯度的获得.研究表明100—150°C低温烘烤(Bake)对改善超导腔的Q-slope有比较好的效果. 本文在大量超导腔Bake实验的基础上, 对Bake进行了系统的研究. 研究结果显示, 电抛光(EP)超导腔经过Bake后, 平均加速梯度和高Q值(1×10¹⁰)时的加速梯度均增加3.5MV/m以上, 最大加速梯度时的Q值得到增加, Q-slope得到改善. 对Bake温度的研究表明, 在最佳Bake温度范围内, 高的Bake温度能得到相对高的Q值. 对比化学抛光(BCP)和EP超导腔可知, 要得到好的加速性能, 需要60—80μm的EP.超过10—15μm的BCP会使EP超导腔品质下降. 用氧扩散模型对Bake作出了解释.     

基于F-P腔标准具的色散补偿器件的研究

介绍了标准具的结构,分析了基于标准具补偿色散的原理,讨论了该方案在光纤通信系统中的应用前景。