基于MapReduce的K-means聚类算法的优化

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷,提出了一种基于MapReduce的改进K-means聚类算法。该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者。这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势。     

ABC_Kmeans聚类算法的MapReduce并行化研究

随着数据的海量增长,数据聚类算法的研究面临着海量数据挖掘和处理的挑战。针对K-means聚类算法对初始聚类中心的依赖性太强、全局搜索能力也差等缺点,将一种改进的人工蜂群算法与K-means算法相结合,提出了ABC_Kmeans聚类算法,以提高聚类的性能。为了提高聚类算法处理海量数据的能力,采用MapReduce模型对ABC_Kmeans进行并行化处理,分别设计了Map、Combine和Reduce函数。通过在多个海量数据集上进行实验,表明ABC_Kmeans算法的并行化设计具有良好的加速比和扩展性,适用于当今海量数据的挖掘和处理。     

并行MapReduce PLS算法及其在光谱分析中的应用

偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。     

基于云计算的Apriori挖掘算法

MapReduce是云计算技术主流的分布式计算模型,它充分利用计算机集群的处理能力;能对大规模数据进行高效的挖掘分析;在研究MapReduce模型架构的基础上,将云计算技术与数据挖掘技术结合在一起,提出了基于MapReduce模型的Apriori算法;该算法对事务集和项集进行双重二进制编码,只需"与"运算和"或"运算,提高了模式匹配和连接的效率;试验结果表明,该算法执行效率比传统集中式Apriori算法有很大幅度的提高。     

Hadoop云平台下的基于用户协同过滤算法研究

随着互联网的高速发展,海量新闻的个性化推荐成为一个重要课题,针对海量新闻的个性化推荐算法进行研究,以MapReduce的并行方法设计了基于Hadoop云平台下的协同过滤算法,利用MapReduce的并行方法,将传统的协同过滤算法并行化,并详细说明了并行化步骤和实现细节。最后用实验结果验证了改进的并行化的协同过滤算法在运行速度和执行效率方面有明显的提高,更适合处理大数据。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式。但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性。针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法。采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决。通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

基于MapReduce的贝叶斯网络参数学习方法

期望最大化(Expectation Maximization,EM)算法常被应用于贝叶斯网络参数学习过程,但在处理海量数据时由于迭代计算过程的复杂性和处理器、内存等资源的限制,该算法的效能受到极大影响;通过对大数据环境下传统线性贝叶斯网络参数学习方法计算复杂性瓶颈问题的研究,提出了基于MapReduce平台的贝叶斯网络并行期望最大化(Parallel Expectation Maximization,PEM)参数学习算法;利用不完备训练样本集,对态势评估贝叶斯网络进行参数学习;仿真结果表明:在大数据条件下PEM算法能够准确的学习网络参数,同时有效减少参数学习所需时间且具有较好的可拓展性。     

基于云环境下的海量大数据存储系统设计

云计算是目前国际和国内新兴的一项热门技术,正在给人们的生产生活方式带来深刻的变革;在分布式文件系统中,为了实现数据的可用性和持久性,数据通常被分割成大小相同的文件块,通过多副本的形式分布存储在不同地理位置;大型的云计算服务提供商拥有自己的数据中心,这些数据中心往往分布在世界的不同角落,数据以副本的形式分布在不同的地理位置可以实现更好的容错机制,从而提供高可用的持久化的数据存储;文章主要研究了海量大数据存储系统设计,系统设计以Hadoop为平台,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

基于迭代式MapReduce的FCM算法实现

针对模糊C均值聚类(Fuzzy c-Means Clustering, FCM)算法聚类过程迭代的特点,采用迭代式MapReduce模型对FCM算法进行了优化实现。Map函数计算每个样本到聚类中心的隶属度,Reduce函数接收Map函数的中间输出计算新的聚类中心,传递模块将最新聚类中心传送给原Map任务所在节点,供新一轮MapReduce job使用。迭代式MapReduce模型在MapReduce基本模型上添加了传递模块,有效解决了基本模型在处理迭代问题上存在的不足。在Hadoop平台中,分别使用基于迭代式MapReduce和MapReduce基本模型的FCM算法对变压器进行故障诊断。实验结果表明,基于迭代式MapReduce的FCM算法诊断速度达到了基于MapReduce基本模型算法诊断速度的12倍以上,误判率降低了12%~15%,有效提升了FCM算法的诊断效率。     

一种基于Map/Reduce分布式计算的恒星光谱分类方法

天体光谱中蕴含着非常丰富的天体物理信息,通过对光谱的分析,可以得到天体的物理信息、化学成分以及天体的大气参数等。随着LAMOST和SDSS等大规模巡天望远镜的实施,将会产生海量的光谱数据,尤其是LAMOST正式运行后,每个观测夜产生大约2~4万条光谱数据。如此海量的光谱数据对光谱的快速有效的处理提出了更高的要求。恒星光谱的自动分类是光谱处理的一项基本内容,该研究主要工作就是研究海量恒星光谱的自动分类技术。Lick线指数是在天体光谱上定义的一组用以描述光谱中谱线强度的标准指数,代表光谱的物理特性,以每个线指数最突出的吸收线命名,是一个相对较宽的光谱特征。研究了基于Lick线指数的贝叶斯光谱分类方法,对F,G,K三类恒星进行分类。首先,计算各类光谱的Lick线指数作为特征向量,然后利用贝叶斯分类算法对三类恒星进行分类。针对海量光谱的情况,基于Hadoop平台实现了Lick线指数的计算,以及利用贝叶斯决策进行光谱分类的方法。利用Hadoop HDFS高吞吐率和高容错性的特点,结合Hadoop MapReduce编程模型的并行优势,提高了对大规模光谱数据的分析和处理效率。该研究的创新点为：(1) 以Lick线指数作为特征,基于贝叶斯算法实现恒星光谱分类;(2) 基于Hadoop MapReduce分布式计算框架实现Lick线指数的并行计算以及贝叶斯分类过程的并行化。     

Point defects on graphene on metals

Understanding the coupling of graphene with its local environment is critical to be able to integrate it in tomorrow's electronic devices. Here we show how the presence of a metallic substrate affects the properties of an atomically tailored graphene layer. We have deliberately introduced single carbon vacancies on a graphene monolayer grown on a Pt(111) surface and investigated its impact in the electronic, structural, and magnetic properties of the graphene layer. Our low temperature scanning tunneling microscopy studies, complemented by density functional theory, show the existence of a broad electronic resonance above the Fermi energy associated with the vacancies. Vacancy sites become reactive leading to an increase of the coupling between the graphene layer and the metal substrate at these points; this gives rise to a rapid decay of the localized state and the quenching of the magnetic moment associated with carbon vacancies in freestanding graphene layers.     

基于Matlab分析负荷对多联机IPLV的影响

多联机有其特殊的优点,但是不同部分负荷的组合对IPLV的影响仍需进一步研究。文中建立IPLV与部分负荷的相关公式,运用MATLAB软件分析不同卸载级负荷与IPLV的关系,从而确定不同部分负荷的最优组合。     

Remarks on KdV-type flows on star-shaped curves

We study the relation between the centro-affine geometry of star-shaped planar curves and the projective geometry of parametrized maps into RP¹. We show that projectivization induces a map between differential invariants and a bi-Poisson map between Hamiltonian structures. We also show that a Hamiltonian evolution equation for closed star-shaped planar curves, discovered by Pinkall, has the Schwarzian KdV equation as its projectivization. (For both flows, the curvature evolves by the KdV equation.) Using algebro-geometric methods and the relation of group-based moving frames to AKNS-type representations, we construct examples of closed solutions of Pinkall’s flow associated with periodic finite-gap KdV potentials.     

X-ray diffraction on chlorine adsorbed on graphite

Cl₂ layers adsorbed on Grafoil have been investigated by X-ray diffraction between 78 and 285 K. Mono- and submonolayers crystallize in a parallelogram lauttce, incommensurate with the (001) graphite surfaces, the molecules oriented almost perpendicular to the surface. The structure is closely related to that of the (001) planes of three-dimensional solid chlorine. For coverages above the monolayer completion bulk crystalization sets in.     

Note on duality on polarized symplectic manifolds

In this note we use some of the results of [3] to derive a general duality theorem for the cohomologies of foliated structures on a manifold. The result is applied to the special case of a symplectic manifold M on which the foliation is given by a complex polarization F in the sense of geometric quantization. We obtain, for example, a rigorous proof of the fact that for a smooth function ƒ on M whose Hamiltonian vector field leaves F invariant, the spectrum of the corresponding prequantization operator v(ƒ) coincides with the spectrum of its transpose, under the above duality. This latter result was obtained by Simms in [12] under certain hypotheses. Proofs of the validity of those hypotheses are now available in the literature; cf. [3] and [7].     

Space-charge effects on multipactor on a dielectric

Analyzes the effects of space charge shielding on the steady state of a multipactor discharge on a dielectric. Analytic methods are used to obtain an exact function for the potential in the discharge, assuming a Maxwellian distribution of emitted electrons. An equation for the amount of power deposited on the dielectric by the multipactoring electrons, for a given saturation level, is given. A simple method for obtaining the saturation level, for a given material, is obtained