MapReduce框架下常用聚类算法比较研究

大数据处理在各个行业的应用中占有越来越重要的地位。本文以基于MapReduce框架的大数据处理平台为基础,分析了MapReduce计算框架的工作流程及在该框架下四种常用的聚类算法,包括K-means算法、密度聚类算法、FCM算法与层次聚类算法的原理与优缺点,并对这些算法的进一步优化进行了分析。     

基于MapReduce的ROCK聚类算法

随着大数据时代的到来,聚类分析算法将面临如数据量巨大、数据维数增加等挑战,分布式处理是解决这类问题的方法之一。本研究将ROCK算法与Hadoop平台相结合,按照分布式处理原则,通过计算机集群模式去处理大规模的多样性数据。实验证明,在Hadoop平台下的ROCK聚类算法很大程度上提升了对高维数据进行聚类的能力。     

基于K-Means算法的混合聚类算法研究

在使用K-Means进行文本聚类的研究中,针对K-Means算法缺点,提出了利用DBSACN算法确定参数K的方法,将基于密度的聚类算法应用于特征选取上,使得K值计算有了一定的确定性,从而提高了聚类质量。这种将多种算法混合运用的方法,为文本聚类算法的设计提供一个新的方向。     

基于集群环境的K-Means聚类算法的并行化

K-Means聚类算法在面对海量数据时,时间和空间的复杂性已成为K-Means聚类算法的瓶颈.在充分研究传统K-Means聚类算法的基础上,提出了基于集群环境的并行K-Means聚类算法的设计思想,给出了其加速比估算公式,并通过实验证明了该算法的正确性和有效性.     

基于距离的K-Means划分式聚类算法及其编程实现

K-Means算法是划分式聚类算法。本文通过在应用中的编程实现分析了基于欧式距离的划分式聚类算法的基本原理、实现步骤和编程时的注意事项,最后分析了该算法的优缺点。     

基于探索向量的Ball K-Means聚类算法

随着大数据时代的到来,如何快速、准确地从海量数据中挖掘有用的信息成为一个极其关键的问题。随着样本数据维度和数量的增加,导致K-Means聚类算法的计算成本急剧增加。因此,一种新颖的加速精确K-Means聚类算法近期被用来降低计算成本,称为“Ball K-Means”。尽管Ball K-Means降低了计算成本,但是该算法和K-Means算法都缺乏全局搜索能力。因此,本文从全局搜索能力和计算成本两个因素考虑,通过在Ball K-Means算法中引入一种防止聚类过程过早收敛的探索向量,提出一种针对高维度、大样本数据的基于探索向量的Ball K-Means聚类算法,称为“Ball XK-Means”。实验结果表明,在高维度和大样本数据下,本文提出的算法不仅比Ball K-Means和K-Means算法能够获更稳定和更精确的聚类结果,而且比K-Means和XK-Means算法有更低的计算成本和更高的效率。     

基于MapReduce的并行子空间聚类算法

随着现有数据体量的迅速增长,超大规模中高维数据集的聚类问题变得越来越重要;而现有的子空间聚类算法大多是单机串行执行,处理此类问题效率极低。讨论了利用MapReduce对这类数据集进行并行聚类的方法,提出了基于MapReduce的抽样-忽略子空间聚类算法(sample-ignore subspace clustering using MapReduce,SISCMR)。该算法将串行聚类算法用作插件,具有很好的通用性。在人造和真实数据集上进行了大量实验,其中最大为0.2 TB的数据集在128个核心的集群中仅用不到10 min就完成了聚类,验证了该算法良好的聚类质量、近线性的可扩展性和高效的聚类性能,证明了基于MapReduce的并行聚类的可行性。     

基于PAM和簇阈值的改进K-Means聚类算法

为了弥补K-Means算法对孤立点数据敏感的缺陷,提高K-Means算法对包含孤立点数据集的聚类效果,在深入研究K-Means算法的基础上,提出了基于PAM和簇阈值的改进K-Means聚类算法。该算法首先对待聚类数据进行抽样,然后利用PAM算法获取样本数据的聚类中心,以样本数据的聚类中心作为KMeans算法的初始聚类中心。在聚类迭代过程中动态计算各簇阈值,利用簇阈值准确地过滤孤立点数据。实验结果表明,本文提出的算法不仅聚类时间短,而且具有较高的聚类准确率。     

分布式k-means聚类算法的改进

经典的分布式k-means聚类算法随机选取初始聚类中心,进行多次的迭代,容易使得聚类效率低,网络通信量大,而且聚类结果不稳定。针对这些问题,提出一种改进的分布式k-means聚类算法。该算法通过划分数据集,计算属性最密集的k个数据块作为聚类中心,以确保聚类中心的代表性,进而减少算法的迭代计算次数,提高聚类效率。通过在Hadoop分布式平台上进行实验,结果表明改进算法能减少迭代次数和收敛时间。     

一种基于近似类抽样的组合聚类方法

FCM聚类算法具有线性的时间复杂度,但它对初始化非常敏感。而k-中心点轮换法对初始化不太敏感,但其缺点就是时间复杂度较高,不能直接应用到海量数据集的聚类分析中。为克服这两类聚类算法的缺点,而充分利用它们的优点,很自然地提出一种基于近似类抽样的组合聚类算法。这种组合聚类算法的时间复杂度是O（n2m）。仿真实验表明,它具有稳定的聚类结果。     

基于MapReduce的基因数据密度层次聚类算法

随着生物信息技术的快速发展,基因表达数据的规模急剧增长,这给传统的基因表达数据聚类算法带来了严峻的挑战.基于密度的层次聚类(DHC)能够较好地解决基因表达数据嵌套类问题且鲁棒性较好,但处理海量数据的效率不高.为此,提出了基于MapReduce的密度层次聚类算法——DisDHC.该算法首先进行数据分割,在每个子集上利用DHC进行聚类获得稀疏化的数据;在此基础上再次进行DHC聚类;最终产生整体数据的密度中心点.在酵母数据集、酵母细胞周期数据集、人血清数据集上进行实验,结果表明,DisDHC算法在保持DHC聚类效果的同时,极大地缩短了聚类时间.     

基于密度偏差抽样的聚类算法研究

随着网络的普及和信息量的急剧增加，从海量数据中提取有用的数据信息已迫在眉睫。在对已有的基于密度偏差抽样算法改进的基础上，提出了一种基于密度偏差抽样的聚类算法。实验表明，随着信息量.数据维数的增加，该算法聚类的正确率以及对数据的处理速度都要较传统的聚类算法有所提高。     

基于SOM改进的K-Means聚类算法

随着网络技术和相关学科的发展,入侵检测技术日趋成熟.对SOM算法和K-Means算法进行了具体的分析,提出了一种基于SOM和K-Means的使两类算法优点相结合并克服各自不足的聚类算法,提高了聚类信息的精确度、对攻击的识别率和系统的整体性能.     

k-means聚类算法的MapReduce并行化实现

针对k-means聚类算法特点,给出了MapReduce编程模型实现k-means聚类算法的方法,Map函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮MapReduce Job使用.实验结果表明:k-means算法MapReduce并行化后部署在Hadoop集群上运行,具有较好的加速比和良好的扩展性.     

一个基于K-means的聚类算法的实现

聚类算法作为数据挖掘中的一种分析方法，它能找到样本比较密集的部分，并且概括出样本相对比较集中的区域．分析了传统的聚类算法及局限性，讨论了一个基于K-mealls算法的实现过程，使得算法可处理存在孤立点的大文档集，得到最佳的聚类结果。     

基于随机扰动的K-Means聚类中心优化方法

针对K-Means算法对初值敏感和容易陷入局部最优的缺点,本文提出一种基于概率的随机扰动聚类中心优化算法。首先,每次迭代后重新计算聚类中心,以聚类中心为圆心向外搜索一定邻域内的点,将聚类中心以概率随机定位到邻域内的某个点上,称该点为物理中心点;之后,选定的物理中心点以一定速率向聚类中心方向移动一定距离,计算出的位置即为新的聚类中心;最后,根据欧氏距离重新划分数据集。该算法通过概率扰动方式使聚类中心不再固定为某一点,而将其中心扩大到一定区域,搜索该区域内的最优解,从而极大地避免了K-Means算法陷入局部最优的可能;并且,即使计算进程已经陷入局部最优,优化后的算法也可以通过最优区域搜索,以一定概率的机会跳出局部最优。     

基于K-Means聚类的R-树空间索引方法研究与分析

 空间聚类和空间索引的结合是当前空间数据库中提高数据检索效率的技术之一。本文从空间聚类和空间索引的存储原理入手,阐述了K-Means聚类算法及其改进算法的技术思路,研究了K-Means算法在空间数据库中与空间索引方法结合的技术问题;分析了当前基于K-Means算法的R-树系列空间索引技术的研究成果,阐述了它们提高空间检索效率的技术路线及实验结果,研究显示这些技术都能在一定程度上提高数据检索的效率。最后给出了聚类与空间索引结合技术未来的研究方向。     

一种新的K-Means蚁群聚类算法

针对蚁群聚类算法聚类质量不高的原因,使用K-Means算法改进蚁群聚类规则,提出一种新的K-Means蚁群聚类算法(KM-AntClust),并通过实验验证新算法的聚类效果.实验结果表明,新的算法可以明显提高聚类质量.     

基于MapReduce和改进人工蜂群算法的并行划分聚类算法

针对大数据背景下基于划分的聚类算法中存在参数寻优能力不佳、初始中心敏感、数据倾斜等问题,提出一种基于MapReduce和人工蜂群(artificial bee colony,ABC)算法的并行划分聚类(the partitioning-based clustering algorithm by using im-prove artificial bee colony based on MapReduce,MR-PBIABC)算法.首先,提出基于反向学习和聚类准则函数的初始化策略(backward learning and the clustering criterion function,BLCCF),提升人工蜂群算法搜索的解质量,并将ABC算法和人工鱼群(artificial fish colony,AFS)算法结合,提出改进人工蜂群(improve artificial bee colony,IABC)算法,通过利用AFS算法最优解能力较强的特性,来提高ABC算法的寻优能力;其次,根据改进的人工蜂群算法IABC获取初始聚类中心,提出相对熵策略(rela-tive entropy strategy,RES)衡量人工鱼间的距离,保证获得的初始聚类中心是最优人工鱼状态,从而有效避免了随机选取初始聚类中心,引起的初始中心敏感的问题;再次,设计数据均衡策略(data balancing strategy,DBS),通过动态收集节点负载并分配节点间的负载,解决了节点上数据倾斜的问题;最后,结合MapReduce计算模型,并行挖掘簇中心,生成最终聚类结果.实验结果表明,MR-PBIABC算法的聚类效果更佳,同时在大数据环境下,能有效地提高并行计算的效率.     

一种基于密度的分布式聚类算法

对基于密度的分布式聚类算法DBDC（density based distributed clustering）进行改进,提出了一种基于密度的分布式聚类算法DBDC＊.该算法在局部筛选代表点时结合贝叶斯信息准则BIC,得到少量精准反映局部站点数据分布的BIC核心点,有效降低了分布式聚类过程中的数据通信量,全局聚类时综合考虑了各站点数据的分布情况.实验结果表明,算法DBDC＊的效率优于DBDC,聚类效果好.