面向大数据的数据库划分FP-Growth改进算法

提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取，生成对应的投影数据库，并将这些投影数据库分发到一个个节点机上；再由节点机对投影数据库进行划分，生成一个个规模更小的子数据库，并由节点机使用改进后的算法并行挖掘生成部分频繁项集；最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树，有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时，由于所划分的子数据库规模接近，分发到各节点机上的负载更均衡，使得算法效率更高。