面向大数据的数据库划分FP-Growth改进算法 |
| |
作者姓名: | 张乐 魏昕怡 徐苏 林两位 |
| |
作者单位: | 南昌大学数学与计算机学院 数字福建气象大数据研究所(闽南师范大学) 南昌大学际銮书院 |
| |
基金项目: | 数字福建气象大数据研究所(闽南师范大学)开放课题(202010704)~~; |
| |
摘 要: | 提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。
|
关 键 词: | 频繁项集 FP-growth 大数据 MapReduce编程模型 |
|
| 点击此处可从《南昌大学学报(理科版)》浏览原始摘要信息 |
|
点击此处可从《南昌大学学报(理科版)》下载全文 |