基于关系数据库的关联规则挖掘算法DB-growth

从大数据中挖掘隐藏的、多维的有价值的关联规则具有广泛的应用价值。关联规则挖掘经典算法Apriori存在重复扫描数据库并产生大量候选项集的瓶颈问题,FP-growth算法虽不产生候选集,但FP-tree不支持大数据的存储与遍历,不能有效支持大数据挖掘;另外,Apriori以及FP-growth算法实施增量挖掘都需要重构关联规则,不适用于增长型事务数据挖掘。针对这些问题,设计基于关系数据库表SourceIndex的DB-growth算法,采用模式组合生成模式串的方式,更新数据库构建频繁集,有效地提高了关联规则的挖掘效率,同时对增量挖掘及深度挖掘也能得到较好的支持。更多还原     

挖掘泛化序列模式的一种有效方法

针对有时间约束的泛化序列模式的挖掘问题，提出了一种有效的挖掘方法，与已有的算法相比，主要通过采取两种技术来提高效率，一是事先找出每个数据序列支持的序列模式，从而去除了时间因素，用一个快速算法求解决匹配问题；二是在数据序列重复较多时采用直接求交的方法，在此基础上提出了一个基于数据库划分的挖掘算法。     

《Wuhan University Journal of Natural Sciences》Vol.9 No.5 20042摘要选登

● 挖掘Web频繁访问模式的一种混合式高效算法 (AnEfficientHybridAlgorithmforMiningWebFrequentAccessPatterns)P .5 5 7～ 5 6 0战立强1,刘大昕2 (1.东北林业大学经济管理学院 ,黑龙江哈尔滨 15 0 0 4 0 ;2 .哈尔滨工程大学计算机学院 ,黑龙江哈尔滨 15 0 0 0 1)摘　要 :提出了一种挖掘频繁访问模式的高效混合式算法WDHP ,该算法继承了DHP算法使用hash树过滤候选集以及裁剪数据库的基本方法 ,当数据库被逻辑裁剪到一定程度时 ,便将数据库以访问路径树的方式存储于内存 ,并在内存中完成后继的挖掘 .实验表明WDHP算法不仅优于DHP…     

基于模式矩阵的P_Matrix算法

Apriori算法是关联规则挖掘中最经典的算法,该算法需多次扫描数据库并产生海量的候选项目集.利用模式矩阵对Apriori算法进行改进,提出一种P_Matrix算法,它使扫描数据库的次数降为一次,同时不产生候选项目集而直接产生频繁项目集,从而使算法的时间复杂度和空间复杂度大大降低.     

CRM中序列模式分析与神经网络结合的应用研究

用序列模式挖掘方法进行商品销售的预测,其准确率受单个算法本身限制,如果先用序列模式挖掘对原始数据进行过滤,然后再利用神经网络的自适应性,通过学习和训练,找出客户特征与购买某种商品意向的内在联系,再利用神经网络的泛化功能对未经训练客户购买意向进行预测,其预测的正确率非常高.     

面向大数据的数据库划分FP-Growth改进算法

提出了一种基于Hadoop架构和MapReduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。     

一种基于步态的身份识别新方法

步态识别是通过人走路的姿态进行身份识别的新兴生物特征识别技术.算法利用步态的动态特征和形状信息进行步态识别.首先,对某个人的一个步态序列利用动态Viterbi算法得到一个样本姿态序列,对其多个步态样本姿态序列的对应姿态取平均得到这个人的特征姿态序列,然后对特征姿态采用主成分分析法处理特征空间,最后用最近邻法进行识别.利用USF/NIST数据库对本文方法进行了验证,取得了较高的识别率.并对体形变化具有较强的鲁棒性.     

分布式事务型内嵌树模式挖掘

为了从大规模数据集中更高效地发现有价值的规则,本文提出一种迭代的频繁内嵌无序树模式挖掘算法:TETPM.同时设计了两个工作负载划分策略:TETPM-P和TETPM-E. TETPM-P由模式划分工作负载,而TETPM-E则通过模式实例来划分工作负载.实验评估表明,两种算法均可以有效地从大型数据集中挖掘频繁内嵌模式,TETPM-P适合于模式实例数更均衡的数据集,而TETPM-E则更适合规模更大的数据集.     

基于多支持度的增量式关联规则挖掘算法

传统的基于关联规则的挖掘算法采用的是统一的最小支持度,但是在实际的事务数据库中数据项的重要性是不同的。针对目前多支持度和增量式关联规则更新维护的局限性,提出一种基于多支持度的增量式关联规则挖掘算法。允许用户根据不同项的重要性设置权值,有利于发现更多有趣的规则。采用矩阵的向量内积策略,结合动态剪枝,无需多次扫描事务数据库,不生成庞大候选集。实验结果验证了算法的有效性。更多还原     

基于事务压缩的频繁项集挖掘和更新算法

频繁项集挖掘是挖掘关联规则的关键。为了得到用户感兴趣的关联规则,要不断调整最小支持度,这必将引起频繁项集的更新。基于事务压缩思想,提出一种挖掘和更新算法,挖掘频繁项集时扫描压缩的数据库,更新时能减少新产生的k-项集的数量,从而加快了更新速度。