DMGSP:一种快速分布式全局序列模式挖掘算法

为了解决分布式环境下挖掘全局序列模式常产生过多候选序列,加大网络通信代价问题,提出了一种基于分布式环境下的快速挖掘全局序列模式算法--DMGSP.该算法将分布式环境下的各站点得到的局部序列模式压缩到一种语法序列树上, 避免了重复的序列前缀传输. 采用合并树中结点序列规则和项序扩展策略,对非频繁序列进行剪枝,有效地约简了候选序列,减少了网络传输量,从而快速生成全局序列模式.算法分析和实验结果表明,在大数据集环境下的DMGSP算法性能优越,能够有效地挖掘全局序列模式.     

一种高效挖掘高维数据的频繁闭合模式算法

为了克服传统高维数据挖掘频繁闭合模式算法迭代产生子表,引起算法执行时间长和存储开销大等问题,提出了一种高效挖掘高维数据的频繁闭合模式的算法EMHCP. EMHCP算法采用一种新型结构位图表来压缩存储数据,在仅扫描数据库一次后,建立位图转换表.根据位图转换表来构建混合树结构,采用深度优先的方式和有效的剪枝策略高效挖掘出所有的闭合模式.从而有效地缩小了搜索空间,加快了处理速度.通过在生物数据库应用的实验结果表明, EMHCP算法比已有的CARPENTER和TD-close等算法更为有效.     

数据仓库中实视图聚集函数的增量更新

提出在视图表达式树中以由下到上的方式计算中间结点的变化 ,将计算出的中间结果作为辅助视图保存在数据仓库中 ,利用这些辅助视图或子视图计算出来的聚集函数的变化 ,来计算本视图聚集函数值的更新 ,实现视图的增量维护 ,从而缩短数据仓库更新维护时间 ,提高OLAP查询效率 .同时 ,介绍了实视图中聚集函数的增量更新算法 ,实现实视图聚集函数的更新维护     

数据仓库中实现图聚集函数的增量更新

提出在视图表达式树中由下到上的方式计算中间结点的变化，将计算出的中间结果作为辅助视图保存在数据仓库中，利用这些辅助视图或子视图计算出来的聚集函数的变化，来计算本视图聚集函值的更新，实现视图的增量维护，从而缩短数据仓库更新维护时间，提高OLAP查询效率，同时，介绍了实视图中聚集函数的增量更新算法，实现实现图聚集函数的更新维护。     

基于单维分割的高维数据聚类算法HDCA_SDP

提出一种基于单维分割的高维数据聚类算法HDCA_SDP, 该算法利用单维空间能划分数据的性质,对整个数据集进行逐维聚类,解决了传统聚类算法带来的维度困扰问题,对数据集大小和数据空间维数具有良好的可伸缩性,且聚类结果的精度比传统的高维聚类算法有较大的提高. 实验结果表明,该算法在处理高维大规模数据时是有效的.     

序列模式挖掘算法综述

目前的主要序列模式挖掘算法可以分为3类:①基于Apriori的候选码生成-测试的方法;②基于垂直格式的候选码生成-测试的方法;③基于模式增长的方法.在介绍序列模式挖掘基本概念的基础上,描述了典型的挖掘算法,着重分析第②类序列模式挖掘算法的关键技术,并对各种算法进行详细的分析与比较,总结出它们的优缺点:前两类方法因产生巨大的候选序列而致挖掘代价剧增,而第③类模式增长方法避免了候选序列的产生,但挖掘长模式效率低.     

基于XML的OLAP技术研究

为了开发开放式OLAP服务系统,提出了对XML、关系数据库等异构数据源进行集成的技术和方法;同时为更好地表达用户的分析请求,提出了基于XML的概念建模技术,用于多维分析元数据的存储和统一表达。     

基于卷积神经网络与投票机制的蒲黄炮制品近红外判别方法

蒲黄炭是由香蒲花粉炮制而成,具有止血、化瘀、通淋等多种功效,被广泛应用于临床抗血栓,创面和出血。然而蒲黄炭在炒炭过程中,常常会出现炭化过轻或者炭化过重的现象,从而出现不同炭化程度的蒲黄炭药品,主要为轻度炭化、标准炭化与重度炭化三种不同的蒲黄炭药品。由于炭化程度不同,蒲黄炭的凝血效果优劣不等,其中标准炭化的蒲黄炭药品药效最优。目前,鉴别蒲黄炭药品的方法多为人工凭借肉眼与经验进行判别。基于人工的蒲黄炭药品判别方法判别效率低,受主观因素影响大,判别结果不稳定,难以区分出标准炭化的蒲黄炭。为有效地对不同炭化程度的蒲黄炭进行识别,提出一种基于卷积神经网络与投票机制的蒲黄炮制品近红外判别方法。该方法创新性地结合深度学习与机器学习算法,有效利用卷积神经网络强大表征提取能力的同时通过投票决策提升算法模型的泛化能力与鲁棒性。首先通过近红外光谱技术获取蒲黄炭的近红外光谱,并通过卷积神经网络分别提取样本经过四种预处理方法所得到光谱图的高阶特征,并计算预测结果。按照样本准确率与损失值为四种预处理方法分配相应权重得到蒲黄炮制品预测模型。该模型将所得到的四种预测结果结合权重共同投票出样本的最终结果,从而鉴别出蒲黄炭的炭化程度。实验结果表明所提方法可以有效判别蒲黄炮制品的炭化程度。当训练集所占样本比例为80%时,预测准确率达到95.4%。所提方法与传统卷积神经网络方法、线性判别分析方法以及标准正太变量变换-线性判别分析方法相比预测准确率分别提高8.6%,4.3%和2.6%。同时,所提方法具有一定的稳定性,当训练集所占样本比例大于70%时,测试准确率高于90%;当训练集比例仅占10%时,预测准确性仍然能够达到约80%。     

基于维层次的压缩Cube

提出利用Cube中的维层次来创建高性能的DH_Cube(dimension hierarchy cube),在DH_Cube中存储构成Cube的所有维的所有层次粒度组成的数据单元,从而实现了在1个DH_Cube中就可以存储构成该Cube的d个维所创建的2^d个立方体视图的所有信息,从而压缩Cube存储空间,提高MOLAP查询效率,减少Cube创建时间和更新时间．     

Web日志挖掘

提出了一种新颖的MBP算法，它利用关联规则挖掘发现的频繁项目集以加快速度，能找出所有满足阀值约束的频繁浏览路径，该算法是有很效的，同时，针对Web浏览和日志文件固有的模糊性和不确定性，还讲座了Web面面的模糊聚类问题，最后，对发现的知识讨论了其在推荐系统及自适应Web站点中的应用并给出了相应算法。