多角度标签结构和特征融合的多标签特征选择

特征选择是提高多标签分类性能的一种关键技术,一些特征选择算法在选择与标签相关的特征时没有从多个角度考虑标签结构,致使好的特征未能被选取,影响分类性能.为此,提出一种多角度标签结构和特征融合的多标签特征选择MLSFF.该算法的主要特点是:1)从三个角度考虑标签结构,提取三个重要的特征子集.2)融合提取的三个特征子集将整个...     

基于类属特征的多标签流形学习分类方法

多标签流形学习(multi-label manifold learning, ML$^{2}$)基于特征流形构建标签流形, 将标签逻辑值转换为实数值, 能更好地反映标签相关性, 提高分类性能. 但是, ML$^{2}$ 与多数多标签分类方法一样, 是基于数据的全部特征进行标签预测, 没有考虑不同特征对不同类别标签的鉴别能力. 因此, 提出一种基于类属特征的多标签流形学习分类(label specific feature based multi-label manifold learning, LSF-ML$^{2}$)方法. 首先, 利用标签数据优化类属特征重要度矩阵, 确定类属特征子集; 再将子集的特征流形映射到标签空间, 使标签从离散型变为数值型; 最后, 通过多输出回归实现分类. 实验结果表明, 所提方法性能优于多种多标签分类方法.     

基于组标签的多标签流特征选择算法

流标签是当前多标签学习领域中一个较新颖的挑战性问题,存在标签空间未定、标签数量不断增加甚至趋于无穷等问题.在多标签学习的特征选择中,每当有新的标签到达时标签空间都将发生改变,传统的多标签特征选择算法需重新进行特征选择,所以不适用.针对此问题,采用将流标签进行分组批量处理的方式,并考虑标签之间的相关性,提出一种新的流式多标签特征选择方法,考虑分组后每组标签内部潜在的关联结构和不同标签组之间的标签差异性,赋予每组标签不同的权重来计算每个特征与标签空间的模糊互信息.同时,结合mRMR (Max-Relevance and Min-Redundancy)的特征选择策略进行冗余特征的剔除,从而挑选最优的特征子集.该方法同时适用于固定标签空间和流式标签空间中的特征选择问题.最后,选取八个多标签基准数据集,采用四种评价指标与已有相关的多标签特征选择方法进行对比实验,实验结果证明了提出方法的有效性和高效性.     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度,是解决“维数灾难”问题的有效方法.然而,已有的多标签特征选择算法是对所有标签选择出相同的特征,忽略了标签与特征之间的内在联系.事实上,每个标签都具有反映该标签特有属性的特征,即类属特征.提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian,LSGL)算法.对于每个类别标签,基于拉普拉斯映射获得数据的低维嵌入,再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵,接着通过分析矩阵系数确定每个标签相应的类属特征,最后使用类属特征进行分类.在5个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度, 是解决"维数灾难"问题的有效方法. 然而, 已有的多标签特征选择算法是对所有标签选择出相同的特征, 忽略了标签与特征之间的内在联系. 事实上, 每个标签都具有反映该标签特有属性的特征, 即类属特征. 提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian, LSGL)算法. 对于每个类别标签, 基于拉普拉斯映射获得数据的低维嵌入, 再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵, 接着通过分析矩阵系数确定每个标签相应的类属特征, 最后使用类属特征进行分类. 在 5 个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

基于相关性分析的多标签特征选择方法

针对现有大多数多标签特征选择算法未能有效去除特征空间冗余特征,同时也忽略了标签差异性的现状,提出一种基于相关性分析的多标签特征选择方法,利用特征之间的相关度对特征进行分组,解决了特征之间的相关性问题.根据样本所对应的标签属性对样本做一个正负类的聚类,对于正样本和负样本所构成的正类簇和负类簇单独确定其聚类个数,并计算原特征到正负类簇中各个类中心的距离,如此便产生了标签特定特征空间;将标签共享的特征空间和标签特定特征空间融合,考虑到多个标签之间的个性和关联性,解决了标签的差异性问题.实验测试表明,相较于现有的多标签特征选择算法,提出的基于相关性分析的多标签特征选择方法在各个分类指标上均有较优的表现,充分证明了该方法的有效性.     

基于伪标签回归和流形正则化的无监督特征选择算法

无监督特征选择是无标签高维数据预处理过程中一种有效的数据降维技术,然而大多数无监督特征选择算法忽略了数据样本本身的类簇结构特性,选择具有低判别性信息的特征.基于此,提出一种基于伪标签回归和流形正则化的无监督特征选择算法.具体地,联合伪标签回归和最大化类间散度来保证算法在迭代过程中学习伪标签,同时,自适应学习数据样本之间的局部几何结构,获得更加精准的标签信息和结构信息,进而选择具有高判别性且能保持数据流形结构的特征.在四个公开数据集上的对比实验表明,提出算法的特征选择结果优于现有的一些无监督特征选择算法.     

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features, LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations, LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明：结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于L2,1范数和流形正则项的半监督谱聚类算法

谱聚类算法受到相似矩阵的影响以及没有使用先验信息,使得聚类结果有很大的局限性.针对这一问题,提出了一种基于L2,1范数和流形正则项的半监督谱聚类算法.一方面借助L2,1范数的鲁棒性学习到合理的相似矩阵;另一方面充分利用监督信息,不仅指导了初始相似矩阵的构造,而且引入流形正则项去调整模型,从而改善聚类效果.实验结果表明,...     

流缺失标记环境下的多标记特征选择

在监督学习实际任务中,特征的高维性、标记的动态性和缺失性为监督学习带来严峻的挑战。为解决这些不足,提出流缺失标记环境下的多标记特征选择算法。首先,为解决缺失标记的影响,通过学习标记相关性填补不完整的标记矩阵。其次,利用稀疏学习方法为每个新到达的标记选择类属属性。然后,根据已到达标记的类属属性,通过计算得分选取一个有代表性的特征子集。最后,在11个基准数据集上进行一系列实验表明,所提算法能选择有代表性的特征子集,且分类性能较优。     

基于邻域维护准则的特征选择算法优化研究

应用特征选择处理多标签数据分类时"维度灾难"问题已成为重要研究方向,因此提出一种基于邻域维护准则的特征选择算法(NPFS,feature selection algorithm based on neighborhood preservation criterion)。通过近似基于特征子空间和基于标签空间的2个相似度矩阵来构建相似性维护表达式,再通过线性近似扩展相似性维护公式得到邻域关系维护公式,并计算出邻域关系维护得分(NRPS,neighborhood relationship preserving score)来评估特征子集的重要性,结合贪婪方法设计具有NRPS的多标签特征选择算法(NPFS)。仿真结果表明,对比MMIFS算法和MDMR算法,所提出的算法在平均准确率、覆盖率、汉明损失、1-错误率、排名损失5个性能指标上均有改善。     

结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。     

多标记学习的嵌入式特征选择

维数约减是数据挖掘领域的关键技术.传统的降维方法主要解决单标记学习问题.由于多标记学习问题的复杂性,多标记降维方法很少.直接应用未监督的降维方法到多标记学习中,忽略了类标信息.而通过分解多标记问题为单标记问题,应用现有的有监督降维方法到多标记学习中,忽略了类标间的关系.现有的多标记有监督的降维方法是基于依赖最大化的维数约简(multi-label dimensionalityreduction via depen dence maximization,MDDM),它是一种特征抽取的方法.目前还没有多标记的特征选择方法.因为在多标记学习中如何评估特征,是一个很有挑战性的问题.本文提出一个嵌入式的特征选择方法MEFS(multi-label embedded feature selection),其中采用预报风险准则作为特征的评价准则.在公开评测的yahoo网页分类数据集上进行了两个实验:(1)分析多标记学习的性能指标对特征评估的影响;(2)比较MEFS与MDDM,PCA(主成份分析),LPP(局部保留投影)的降维效果,实验显示MEFS的性能优于新近提出的MDDM等一些流行的多标记降维方法.     

基于模糊粗糙集的层次分类增量特征选择

随着大数据时代的到来,数据的类标签数量急剧增加,对现有的分类任务带来了严峻的挑战。为了解决这个问题,人们通常将标签组织成层次结构,使用结构中所包含的信息来对任务进行学习。考虑样本的不断增加,使用模糊粗糙集信息熵设计了一种面向层次分类的增量特征选择算法。考虑兄弟策略,将现有的λ条件熵推广到了层次分类的情形,设计了一种非增量的层次分类特征选择算法,设计了λ增量条件熵,基于此设计了增量版本的特征选择算法。在实验中,采用了包括非增量版本在内的7种不同的特征选择算法在5个层次数据集上与增量算法进行比较,实验结果验证了2种算法的有效性,并且所设计的增量算法能在不影响性能的情况下加快特征选择的进程。     

基于多源大数据融合的银行网点选址方法

针对传统银行网点选址方法中存在的人为主观因素较大、数据量支撑不够、考虑因素理想化等问题,提出一种基于多源大数据融合的银行网点选址方法。该方法通过多源数据构造人流量、交通拥堵指数、用户价值、周边竞争网点数和人均收入5个基础特征,并利用协同训练的半监督学习方法扩充训练集。基于基础特征与机器学习算法构建多个子模型,将子模型的输出概率作为特征,构建基于逻辑回归的集成算法,作为银行网点选址模型,同时提出一种优化银行网点权重的损失函数,以保证模型预测中更佳的银行网点具有更高的权重。通过实验分析表明,该算法相较于传统算法预测评估更为准确,能够很好地解决银行网点选址问题。     

由粗到精和特征筛选的精确回归预测方法及其在二语习得中的应用

针对数据分布不均匀且因素多而容易造成预测不精确的问题,提出一种结合由粗到精与特征筛选的精确回归预测方法.首先,由于数据分布不均匀且预测区间大,直接预测难以精确地拟合,提出一种由粗到精的预测方法,并使用决策树进行粗分类,预测目标所在的子区间,然后在子区间内实现精确的回归预测.其次,如果数据量少且特征因素多会引起过拟合,而且部分冗余特征会影响模型的预测精度,因此,提出一种基于特征筛选的回归预测方法以提高预测精度.在大学生的英语成绩与其人格因素数据集上进行相关实验,结果证明了由粗到精和特征筛选方法与传统回归模型相比精度更高且稳定性更好.通过提出的人格因素与英语成绩回归预测模型,可以制定合理的培养方案弥补学生人格因素中的短板,提升学生的自身竞争能力,从而更好地推动中国的英语教育.