基于控制图的马田系统马氏空间生成机理研究

马田系统是以马氏距离为测量尺度,通过选取正常样本构建马氏空间,对多元系统进行诊断和预测的分类技术。马氏距离对样本数据的变化非常敏感,因此用于构建马氏空间的正常样本的数据质量直接影响到分类的准确率。实际应用中正常样本的选取大多依据主观经验判断,缺乏客观规范的选择机制。本文提出基于控制图的马氏空间生成机理,先由专家选取的正常样本构建初始马氏空间,再以每个正常样品在初始马氏空间和对应的缩减马氏空间上的马氏距离增量作为新的测量尺度,以此建立单值控制图,利用控制图稳定性判定规则剔除异常数据,从而得到稳定状态的马氏空间。实验分析结果表明该方法的有效性且提高了马田系统分类的准确率。     

一种改进的异常值检测算法与稳健估计

对模型精度与稳健性的要求使得异常值检测与稳健估计在模型构建中变得日益重要.本文首先利用基于边际相关系数构造的高维影响度量指标(HIM)与基于距离相关系数构造的高维数据异常值判别方法(HDC)分别对数据中的异常值进行初步检测,将数据集中的点分为正常点与异常点两类,然后在初始正常点集的基础上利用稳健的参数估计方法和残差空间...     

基于多变量控制图的马田系统优化研究

马田系统(MTS)是一种多元模式识别方法,它首先通过正常样本来建立基准空间,再利用正交表和信噪比来筛选有效变量,最后通过马氏距离来进行分类、诊断和预测.当建立基准空间的正常样本中掺杂少数异常点时,MTS的性能必然会受到影响.根据多变量控制图原理对建立基准空间样品的适合性进行判别,将在控制线外的样品点删除后建立新的基准空间,并通过UCI数据集进行可行性分析及分类效果比较,结果显示:经多变量控制图优化后的MTS,其性能得到显著提高.     

基于岭估计的岭马田系统在复共线性数据中的应用

在多变量模式识别领域,变量间经常会存在复共线性,复共线性不仅会影响参数估计的效果,也会使变量的敏感性出现显著异常.马田系统是以马氏距离作为测量尺度的多变量模式识别方法,复共线性会通过马氏距离影响马田系统变量筛选的效果和判别的准确率.基于岭估计提出了一种新的测量尺度—岭马氏距离,利用岭迹法确定岭参数,将其引入马田系统使得马田系统对病态数据具有更好的耐受性.通过案例验证了岭马氏距离可以很好的克服复共线性,并提高马田系统的判别准确率.     

面向不平衡数据集的一种基于聚类的欠采样方法

针对不平衡数据集分类问题,提出了一种基于聚类的欠采样方法.分别取不同的聚类个数,对训练集中的多数类样本进行若干次聚类,然后用聚类中心作为多数类样本,与少数类样本构成若干个新的训练集,之后用这些训练集训练分类器,剔除具有错误分类倾向的分类器,最后对分类结果进行投票.仿真实验对几种欠采样方法进行比较.实验采用16个平衡率不一的数据集进行测试.理论分析与实验结果表明:提出的基于聚类的欠采样方法能有效地改善不平衡数据集的不平衡性.     

基于一类分类方法的多类分类研究

在分析非线性数据处理新方法—核方法理论的基础,研究基于一类分类方法的多类分类的基本原理,提出应用于多类分类的可信度函数,使分类的结果更具有可信度.最后,以某企业对供应商关系调查数据为例,将这种方法应用于企业商业关系分析中,结果表明该方法的有效性,为非线性数据分类提供了一种新方法.     

一种新的基于K-means改进SMOTE算法在不平衡数据集分类中的应用

在实际应用中,经常遇到数据分类集合中某一类的样本数量明显少于其他类的样本数量的数据不平衡问题.在二分类数据集中,一般称样本数目多的一类数据集合为正类,样本数目少的一类数据集合为负类.为了提高算法在不平衡数据集下的分类性能,提出了首先利用K-means找出负类中心点,再根据SMOTE基本原理,得出新的数据集.通过对比新数据集和原不平衡数据集在不同算法中的分类应用,结果表明本文改进算法的分类效果得到明显提升,最后用两两配对T检验验证算法的有效性.     

基于马氏距离的TOPSIS决策方法及其应用

针对决策指标之间的相关性问题,将马氏距离引入传统TOPSIS方法,提出了基于马氏距离的TOPSIS方法.在此基础上,分析了基于马氏距离改进后贴近度的性质,并以投资决策方案选择为例加以说明.结果表明,基于马氏距离改进的TOPSIS方法对决策数据的非奇异线性变换具有不变性.协方差矩阵体现了决策指标之间的相关性,因而可以有效避免指标的相关性对决策效果的影响.     

基于LBP算子和类覆盖捕获图的人脸检测算法

针对传统人脸检测中的过分类问题,提出一种结合LBP算子与类覆盖捕获图的人脸检测算法.该算法首先用ε-LBP算子提取人脸图像纹理特征,并把对应不同ε值提取的LBP特征数据加权融合起来,形成人脸图像特征向量,然后采用类覆盖捕获图构造分类器,最终对人脸图像实现有效检测.与传统方法相比,基于随机图理论的类覆盖捕获图能够克服过分类缺陷,比其他近邻图分类器更具优势,性能也比较稳定.实验结果表明,该算法可以有效检测人脸图像,尤其对存在模糊和光照异常的人脸图像具有较高的精确度和鲁棒性.     

数据的多流形结构分析

建立了基于ALM和权值的LRR聚类改进模型,对高维数据进行分析,将其分为两个独立的子空间,并与传统k-means聚类模型进行对比,采用评价指标模型对聚类结果进行评价分析.提出的LRR聚类改进模型在正则项引入了权重系数w,可以更好地将扰动分开,求解结果及评价指标均有效地验证了其稳定性、精确度等性能均有所提升.建立了SMMC改进模型,对机器工件外部边缘轮廓进行分类.从求解结果可看出该模型非常适合用于处理混合多流形聚类问题,对于比较复杂的曲线有着很好的分类性能.按照数据预处理、数据建模分析、模型结果评价步骤,通过使用谱聚类分析和多流形学习方法,对所给出的高维数据进行分析和处理,并通过评价模型得出相应的评价指标,对数据的多流形结构进行了深入的研究和探讨.     

卫星遥测数据的波动特征提取及应用

目前基于遥测数据的卫星在轨状态监测和异常检测,主要通过频谱分析等信号处理方法提取遥测特征,难以适应卫星遥测数据离散取值、数据量大、异常和噪声复杂等特点,所提取的特征量特点不突出,难以满足遥测数据异常检测要求.提出基于波动特征的卫星遥测数据特征提取方法,以遥测数据变化频数或累积变化次数作为卫星遥测数据特征,具有实现简单、快速高效、对异常数据不敏感等特点.基于所提取的波动特征,提出一种基于序贯概率比检验(SPRT)的卫星在轨异常检测方法.实例分析结果表明,所提取的特征量能够较好地识别卫星异常,具有较高的计算效率和较好的检测性能.     

基于数据流形结构的聚类方法及其应用研究

随着信息社会的不断发展,人类已经进入了信息爆炸时代,海量的数据使数据处理变得繁琐复杂,因此如何对现有的高维数据降维、聚类,并在一定程度上消除高维数据中存在的噪声是解决该问题的关键.基于相关的理论知识采用先降维后聚类的步骤,把高维数据按照子空间结构和流形结构两种情况分类,运用稀疏子空间聚类、谱多流形聚类、K-manifolds方法进行建模求解,通过对各种方法的对比,得出谱多流形聚类方法运行速度快,聚类准确度高,是最具有一般性特征的模型.     

基于粗糙集的马田系统改进及其在分类中的应用

马田系统是由日本著名质量工程学家田口玄一提出的一种模式识别方法,它将正交试验设计、信噪比与马氏距离进行集成,筛选有效特征变量,对待测群体进行诊断、评价和预测.马田系统利用正交表和信噪比筛选特征变量可能存在不足之处,而粗糙集是处理不完善、不确定数据等不完全信息并能进行属性约简的有效方法,引入粗糙集筛选有效特征变量以改进马田系统.癌细胞的及早发现有助于乳腺癌的早期预防和及时治疗,以乳腺癌细胞的分类检测为背景,选取UCI数据库中600个细胞作为研究样本,使用改进马田系统方法区分正常细胞和乳腺癌细胞,并将其分类效果与经典马田系统相比较.结果表明,基于粗糙集的改进马田系统对乳腺癌细胞的分类正确率高于经典马田系统,粗糙集方法大大减少了特征变量个数,可简化数据的收集工作,为医疗上乳腺癌疾病的早期诊断及其他实际分类工作提供技术参考.     

模糊C均值算法的改进

模糊聚类分析方法具有较强的实用性,但传统的模糊C均值算法对数据集进行分类时有均分的趋势,对于数据集中各类样本数目相差较大的情况,其聚类结果不是很理想.因此,本文对FCM算法进行了改进,使之不但能够达到更好的分类效果,同时也更加适用于样本分类不均衡的聚类问题.文中还结合具体算例进行了聚类分析,得到了理想的分类效果.     

基于流特性的网络流量异常检测研究

随着因特网规模的不断扩大和复杂化,各种异常行为频繁发生.有效地检测出网络中的流量异常行为,对于保证网络正常运行具有很重要的意义.文章提出了一种根据非饱和链路中的流特性的网络流量异常检测算法.该算法综合利用了指数加权移动平均(exponentially weighted moving average,EWMA)预测模型检测突变异常和均衡模型(equilibrium model,EQM)检测相关性流异常的能力,对链路流量进行建模,检测链路中流量异常.实验结果分析表明:对比于其他检测算法,文章提出的方法能够有效地检测多类异常,并具有很好的检测效果.     

多元系统马氏田口方法的诊断与分析研究

马氏田口方法是研究多元系统的一种新方法,主要用于建立和优化多元系统的测量表,以便采用优化后的测量表进行诊断/预测。本文基于马氏田口方法四大基本步骤和MYT正交分解对马氏田口方法进行了拓展研究。首先,介绍了马氏田口方法的四大基本步骤;接着介绍了MYT正交分解法,并将MYT正交分解法应用于多元系统的马氏田口方法异常值潜在原因分析;最后,利用拓展后的马氏田口方法对某医院血粘度诊断系统进行了优化,同时对利用优化后的测量表进行诊断时发现的异常值进行了潜在原因分析,取得了良好的效果。     

弹性判别分析在纸币鉴别中的分类应用

分类在许多领域都是重要问题,弹性判别分析是有效解决多类问题的分类方法.基于纸币的四个属性,应用这个方法来鉴别纸币的真伪.运用统计软件R可以得到:训练集的最高准确率达到99.64%,对应检测集的错误率为0.73%.同时,由于回归模型的多样性,弹性判别分析有多种形式.根据数据的特征可以提出适当的方法,对于纸币鉴别的数据集,最好的弹性判别分析的形式应用了带有适应选择项和样条光滑参数的加性模型.     

一个贝叶斯聚类方法及应用

聚类分析是研究对样品或指标进行综合分类的一种多元统计分析方法.聚类结果常表现为树状图的形式.如何合理确定聚类的个数,一直是一个比较困难的问题,至今没有很好的解决方案,尤其当样本量较大时,树状图层次较多,很难直观确定聚类个数.介绍一种基于贝叶斯理论的聚类方法,通过对后验似然最大化的原则确定最佳聚类个数和方案,避免了聚类个数选择的主观性.一个已知分类情况的实际数据验证了该聚类方法的有效性.     

大型仪器利用情况调查数据异常值检测的数学方法比较

高质量的决策越来越依赖于高质量的数据挖掘及其分析,高质量的数据挖掘离不开高质量的数据.在大型仪器利用情况调查中,由于主客观因素,总是致使有些数据出现异常,影响数据的质量.这就需要通过适用的方法对异常数据进行检测处理.不同类型数据往往需要不同的异常值检测方法.分析了大型仪器利用情况调查数据的总体特点、一般方法,并以国家科技部平台中心主持的"我国大型仪器资源现状调查"(2009)中大型仪器使用机时和共享机时数据为主线,比较研究了回归方法、基于深度的方法和箱线图方法等对不同类型数据异常值检测的适用性.选取不同角度,检验并采用不同的适用方法,找出相关的可疑异常值,有助于下一步有效开展大型仪器利用情况异常数据的分析处理,提高数据质量,为大型仪器利用情况综合评价奠定基础,也为科技资源调查数据预处理中异常值检测方法提供有益借鉴.     

马氏距离聚类分析中协方差矩阵估算的改进

本文考虑了变量权重和样本类别的影响,建立了马氏距离聚类过程中评估协方差矩阵的迭代法。以Fisher的iris数据为样本,运用欧氏距离一般聚类、主成分聚类、改进前后的马氏距离聚类方法,进行实证分析和比较,结果表明本文所提出的新方法准确率至少提高了6.63%。最后,运用该方法对35个国家的相关指标数据进行聚类分析,确定了各国的卫生保健状况等级。