基于改进距离孤立点检测预处理的LTSA算法

局部切空间排列算法(LTSA)是一种有效的流形学习方法,但该算法对孤立点的存在非常敏感.本文提出了一种快速有效的数据预处理方法-基于改进距离的孤立点检测方法来降低孤立点对LTSA算法的影响.该方法通过改进距离来度量样本点之间的距离,降低了样本点分布不均给孤立点检测算法带来的影响.实验表明,该数据预处理方法能有效地提高LTSA算法的鲁棒性,可以更好的挖掘数据集的本征特性,具有更好的数据可视化效果.     

基于离群点检测的鲁棒局部切空间排列方法

研究局部切空间排列方法(LTSA)对离群点的敏感性,提出一种基于离群点检测的鲁棒局部切空间排列方法(RLTSA).该方法用样本点到切空间的投影距离检测离群点.在构造样本点局部邻域时,RLTSA尽可能排除离群点,以构造稳定的局部邻域,而对离群点,RLTSA把它们投影到更高维的切空间,以减少离群点的投影距离. 模拟实验和实际例子说明,新方法能提高局部切空间排列方法处理离群样本点的能力.     

基于局部最大距离的孤立点检测算法的研究

孤立点检测是数据挖掘研究中的一项重要内容,其目标是发现数据集中行为异常的数据对象．本文在局部稀疏系数算法的基础上提出了基于局部最大距离的局部孤立点检测算法,该算法提出检测孤立点只需计算它的最近邻居对象的最大距离．实验结果表明,该算法发现局部孤立点是高效的。     

基于距离和的孤立点检测在税务系统中的应用

在基于距离的孤立检测算法的基础上,讨论了基于距离和的孤立点检测算法,并将CURE聚类算法中使用的抽样算法应用于对该算法中的数据抽取,并创新地将该算法应用于纳税行为分析.结果表明,此算法可以有效地检测出纳税行为中的异常现象即孤立点,对纳税行为的分析有非常有效的作用.     

基于距离和密度的聚类和孤立点检测算法

提出了一种基于距离和密度的聚类和孤立点检测算法.该算法根据距离和密度阈值对数据进行聚类,同时发现数据中的孤立点.实验结果表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好的识别出孤立点.     

一种基于距离的聚类和孤立点检测算法

提出了一种基于距离的聚类和孤立点检测算法(DBCOD),根据距离阈值对数据点进行聚类,在聚类过程中记录每个数据点的密度,并根据密度阈值确定数据点是否为孤立点.实验结果表明,该算法不仅能够对数据集进行正确的聚类,可以发现任意形状的聚类,算法执行效率优于DBSCAN,具有对噪音数据、数据输入顺序不敏感等优点,同时还能有效地进行孤立点检测.     

一种改进的基于距离的孤立点挖掘算法的研究

对经典的基于距离的孤立点挖掘算法进行了改进,引入"关键属性",即减少了挖掘的数据量,从而提高了孤立点挖掘的效率,并且改进常用距离度量,用改进的加权曼式距离进行计算,降低了数据分布不均给检测结果带来的影响,同时改进后的挖掘算法在不影响挖掘结果的情况下取消了对参数设置的要求,给出了孤立点孤立的程度.     

基于子空间距离的局部切空间增量学习

提出一种基于子空间距离的局部切空间增量学习方法ISLTSA。首先采用基于划分的简化局部切空间排列算法SLTSA,把初始样本集划分为彼此重叠的多个局部最大线性片;然后引入向量到子空间的距离测度描述新数据点与局部最大线性片的接近程度,并将新数据点归入距离其最近的局部最大线性片中;最后,新数据点的全局低维坐标可由局部线性子空间与全局低维流形的仿射变换计算得出。对多个经典数据集的降维结果表明,ISLTSA算法能够保留数据集的局部几何性质,是一种有效的非线性增量学习方法。     

基于非线性流形学习的喘振监测技术研究

为了提取压缩机喘振发作时表现出的非线性特性,引入了一种新的喘振特征提取方法.首先对原始信号进行多元统计分析,构造高维特征空间,然后利用局部切空间排列的流形学习方法提取出一维主流形,进而通过主流形几何结构的变化来反映系统的非线性变化.分析结果表明,与相关积分方法相比,该方法可以提前1 s识别出喘振特征,并且能够降低误报率,因此在喘振监测中具有良好的应用前景.     

基于DS的孤立点检测在瓦斯浓度判定中的应用

对几种孤立点检测算法进行介绍,总结它们的特点.针对孤立点检测算法的一些弊端和瓦斯浓度的实际情况,选择一个基于DS(距离和)的孤立点检测算法实现对瓦斯浓度的异常数据进行分析处理,找到真正的异常数据,保证煤矿安全预警的准确性.     

基于倒谱距离的语音端点检测改进算法

在讨论传统倒谱距离语音端点检测算法不足的基础上,提出了一种改进方案,该方法首先估计短时信噪比,然后由统计方法确定短时信噪比与门限的关系,进而完成正确的语音端点判决。通过对3种典型噪声环境下信噪比从-5 dB到20 dB的带噪语音信号进行的仿真实验结果表明,所提方法能更为准确地检测到语音端点。     

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.     

基于均值漂移模型的异常值检测方法

由于异常值的存在对统计推断有很大影响,因此异常值检测是数据分析中的一个重要步骤。对于横截面数据的线性模型,改写模型的设计矩阵后,基于均值漂移模型,利用系数压缩估计方法来进行异常值检测。由于系数压缩估计中调节参数的选择对检测效果有很大影响,基于两种调节方法的加权,提出了一种新的调节方法。数值模拟结果表明,使用这种基于均值漂移模型的异常值检测调节方法,可以显著降低犯两种错误的概率。     

基于WTLS的部分最小二乘粗差探测法

针对平差时EIV模型中所含粗差的问题,提出了EIV模型的粗差探测法,利用变形后的加权总体最小二乘法依次对假设不含粗差的一组观测向量进行平差计算,然后通过平差后所得到的单位权方差估计值的大小对观测向量进行分组,从而达到粗差定位的目的。通过算例分析比较,得出在观测值独立等精度时,本文的方法可以有效的发现观测数据所存在的粗差。     

基于改进的Hausdorff距离的字符识别方法

为了提高字符识别的正确率和速度,本文提出了一种改进的Hausdorff距离的字符识别方法.实验结果表明,该方法在印刷体数字识别中达到100%的识别率,在字母识别中,除个别被噪声严重污染和结构特征极其接近的字母外也得到了正确的识别效果,且改进后的运算速度提高了一倍左右.     

一种改进的聚类和孤立点检测算法

对基于距离的聚类及基于密度的孤立点检测方法进行了分析研究,提出了一种基于距离和密度的聚类和孤立点检测算法DDBCOD.该算法根据距离和密度阈值对数据进行聚类,并发现数据中的孤立点.实验表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好地识别出孤立点.     

Outlier Detection Algorithm Based on Iterative Clustering

A novel approach for outlier detection with iterative clustering( ICOD) in diverse subspaces is proposed. The proposed methodology comprises two phases,iterative clustering and outlier factor computation. During the clustering phase, multiple clusterings are detected alternatively based on an optimization procedure that incorporates terms for cluster quality and novelty relative to existing solution. Once new clusters are detected,outlier factors can be estimated from a new definition for outliers( cluster based outlier), which provides importance to the local data behavior. Experiment shows that the proposed algorithm can detect outliers which exist in different clusterings effectively even in high dimensional data sets.