函数型聚类分析方法研究

基于距离度量的函数型数据聚类是目前函数型聚类分析方法的主要研究方向之一,而该方法主要是基于数值距离或曲线形态的单一角度来衡量函数型数据的相似性.为了解决这种单一性,提出一种同时兼顾函数型数据的数值距离和曲线形态的相似性度量方法—基于极值点偏差补偿的相似性度量,并给出实证分析,结果显示该方法比较有效.进一步提出一种多元函数型聚类分析方法—函数型熵权法,丰富了函数型聚类分析方法.     

一种函数型数据的聚类分析方法

分析了函数型数据主成分分析的原理。在此基础上,提出了一种函数型数据的聚类分析方法,以及在低维空间对原始高维数据进行直观表达的方法。给出了函数型数据的距离定义,并分析了这种距离的定义与欧氏距离的关系。提出函数型数据聚类分析的新方法:1)通过变换把离散数据转化为函数数据;2)进行函数型主成分分析;3)利用提取的前几个主成分构成低维空间,在该低维空间中,采用普通的聚类方法进行聚类分析。采用人体肢体多普勒超声血管造影的数据对所提出的方法的合理性进行验证。结果表明该方法可以有效地对函数型数据进行分类,分类结果与专家临床结论相符,因而有助于临床上对样本做客观判断。该方法不依赖专家的经验判断,且计算过程简便,易于计算机实现及临床应用。     

基于自适应权重的函数型数据聚类方法研究

基于有限维离散数据的传统聚类分析并不能直接用于函数型数据的分类挖掘。本文针对函数型数据的稀疏性和无穷维特殊性展开讨论,在综合剖析现有函数型聚类方法优势与不足的基础上,依据聚类指标的信息量差异重构加权主成分距离为函数相似性测度,提出了一种函数型数据的自适应权重聚类分析。相对同类函数型聚类算法,新方法的核心优势在于:(1)自适应赋权的距离函数体现了聚类指标分类效率的差异,并且有充分的理论基础保证其必要性和客观合理性;(2)基于有限维离散数据的聚类实现了无限维连续函数的聚类,能够显著降低计算成本。实证检验表明,新方法的分类正确率明显提高,能够有效解决传统聚类算法极端情形下的失效问题,有着复杂函数型数据分类问题下的灵活性和普遍适用性。     

函数型聚类分析:基于距离的一步法框架

基于距离的函数型聚类分析包含曲线拟合和聚类两个独立步骤,最优曲线拟合未必有利于类别信息的提取和保留。根据曲线拟合与聚类分析的计算过程,重新梳理了函数型聚类算法;基于距离度量,提出了同时考虑拟合和聚类效果的函数型聚类一步法;在交替方向乘子法(ADMM)框架下推导并给出了迭代求解算法。模拟试验结果显示,该函数型聚类算法有助于提高聚类精度;针对北京市空气质量监测站点二氧化氮(NO_2)污染物小时浓度数据的实例验证分析表明,该函数型聚类算法对不同类别空气质量监测点具有更好的区分度。     

大数据背景下基于expectile回归模型的分布式优化方法研究

随着大数据时代的到来,运用统计的思维和方法挖掘隐藏在数据里的价值成为大数据领域的热门研究方向.数据挖掘的常用方法是回归分析,最小二乘回归只对因变量均值做出估计,而expectile回归可以估计因变量的整体分布.本文以大数据为背景,在expectile回归模型下,提出分布式存储数据的思想,并通过构造全局损失函数的一个替代损失函数,设计Proximal-ADMM算法对模型中的参数进行估计.达到了仅使用局部样本就可有效评估全局损失函数的目的,解决了大数据中样本量大导致的计算成本昂贵的问题.     

函数型数据回归分析综述

随着计算机储存能力和在线观测技术的提高,当今数据越来越多的以曲线和图像的形式存在.曲线和图像数据两个最显著的特征是高维和相邻数据间高度相关.这些特征使得传统的多元统计分析方法不再适合,而函数型数据在处理曲线和图像数据中具有无可比拟的优势.近年来各种各样的函数型数据分析方法得以发展,其中包括数据的对齐、主成分分析、回归、分类、聚类等.本文主要介绍函数型数据回归分析研究的起源、发展及最新进展.具体地,本文首先介绍函数型数据的概念;其次介绍函数型主成分分析方法;再次着重介绍函数型回归模型的估计、变量选择和检验方法;最后将简要探讨函数型数据未来的可能发展方向.     

中国股市投资者情绪指数的函数型构建方法研究

针对中国股市投资者情绪的连续动态测度,基于离散数据的函数化建模思想,提出了函数型投资者情绪指数-FISI。以上证综指和深证成指为对比基准,定性分析了FISI波动与中国金融市场实际运行的匹配程度,并定量检验了FISI相较现有投资者情绪指数的相对优势。研究发现:应用拓展双参数广义交叉验证选取六个情绪指标的粗糙惩罚参数相差较大,说明独立地对每一情绪指标进行函数化处理的必要性;基于信息自适应迭代更新的六个函数型熵权都频繁波动,说明构建综合情绪指数时进行动态赋权的重要性。相较现有投资者情绪指数,FISI的核心优势在于:能够测度投资者在任意时刻的情绪水平,其波动特征能够有效体现市场实际运行的重要事件,并且其与沪深两市的相关程度相对更高。最后,结合大数据时代的数据特征,展望了函数型投资者情绪指数未来的研究方向。     

多指标面板数据的聚类分析及其应用

多指标面板数据的多元统计分析在国内研究中尚属空白.本文分析了面板数据的数据格式和数字特征,根据聚类分析原理,重新构造了多指标面板数据的距离函数和离差平方和函数,在此基础上,说明了多指标面板数据的聚类分析过程.最后对我国各地区工业企业生产效率进行了聚类实证分析,显示了良好的效果。     

函数型自适应权重聚类分析的再拓展

离散视角下,函数型自适应权重聚类的有效性取决于基函数的最优选择,目前尚无客观统一准则。基于随机过程的Karhunen-Loeve展开定理,本文对函数型自适应权重聚类分析进行了连续视角的进一步拓展。相对现有同类函数型数据聚类分析,拓展模型的核心优势在于:(1)基于Karhunen-Loeve展开实现了函数空间向多元统计空间的过渡,避免了人为选择基函数的主观任意性;(2)依据变量重要程度重构自适应权重距离为函数之间的相似性测度,并有充分的理论基础保证其必要性、合理性;(3)在充分保留原始数据信息的前提下,能够应用经典的有限维多元分析方法解决无限维的函数型聚类问题。实证检验表明,新模型能够降低聚类过程的计算成本,显著提升分类正确率、稳健性和普遍适用性。     

基于函数型非参数方法的气温数据预测分析

基于函数型非参数核回归估计的方法分析安徽省1955年至2010年月度平均气温数据,建立函数型非参数回归模型,并对2010年气温数据进行实证研究.同时,与经典的非参数回归模型的预测结果相比,本文方法的预测均方误差明显优于经典的非参数回归方法,体现出函数型非参数模型的优越性.