基于自适应权重的函数型数据聚类方法研究

基于有限维离散数据的传统聚类分析并不能直接用于函数型数据的分类挖掘。本文针对函数型数据的稀疏性和无穷维特殊性展开讨论,在综合剖析现有函数型聚类方法优势与不足的基础上,依据聚类指标的信息量差异重构加权主成分距离为函数相似性测度,提出了一种函数型数据的自适应权重聚类分析。相对同类函数型聚类算法,新方法的核心优势在于:(1)自适应赋权的距离函数体现了聚类指标分类效率的差异,并且有充分的理论基础保证其必要性和客观合理性;(2)基于有限维离散数据的聚类实现了无限维连续函数的聚类,能够显著降低计算成本。实证检验表明,新方法的分类正确率明显提高,能够有效解决传统聚类算法极端情形下的失效问题,有着复杂函数型数据分类问题下的灵活性和普遍适用性。     

我国各地区人口素质差异的主成分和聚类分析

本文利用国家统计局人口变动情况抽样调查数据，运用主要成分和聚类分析方法，揭示了１９９７年我国３０个省份（不包括西藏）的人口素质差异。首先通过人口素质指标体系确立人口素质的综合指标，在此基础上来评价各地的人口素质状况，并按其素质的高低将全国３０个省份的人口素质状况分为四大类，同时，对各省人口素质存在差异的原因进行了归纳和总结     

基于多维面板数据的聚类方法探析及实证研究

面板数据由于能够从截面和时间构成的二维空间来描述研究对象的动态特征而被广泛应用于经济问题的建模实践中。本文借鉴多元统计学中主成分分析方法对面板数据进行降维处理,然后通过构建综合评价函数序列矩阵的相似指标对面板数据进行聚类分析,并提出一些研究面板数据亲疏关系的有效途径,最后运用该算法对我国地区科技能力进行实证分析,结果与实际状况较为吻合.     

函数型聚类分析方法研究

基于距离度量的函数型数据聚类是目前函数型聚类分析方法的主要研究方向之一,而该方法主要是基于数值距离或曲线形态的单一角度来衡量函数型数据的相似性.为了解决这种单一性,提出一种同时兼顾函数型数据的数值距离和曲线形态的相似性度量方法—基于极值点偏差补偿的相似性度量,并给出实证分析,结果显示该方法比较有效.进一步提出一种多元函数型聚类分析方法—函数型熵权法,丰富了函数型聚类分析方法.     

函数型数据聚类分析研究综述与展望

函数型数据是大数据时代的典型数据,也是大数据分析的重要视角,其稀疏粗糙、无穷维、低信噪比等复杂特性导致传统聚类分析方法凸显诸多弊端。为了厘清函数型数据聚类分析的研究现状,在界定函数型数据概念与内涵基础上,本文依据方法原理差异将函数型数据聚类分析方法划分为四类,理论剖析并模拟检验每一类别方法的相对优势和存在的不足。最后,针对现有研究尚待解决的关键问题,并结合大数据时代的数据特征,展望了函数型数据聚类分析的未来研究方向。     

海水富营养化评价的主成分-聚类分析方法

根据主成分分析和聚类分析理论 ,针对海水富营养化评价因子间的相关性 ,提出了海水富营养化的主成分 -聚类分析综合评价方法 .该方法能根据实测资料对海水富营养化状况客观地分类并计算出评价权值 ,避免了主观随意性 .将其应用于 2 0 0 0年 5月至 2 0 0 1年 5月柘林湾海水富营养化程度的分类与评价 ,结果与实际吻合 .     

一种扩展聚类分析方法

本文定义了聚类中心以及点到聚类中心的距离，提出了一种平面点集的动态聚类分析方法。     

函数型数据回归分析综述

随着计算机储存能力和在线观测技术的提高,当今数据越来越多的以曲线和图像的形式存在.曲线和图像数据两个最显著的特征是高维和相邻数据间高度相关.这些特征使得传统的多元统计分析方法不再适合,而函数型数据在处理曲线和图像数据中具有无可比拟的优势.近年来各种各样的函数型数据分析方法得以发展,其中包括数据的对齐、主成分分析、回归、分类、聚类等.本文主要介绍函数型数据回归分析研究的起源、发展及最新进展.具体地,本文首先介绍函数型数据的概念;其次介绍函数型主成分分析方法;再次着重介绍函数型回归模型的估计、变量选择和检验方法;最后将简要探讨函数型数据未来的可能发展方向.     

基于主成分聚类分析方法的城市公共服务设施承载力差异性评价

承载政府基本公共服务职能和保障城市运行的城市公共服务设施在实现基本公共服务均等化、促进城市经济社会发展中具有十分重要的作用.由于各地城市化进程和城市居民公共服务需求的不一,带来不同城市公共服务设施承载力水平的不同.通过构建城市公共服务设施承载力评价体系,运用主成分和聚类分析方法对全国35个城市的公共服务设施承载力进行综合评价,发现各城市的优势和差异,为促进各城市公共服务设施的均衡配置提供决策参考.     

一种扩展的动态聚类分析方法

本文定义了聚类中心以及点到聚类中心的距离，提出了一种平面点集的动态聚类分析方法。     

基于集成综合评价法和聚类分析法的综合评价方法

针对传统的主成分分析法在数据无量纲化中"中心标准化"的缺点,提出了改进的主成分分析方法,并建立了一种基于集成综合评价法和聚类分析法的新的综合评价方法,通过黑龙江省各城市综合竞争力的统计分析结果说明该方法能有效的得出合理结果.     

���������ݻع��������

With the advance of computer storage capacity and online observation technique, more and more data are collected with curves and images. The most two important feature of curve and image data are high-dimension and high correlation between adjacent data. Functional data analysis has more advantage in deal with these data, which can not be treated by traditional multivariate statistics methods. Recently, a variety of functional data methods have been developed, including curve alignment, principal component analysis, regression, classification and clustering. In this paper, we mainly introduce the origins,development and recent process of functional data. Specifically, we firstly introduce the notion of functional data. Secondly, functional principal component analysis has been presented. Then, this paper is devoted to introduce estimation, variable selection and hypothesis testing of functional regression models. Lastly, the paper concludes with a brief discussion of future directions.     

Principal Component Analysis of Two-Dimensional Functional Data

This article presents and compares two approaches of principal component (PC) analysis for two-dimensional functional data on a possibly irregular domain. The first approach applies the singular value decomposition of the data matrix obtained from a fine discretization of the two-dimensional functions. When the functions are only observed at discrete points that are possibly sparse and may differ from function to function, this approach incorporates an initial smoothing step prior to the singular value decomposition. The second approach employs a mixed effects model that specifies the PC functions as bivariate splines on triangulations and the PC scores as random effects. We apply the thin-plate penalty for regularizing the function estimation and develop an effective expectation–maximization algorithm for calculating the penalized likelihood estimates of the parameters. The mixed effects model-based approach integrates scatterplot smoothing and functional PC analysis in a unified framework and is shown in a simulation study to be more efficient than the two-step approach that separately performs smoothing and PC analysis. The proposed methods are applied to analyze the temperature variation in Texas using 100 years of temperature data recorded by Texas weather stations. Supplementary materials for this article are available online.     

广东省经济发展状况的统计分析

选取广东省21个地级以上市为样本,对广东省经济发展现状进行统计分析.选取影响经济发展的主要指标,并进行分析认证.利用主成分分析法得出影响经济发展的两个主要成分"综合经济发展实力"和"社会富裕程度",根据这两个主成分对21个市的经济发展状况进行排序和综合评价.最后运用聚类分析法将广东省21个市分为三个区域.通过全方位地分析广东省各市经济社会的发展水平及差距,为广东省各市实现均衡发展提供一些理论依据和合理化建议.     

高维稳健主成分聚类方法及其应用研究

随着信息技术的高速发展,每条数据所包含的信息越来越丰富,使得数据不可避免地含有异常值,且随着维数的增加,异常值出现的可能性更大。传统的主成分聚类分析对异常值特別敏感,基于MCD估计的主成分聚类方法虽然对异常值具有防御作用,但是在高维数据下MCD估计的偏差过大,其稳健性显著降低,而且当维数大于观测值个数时MCD估计失效。为此本文提出了基于MRCD估计的稳健主成分聚类方法,数值模拟和实证分析表明,基于MRCD估计的主成分聚类分析的效果优于传统的主成分聚类分析和基于MCD估计的主成分聚类分析,尤其是在维数大于样本观测值的情况下,MRCD估计更为有效。     

河流水质综合评价之主成分分析方法

文章提出水质综合评价的主成分分析方法 ,并以该方法对湟水流域内典型断面的水质污染程度进行定量化评价 ,实证分析的结果表明 :主成分分析方法是一种切实可行的水质综合评价方法 ,对其它环境质量评价问题亦有一定参考价值     

基于主成分分析的网络搜索数据合成方法研究

针对利用网络搜索数据合成各类指数时难以消除共线性、难以合理确定各指标权重等问题,基于数据降维的思想构建了以主成分分析法为核心的指数合成方法,并以利用网络搜索数据合成消费者物价指数为例,将提出的方法与当前主流的逐步回归法做出比较研究.研究结果表明,基于主成分分析法的数据合成方法可以得到稳定性和拟合度更高的指数.     

求解鲁棒主成分分析的新交替下降方向法

鲁棒主成分分析作为统计与数据科学领域的基本工具已被广泛研究,其核心原理是把观测数据分解成低秩部分和稀疏部分.本文基于鲁棒主成分分析的非凸模型,提出了一种新的基于梯度方法和非单调搜索技术的高斯型交替下降方向法.在新算法中,交替更新低秩部分和稀疏部分相关的变量,其中低秩部分的变量是利用一步带有精确步长的梯度下降法进行更新,...     

山东省科技人力资源发展现状与对策

科技人力资源在培育一个国家乃至一个省市的经济增长点方面起到举足轻重的作用.文章分析了山东省科技人力资源现状,并结合山东省的实际情况,构建了科技人力资源的综合评价指标体系,并运用多元统计分析中的主成分和聚类分析法对该省的17个市的科技人力资源情况进行了综合评价和分析,在此基础上为增加山东科技人才存量和提升科技创新水平提出了相应的对策.