基于稀疏自编码器的金融市场指数预测模型

针对高维数据"维数灾难"问题,降维是最典型的处理方式之一。降维技术不仅可以减弱"维数灾难"的负面影响,而且能够剔除高维数据中的冗余特征,从而提升高维数据回归、分类等任务的效率。高维数据通常呈现出复杂或非线性结构,恰当的降维方法可以有效地将高维特征数据投影至低维空间,以实现原始数据的非线性特征提取。本文尝试使用无监督学习模型稀疏自编码网络对金融高维数据进行非线性特征提取,将提取到的特征作为有监督学习模型BP神经网络的输入以预测指数收益率。更进一步地,为了验证稀疏自编码算法在特征提取方面的优势与有效性,本文引入稀疏主成分模型进行对比分析。实证分析显示:本文所使用的稀疏自编码网络能够较好地提取非线性特征并进行预测,其预测精度优于以稀疏主成分为代表的线性降维方法。     

稀疏数据非线性降维的CN-Isomap算法

针对经典的流形学习算法Isomap在非线性数据稀疏时降维效果下降甚至失效的问题,提出改进的切近邻等距特征映射算法(Cut-Neighbors Isometric feature mapping,CN-Isomap).该算法在数据稀疏的情况下首先通过有效识别样本点的"流形邻居"来剔除近邻图上的"短路"边,然后再通过最短路径算法拟合测地线距离,使得拟合的测地线距离不会偏离流形区域,从而低维嵌入映射能够正确地反映高维输入空间样本点间的内在拓扑特征,很好地发现蕴含在高维空间里的低维流形,有效地对非线性稀疏数据进行降维.通过对Benchmark数据集的实验表明了算法的有效性.CN-Isomap算法是Isomap算法的推广,不仅能有效地对非线性稀疏数据进行降维,同样也适用于数据非稀疏的情况.     

基于分形流形学习的支持向量机空气污染指数预测模型北大核心CSCD

针对目前北京、上海和广州地区较严重空气污染问题,建立了基于分形流形学习的支持向量机空气污染指数预测模型.首先采用分形理论计算出空气污染数据集分形维数;其次根据分形维数,采用流形学习将高维空气污染数据集通过非线性映射嵌入到低维空间中,对空气污染数据集进行降维;最后建立基于高斯核的支持向量机预测模型对三地区空气污染指数进行预测.北京、上海和广州三地空气污染指数预测结果表明,该模型较传统预测模型,预测性能更优,具有良好的稳定性和有效性.     

稀疏降维的近似凸壳覆盖一类分类器构造

针对高维数据集常常存在冗余和维数灾难,在其上直接构造覆盖模型难以充分反映数据分布信息的问题,提出一种基于稀疏降维近似凸壳覆盖模型.首先采用同伦算法求解稀疏表示中l_1优化问题,通过稀疏约束自动获取合理近邻数并构建图,再通过LPP(Locality Preserving Projections)来进行局部保持投影,进而实现对高维空间快速有效地降维,最后在低维空间通过构造近似凸壳覆盖实现一类分类.在UCI数据库,MNIST手写体数据库和MIT-CBCL人脸识别数据库上的实验结果证实了方法的有效性,与现有的一类分类算法相比,提出的覆盖模型具有更高的分类正确率.     

scSimseq:非参数单细胞RNA测序数据模拟方法

随着新一代测序技术的广泛使用,单细胞RNA数据逐渐成为研究的主流对象.然而,直接从生物体上获取单细胞RNA数据往往需要付出不小的成本.如何简单快捷地获取这些数据便是一个重要的问题.为了满足对比实验的需要,单细胞RNA数据的模拟方法通常除了模拟数据的统计量和原始数据接近以外,还需要在模拟数据中能够保留原数据的基因和细胞样本.在这里我们介绍了一种基于数据的模拟方法,在保留原数据的基因和细胞样本的基础上,不但可以低成本地模拟单细胞RNA数据,同时保证模拟结果和原数据在大部分特征上相似.通过大量数值实验证明,本文介绍的方法在基因表达的离散程度、0表达比例、表达异常值等方面都优于其他模拟方法,而且和实际数据更加接近.     

微生物组学中的高维计数和成分数据分析

人体微生物组对人体健康和疾病起着重要作用.高通量测序技术的发展使得我们可以定量分析微生物组中所有菌种的成分.本文回顾近来在微生物组学研究中的高维计数和成分数据分析方法,其中包括Dirichlet多项分布模型及其拓展、从大维稀疏计数矩阵估计成分数据、高维成分回归和基于对数基底的成分数据统计推断方法.     

基于人工鱼群和分形学习的雾霾天气预报方法

针对目前较严重的雾霾污染,雾霾天气预报显得十分重要,通过将改进人工鱼群算法和分形学习相结合,提出了基于人工鱼群和分形学习的雾藕天气预报方法.首先对人工鱼群算法离散化改进,结合分形学习理论降维雾霾数据;其次运用支持向量机和5-折交叉验证技术分类分布可能不平坦的数据集;最后建立雾霾天气预报模型.实验结果表明,数据降维后更有利于提高分类器性能,与传统预报方法相比,预报性能更优,具有较高的稳定性和可信性.     

多指标可加模型及在医疗费用预测中的应用

对医疗费用的建模分析与合理预测是医疗保险费用厘定的基础与根本.医疗费用中的高维附加信息在长期预测中具有重要作用.然而,传统的统计建模方法不适用于处理高维纵向数据下的医疗费用.本文提出部分线性多指标可加模型,对具有高维特征的纵向医疗费用数据进行拟合与预测,并且使用两种不同的降维估计方法进行模型估计,并将该模型应用于一组含...     

对参数带约束条件的生存模型的回归分析

为了降低成本、提高研究效率,对与时间相依的数据,有偏抽样方法是广泛应用的基础抽样方法.在建模过程中,它可以从参数的先验信息中提取更有价值的信息.随着数字信息的发展,在许多领域都可以收集到协变量维数大于样本容量的高维数据.变量选择法和独立筛选法是非常有效的降维方法.在比例风险模型中,对参数带有约束条件的回归分析,采用了修正的MM算法,但对不同的模型,此优化算法不再适用.为了克服优化问题的计算复杂难实现的困难,将蚁群算法和粒子群算法等优化算法应用到参数带约束条件的回归分析中.     

基于分形流形学习的支持向量机空气污染指数预测模型

针对目前北京、上海和广州地区较严重空气污染问题,建立了基于分形流形学习的支持向量机空气污染指数预测模型.首先采用分形理论计算出空气污染数据集分形维数;其次根据分形维数,采用流形学习将高维空气污染数据集通过非线性映射嵌入到低维空间中,对空气污染数据集进行降维;最后建立基于高斯核的支持向量机预测模型对三地区空气污染指数进行预测.北京、上海和广州三地空气污染指数预测结果表明,该模型较传统预测模型,预测性能更优,具有良好的稳定性和有效性.     

线性低秩逼近与非线性降维

综合分析介绍了在线性与非线性数据约化两方面的最新工作: 对线性情形, 讨论了列分块矩阵奇异值分解的结构分析和稀疏低秩逼近方法与算法; 对非线性情形, 研究了非线性降维与流形学习的方法. 这些问题均为数据挖掘 与机器学习领域极受关注的研究课题.     

部分线性模型在北京市税收分析和预测中的应用

首先运用主成分分析方法对北京市经济指标数据进行降维处理,然后基于降维后的数据拟合部分线性模型.将拟合后的模型对2008年北京市税收进行预测,所得结果优于常用的逐步线性回归分析方法的预测结果.     

可加风险模型下现状数据的降维问题

文章基于可加风险模型假设,采用偏最小二乘回归和有监督的主成分回归两种投影降维方法,研究了高维协变量情况下现状数据的降维问题。通过深入地模拟试验,对比两种降维方法在高维相关现状数据的生存预测方面的表现,最后将两种降维方法结合实际数据集进行实证分析。模拟和实证结果表明这两种降维方法能很好地处理具有高维、强相关协变量的小样本数据集,比如基因微阵列数据。在后续的研究中,有望将现状数据扩展至其它更一般的区间删失数据。     

基于灰关联聚类降维数据空间的GM(1,n)预测模型

按照时间顺序,记粮食产量与影响它的生产条件为数据序列,根据灰色关联的基本原理计算他们之间的关联系数,通过对比系数值的大小,分别将和粮食产量关系密切的一些生产因素聚为一类,系数较小的一些因素聚为另一类.接着以两组数据为基础建立GM(1,n)预测模型,预测粮食的产量.发现第一组的预测值与实际统计值相对误差较小,且在模型精度规定范围之内,由此,说明可以通过灰色关联分析方法对影响粮食产量的多个生产因素降维、聚类、重组数据空间做研究.     

基于数据流形结构的聚类方法及其应用研究

随着信息社会的不断发展,人类已经进入了信息爆炸时代,海量的数据使数据处理变得繁琐复杂,因此如何对现有的高维数据降维、聚类,并在一定程度上消除高维数据中存在的噪声是解决该问题的关键.基于相关的理论知识采用先降维后聚类的步骤,把高维数据按照子空间结构和流形结构两种情况分类,运用稀疏子空间聚类、谱多流形聚类、K-manifolds方法进行建模求解,通过对各种方法的对比,得出谱多流形聚类方法运行速度快,聚类准确度高,是最具有一般性特征的模型.     

一种区间数的因子分析技术及其在证券市场中的应用

传统的因子分析技术能够有效地对高维变量空间进行降维处理,但它对于样本空间却缺乏行之有效的降维效果.为了解决这一问题,一种针对大量样本数据、新的因子分析技术———区间数因子分析技术(intervaldatafactoranalysis,IFA)被提出并得到了迅速的发展。IFA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点维度的双重降维。本文详细阐述了区间数因子分析技术的原理,并以中国股票市场为案例研究背景,结果表明IFA分析技术对大规模多维数据系统做综合简化是十分有效的。     

QTT分解及其在高维数字信号处理上的应用

近几年张量列(TT)和量子化张量列(QTT)分解方法被证明是一种非常有效的特征降维工具,并已广泛应用于PDE、算法加速和信号处理等领域.给出了关于QTT分解的一些新结果.首先用分块张量的方法扩展了QTT的定义,使之适用于更加复杂的降维问题.同时指出新定义的QTT分解也是一种基于流形学习的降维工具.其次讨论了QTT与小波变换和卷积在结构上的联系与区别,并指出QTT也是一种特征提取工具.最后将QTT分解应用于三维数据(MRI图像)的去噪和边缘检测,取得了不错的效果.     

基于随机矩阵理论决定多元GARCH模型最佳维度研究

基于随机矩阵理论(RMT)的降维技术能够通过去除噪声和只保留有用“信息”,而对相关矩阵估计中用来描述相关的主成分或因子的最佳使用数量做出确定.本文认为利用RMT对相关矩阵估计的降维操作来实现RMT对多元GARCH模型的有效降维是可能的.为说明基于RMT的降维技术用于多元GARCH模型的有效性,本文建立了两类将基于RMT的相关矩阵估计和波动率结合在一起的多元GARCH模型:滑动相关多元GARCH模型(SC-GARCH模型)和改进的O-GARCH模型(IO-GARCH模型).理论分析表明,这两类模型具有降维的相关结构,易于估计,并且利用RMT能确定出它们的理论最佳维度.实证研究中,本文建立了上海证券市场100只股票收益率的两类多元GARCH模型,并在马克维茨证券组合理论的框架下,考察了它们的协方差矩阵预测效果.结果表明这两类模型的预测效果很好.通过两类模型各个维度预测效果的比较可以看出.RMT能够为多元GARCH的降维提供有效的依据并且较准确地确定多元GARCH模型的最佳维度.理论和实证分析结果表明,基于RMT的降维技术是解决多元GARCH模型“维数灾祸”问题的有效手段.     

超高维Ⅱ型区间删失数据的非参数变量筛选法北大核心CSCD

在定期随访的医学研究或临床实验中,人们经常会收集到高维区间删失数据,如何对这类数据进行降维是一个非常有意义的问题.本文基于Kolmogorov-Smirnov检验统计量,利用分割和融合的技巧,把独立特征筛选方法推广到区间删失数据中,提出了一种可以处理超高维Ⅱ型区间删失数据且不依赖于任何模型假设的变量筛选方法.此方法的适用范围很广,可以有效地处理各种生存模型下的超高维Ⅱ型区间删失数据,而且可以处理离散型,连续型等多种类型的协变量.在估计生存函数时,本文采用EM-ICM算法,极大地提高了计算效率.大量的数值模拟实验验证了此方法在有限样本下的有效性.     

基于Fisher投影和变论域思想的模糊控制器降维方法及其在液位问题的应用

维数问题是模糊控制器领域的一个重要问题.本文结合Fisher降维、ANFIS模糊神经网络和变论域控制思想,论述了一种可以减少输入个数的、高精度的模糊控制器的构造方法.以液位控制实验为例,对原有的控制器进行了降维,发现这种方法可以极大地减少了控制器的计算量,同时提高控制器控制品质,具有较高的推广价值.