基于偏最小二乘变换与Kriging模型的全局优化方法

针对传统Kriging模型在多变量(高维)输入全局优化中因超参数过多而引发收敛速度慢,精度低,建模效率不高问题,提出了基于偏最小二乘变换技术和Kriging模型的有效全局优化方法.首先,构造偏最小二乘高斯核函数;其次,借助差分进化算法寻找满足期望改进准则最大化条件的新样本点;然后,将不同核函数和期望改进准则组合,构建四种有效全局优化算法并进行比较;最后,数值算例结果表明,基于偏最小二乘变换的Kriging全局优化方法在解决高维全局优化问题方面相比于标准的全局优化算法在收敛精度及收敛速度方面更具优势.     

递推阻尼最小二乘法的收敛性与稳定性

递推最小二乘法是参数辨识中最常用的方法,但容易产生参数爆发现象.因此对一种更稳定的辨识方法——递推阻尼最小二乘法进行了收敛特性的分析.在使用算法之前先归一化测量向量,结果表明,参数化距离收敛于一个零均值随机变量,并且在持续激励条件下,适应增益矩阵的条件数有界.参数化距离的方差有界.     

基于SSA-LSSVM-KDE的农产品价格区间预测

为了更好地把控农产品价格波动的波动范围,提高预测精度,文章基于分解集成思想,提出一种基于奇异谱分析(SSA)、最小二乘支持向量机(LSSVM)与核密度估计(KDE)的区间预测组合模型,简称SSA-LSSVM-KDE模型.首先针对SSA方法中窗口维度难以确定的问题,引入Cao方法优化SSA最小嵌入的窗口维度,通过奇异值分解重构出多条分量;其次,选择学习能力强的LSSVM,将各分量作为LSSVM的输入,得到组合预测输出;最后利用B-样条基的最小二乘交叉验证法(B-spline-LSCV)优化KDE模型,估计组合预测输出的不同区间误差概率分布函数,得到给定置信水平下的最终预测区间.为了验证提出模型的有效性,对小麦现货价和玉米现货价进行区间预测,与四个单模型、三个组合模型和四个分布函数进行多种预测性能评价指标的对比,结果显示提出的模型在点预测和区间预测的精度都得到了明显的提高.     

一类纵向数据半参数模型估计的收敛速度

本文研究了一类纵向数据半参数模型参数和回归函数的估计问题.利用最小二乘法和一般的非参数权函数方法,获得了参数估计量的强收敛速度和回归函数估计量的一致收敛速度,推广了文献[4]的相应结果.     

高精度参数估计问题

对高精度参数的估计问题进行了研究.在观测数据无误差的情况下,将微分方程组转化为线性方程组,利用矩阵的奇异值分解给出了参数的最优解.在有观测数据误差的情况下,采用高斯-牛顿迭代法进行求解,给出了改进的高斯-牛顿法和阻尼最小二乘算法;通过灰色估计法给出了模型的初始解,通过微分方程数值解法计算模型迭代过程中误差和偏导数.最后,通过对迭代过程中的状态变量引入误差项,导出了基于总体最小二乘的高斯-牛顿迭代法,从系统的角度解决了观测时间有误差下的参数估计问题.     

最小二乘辨识的一致性

§1 引言在数理统计中,对线性迥归模型最小二乘估计是一种应用十分广泛并且不断受到研究的方法,不仅给出了保证其估值一致的条件,而且给出了收敛速度.但是这些结果不能直接用到系统辨识中来,因为在系统辨识中,线性摸型的系数阵是随机的,而不再是常阵.我们来看多维离散时间系统     

法向最小二乘法

<正> 通常的最小二乘法是以||·||_2z为准则,本文提出一种以数据点到拟合曲线的法向距离之平方和为准则的法向最小二乘法。设有m个数据点(x_i,y_i)(i=1,2,…m),n个基函数_f(x)(j=1,2,…,n),线性最小二乘拟合曲线函数为     

半参数变量含误差函数关系模型的小波估计

本文研究半参数变量含误差函数关系模型，应用小波估计法和全最小二乘法得出未知参数和未知函数的估计，在一般的条件下，证明了估计的强相合性、一致强相合性，并给出了误差方差估计的强收敛速度。     

一个新的逐列正交化算法

本文讨论如下的最小二乘问题:min{S(x)=F(x)~TF(x)/2,x∈R~n},其中F(x)=(f_1(x),f_2(x),…,f_m(x)~T,m≥n.上述问题的求解,除了有以Levenberg-Marquardt为代表的各种阻尼最小二乘法外,还有一类逐列正交化算法.但在现有的逐列正交化算法中,对可行性、收敛性、收敛速度讨论得很少.本文提出了一个新的算法,并证明了其可行性、收敛性和收敛速度.文中附了计算实例,表明当用各种阻尼二乘法做不下去时,应用本算法还可能作出改进.本文主要结果如下:     

P-循环矩阵和块AOR方法(英)

本文首先导出P-循环矩阵的块Jacobi迭代矩阵和相应的块AOR迭代矩阵的特征值间的关系式．然后，我们确定块AOR方法用于最小二乘问题时的收敛和发散区域．     

基于最小一乘准则的三次样条对利率期限结构的拟合

将基于最小一乘准则的三次样条函数法应用于拟合在上海证券交易所交易的国债的利率期限结构,并与传统的最小二乘法进行比较。样本外预测结果显示,稳健的最小一乘方法能有效的降低异常点的干扰,弥补最小二乘法的不足,提高预测的精度。     

变系数测量误差模型的B-样条估计(英文)

本文考虑变系数测量误差模型的估计问题,得到该模型变系数函数修正的最小二乘B-样条估计,同时得到非参数函数估计的最优收敛速度.模拟结果表明该方法是有效的.     

求解地震波反演问题的一类预处理共轭梯度方法

地质勘探中的全波形反演模型可以转化为一个求解带微分方程约束的最小二乘问题,这类模型通过扩大了搜索区域,减少了变量的储存,提高了计算效率.基于上述模型,采用有限差分方法离散Helmholtz方程,提出一类预处理共轭梯度法求解地震波场,并交替更新地层信息.数值实验中测试和比较了对角预处理、Gauss-Seidel预处理和不完全LU分解三种预处理方法,实验结果表明这类预处理方法应用到共轭梯度法中能够减少迭代步数、改善实验精度,加快反演迭代效率.     

递推阻尼最小二乘法

递推最小二乘法是参数辨识中最常用的方法,但容易产生参数爆发现象,本文推导了一种更稳定的辨识方法－阻尼最小二乘法的递推求解算法。     

纵向数据下半参数回归模型估计的收敛速度

考虑纵向数据下半参数回归模型:yij=x′ijβ+g(tij)+eij,i=1,…,n,j=1,…,mi.基于最小二乘法和一般的非参数权函数方法给出了模型中参数β和回归函数g(·)的估计,并在适当条件下证明了参数分量β的估计量的强收敛速度和未知函数g(·)的估计量的一致强收敛速度.     

最小二乘辨识的一致性

§1 引言 在数理统计中,对线性迴归模型最小二乘估计是一种应用十分广泛并且不断受到研究的方法,不仅给出了保证其估值一致的条件,而且给出了收敛速度。但是这些结果不能直接用到系统辨识中来,因为在系统辨识中,     

助推偏最小二乘法（BPLS）及其应用

在生物统计以及数据挖掘中,分类预测是最基本的任务之一。本文将探讨一种新的方法-助推偏最小二乘法（BPLS）。它结合了一系列收缩的偏最小二乘模型,每个模型只有一个主成分。这种新方法和传统的偏最小二乘方法不同,它不需要选择一系列的偏最小二乘成分。只需要确定两个参数即可。通过对真实数据的训练,得以证明这种新方法比传统的偏最小二乘法在防止过度拟合方面有更好的表现,同时能够保证精确度。     

基于离散Bass模型的双十一销售预测

阿里巴巴双十一购物节的销售额走势,不仅是相关企业规划决策的依据,也是我国经济活动的重要方向性指标,运用Bass模型预测双十一销售额具有十分重要的意义.对普通正向的离散Bass模型采用普通最小二乘法得到的参数估计值偏离于原连续模型参数的真实值,因为存在着多重共线性和时间区间偏差.为克服这两个缺点,根据一类黎卡提方程构建精确的离散Bass模型.研究显示该模型及其解均收敛于原连续模型.给出基于非线性最小二乘法则的搜索算法,估计模型参数,拟合效果较好.最后将模型结果运用到阿里巴巴双十一的销售额预测,结果表明2018销售额将迎来拐点,增速将放缓.     

广义特征值极小扰动问题的一类黎曼共轭梯度法

研究含参数$l$非方矩阵对广义特征值极小扰动问题所导出的一类复乘积流形约束矩阵最小二乘问题.与已有工作不同,本文直接针对复问题模型,结合复乘积流形的几何性质和欧式空间上的改进Fletcher-Reeves共轭梯度法,设计一类适用于问题模型的黎曼非线性共轭梯度求解算法,并给出全局收敛性分析.数值实验和数值比较表明该算法比参数$l=1$的已有算法收敛速度更快,与参数$l=n$的已有算法能得到相同精度的解.与部分其它流形优化相比与已有的黎曼Dai非线性共轭梯度法具有相当的迭代效率,与黎曼二阶算法相比单步迭代成本较低、总体迭代时间较少,与部分非流形优化算法相比在迭代效率上有明显优势.     

基于个人超出值的模糊联盟合作博弈最小二乘预核仁

本文给出了基于个人超出值的无限模糊联盟合作博弈最小二乘预核仁的求解模型,得到该模型的显式解析解,并研究该解的若干重要性质。证明了:本文给出的无限模糊联盟合作博弈的最小二乘预核仁与基于个人超出值的相等解(The equalizer solution),基于个人超出值的字典序解三者相等。进一步证明了:基于Owen线性多维扩展的无限模糊联盟合作博弈的最小二乘预核仁与基于个人超出值的经典合作博弈最小二乘预核仁相等。最后,通过数值实例说明本文提出的无限模糊联盟合作博弈求解模型的实用性与有效性。