最小二乘辨识的强一致性

系统辨识中参数估计的一致性问题已有很多研究。[1,2]研究了最小二乘辨识的弱一致性问题。[3,4]对离散时间系统、[5]对连续时间系统提出了保证最小二乘估计收敛且强一致的条件。但其中包含了噪声的条件协方差阵对(t,ω)一致有界。[6,7]把递推算法的收敛性、强一致性和某一常微分方程的稳定性建立了联系,这一类定理所讨论的并不是某一种特定的算法,而是一类算法。但[6]中所要求的条件很多,有的不容易验证,[7]中处理方法较[6]简单。但所要求的条件仍很强,特别是事先要求递推过程一致有界及常返某一紧集,这样一个不太合理的要求。     

最小二乘辨识的渐近性质

<正> 一、引言本文作者在[1]中对连续时间线性系统定义了对未知系数阵的最小二乘辨识,同时给出了判别参数估计一致性的条件.对离散时间系统和这些条件相对应的结果在[1,2]中给出,它们比[3,4]的结果有所改进.     

系统参数最小二乘估计的渐近正态性及其应用

1979年L.Ljung等人在中证明了,在一组正则条件下,系统参数的予报误差估计(包括最小二乘估计)具有渐近正态性。本文利用鞅差中心极限定理,对最小二乘估计的渐近正态性作更为简洁的证明,并举例说明它在假设检验中的应用。     

定向集上的B值一致渐近鞅

本文将文献[1]、[2]关于序列情形下的B值一致渐近的概念拓广到定向集的情形,给出了定向集上B值鞅的一个可选采样定理,证明了定向集上B值一致渐近鞅的Riesz分解定理。同时,用B值一致渐近鞅的收敛性及其诱导测度刻划了B空间的R-N性质,最后还给出了一个B值一致渐近鞅本性收敛的充分条件。     

相关噪声下递推辨识的强一致性

设{w_i}为零均值的不相关随机序列,本文讨论的动态系统为y_n A_1y_(n-1) … A_py_(n-p)=B_1u_(n-1) … u_(n-q) ε_n,ε_n 是相关的动态噪声,它表达为ε_n=w_n C_1w_(n-1) … C_rw_(n-r).输入 u_n 是平方可积的任意形式的反馈控制.A_i,B_j,C_k,i=1,…,p,j=1,…,q,k=1,…,r是待估的参数矩阵.本文详细讨论了[8]中提出的“修改了的最小二乘算法”.主要结果是定理1,它给了相当简单的条件,保证从算法得来的对 A_i,B_j,C_k 的估计是强一致估计.在证明一致性中所用的方法是作者在[7]中用过的,把鞅和微分方程两种方法结合运用的联合方法,其主要思想是用鞅的收敛定理证明估计值一致有界,然后用微分方程方法,证明估计值收敛到真值.定理2讨论了一种较弱的收敛性质.     

最小二乘辨识的强一致性及收敛速度

本文讨论动态系统的噪声可能相关,并且协方差阵可能对时间无界时的辨识问题。对同时估计出系统系数阵及噪声模型系数阵的最小二乘辨识,给出了保证它为强一致估计的简单的充分条件。当噪声模型中的阶数为零时,甚至不要求噪声的一阶矩有穷,最小二乘辨识不仅一致性得到了保证,同时还得到了它的收敛速度。本文对离散时间和连续时间同时给出了对应的结果。     

加权总体最小二乘问题的分析

总体最小二乘问题由Golub和Van Loan首先进行数学的分析,随后人们对于总体最小二乘问题的算法、解的各种形式、总体最小二乘解和最小二乘解的关系、总体最小二乘解的扰动理论以及数值试验作了大量的研究工作。近来,[10]中给出了总体最小二乘问题(TLS)较一般地讨论。另一方面,Golub和Van Loan研究了总体最小二乘问题的特殊均加权形式。本文试图在[10,11]的基础上讨论最一般的总体最小二     

矩阵方程AXB=D解的研究

给出了矩阵方程AXB=D相容的又一充要条件,同时讨论它的极小范数解、最小二乘解和极小范数最小二乘解,推广了文献[1]和[3]的结论.     

灰色系统模型的优化岭回归算法

文献[1]指出了目前用普通最小二乘法估计灰微分方程参数的方法由于方程组的病态问题很难求解得合理的参数;文献[2]指出了根据初值求解灰色系统模型的时间响应式的方法由于初值的误差使所求得时间响应式产生系统误差.为了克服灰色模型的上述两个缺点,本文设计了一种求解灰色系统模型的优化岭回归算法,计算一个广泛引用的算例演示了这种算法的优越性.     

人寿保险中随机Thiele微分方程的另一方法及应用

本文针对人寿保单被描述为时间非时齐的马氏链情形,较之文[7]更一般的假设条件下,给出了鞅M(t)=E[V0│Ft]的局部平方可积鞅的表示性,该方法不同于文[4]的方法。由此得到了随机Thiele微分方程,而且给出损失方差的一般表示。文章最后通过赔偿依赖于准备金的寡妇养老 金例子说明了随机Thiele微分方程的应用。     

一类纵向数据半参数模型估计的收敛速度

本文研究了一类纵向数据半参数模型参数和回归函数的估计问题.利用最小二乘法和一般的非参数权函数方法,获得了参数估计量的强收敛速度和回归函数估计量的一致收敛速度,推广了文献[4]的相应结果.     

最小二乘估计精度及其界限

Puntanen[1]提出用均方误差来度量最小二乘估计的精度,以后Styan[2],Rao[3]等相继讨论了这种精度及其界限.本文考虑采用广义方差,从而引进了一种新的最小二乘估计精度的度量并讨论了它的界.     

逐次回归的单纯形算法

常出现在稳定的时间序列的线性预报中,对于P阶线性预报问题在[1]中将其归结为线性最小二乘问题:     

最小二乘辨识的一致性

§1 引言在数理统计中,对线性迥归模型最小二乘估计是一种应用十分广泛并且不断受到研究的方法,不仅给出了保证其估值一致的条件,而且给出了收敛速度.但是这些结果不能直接用到系统辨识中来,因为在系统辨识中,线性摸型的系数阵是随机的,而不再是常阵.我们来看多维离散时间系统     

最小二乘辨识的一致性

§1 引言 在数理统计中,对线性迴归模型最小二乘估计是一种应用十分广泛并且不断受到研究的方法,不仅给出了保证其估值一致的条件,而且给出了收敛速度。但是这些结果不能直接用到系统辨识中来,因为在系统辨识中,     

对流扩散反应方程的特征分裂最小二乘方法

1引言众所周知,最小二乘混合有限元方法具有两个显著的优点:一是不必满足经典混合元要求LBB条件,因此一般的有限元空间可供选择;二是算法系统是对称正定的,从而利于问题的求解.Pehlivanov等提出了一种最小二乘混合有限元算法求解椭圆型边值问题,并给出了H~1×H(div,·)模误差估计.之后,Cai等人把此方法推广应用到带有对流和反应项的二阶偏微分方程.近年来,最小二乘方法被应用到时间相关的问题.     

基于指数矩鞅差序列非参数回归函数的估计

本文研究了误差项是鞅差序列,且满足某种指数矩条件的非参数回归函数的估计.利用鞅的某种指数不等式,得到了其加权核估计的强相合以及在有限闭区间内一致强相合的性质,并在某种意义上推广了[5]的结果.     

用分块迭代法求解稀疏最小二乘问题

本文讨论用分块SOR方法和分块SSOR方法求解具有大型稀疏系数矩阵的最小二乘问题。 [1]的作者给出了分块SOR法求解最小二乘问题时的收敛域,这里用更为简洁的方法得出同样的结论。我们还可用完全类似的证明方法推导出分块SSOR法的收敛域,从而发现,在求解最小二乘问题而得到方程组时,总可找到使分块SSOR法收敛的松弛因子。     

关于最小二乘法估计量性质的一个注记

本文指出了文献[1]中最小二乘法估计量性质证明过程中的不妥之处，并且给出了正确的证明方法。     

提高曲面拟合精度的最佳扰动算法

本文对[1]中的迭代算法提出了一个改进。改进的算法对于n个基函数的最小二乘拟合问题,最多扰动计算n次即可达到至少有n+1个最大拟合误差降到一致的结果。在许多情况下,这也是该问题的离散切比雪夫解。