加权总体最小二乘问题的分析

总体最小二乘问题由Golub和Van Loan首先进行数学的分析,随后人们对于总体最小二乘问题的算法、解的各种形式、总体最小二乘解和最小二乘解的关系、总体最小二乘解的扰动理论以及数值试验作了大量的研究工作。近来,[10]中给出了总体最小二乘问题(TLS)较一般地讨论。另一方面,Golub和Van Loan研究了总体最小二乘问题的特殊均加权形式。本文试图在[10,11]的基础上讨论最一般的总体最小二     

加权总体最小二乘问题的解集和性质

本文讨论了加权总体最小二乘问题的等价解集，分析了加权总体最小二乘解与加权最小二乘问题的解之间的关系。推广了Ｇｏｌｕｂ和Ｖａｎ Ｌｏａｎ，Ｖａｎ Ｈｕｆｆｅｌ和Ｖａｎｄｅｗａｌｌｅ，及Ｗｅｉ的相应结果。     

加权广义逆、加权最小二乘和约束最小二乘问题

本文采用如下记号:记C~m×n是具有复数域的m×n长方矩阵的集合,C~m=C~m×1是m维向量的集合.对A∈C~m×n称A~H∈C~m×n是A的共轭转置矩阵,rank(A)表示A的秩,R(A)和N(A)分别为A的值域和零空间,||·||=||·||2和||·||F分别为2-范数和Frobenius范数;I表示恒等矩阵.人们在研究数学规划、数值分析、数据处理,散射理论和电磁学等领域中都将问题归纳为如下的最小二乘问题:     

基于最小二乘近似的模型平均方法

本文提出基于最小二乘近似的模型平均方法.该方法可用于线性模型、广义线性模型和分位数回归等各种常用模型.特别地,经典的Mallows模型平均方法是该方法的特例.现存的模型平均文献中,渐近分布的证明一般需要局部误设定假设,所得的极限分布的形式也比较复杂.本文将在不使用局部误设定假设的情形下证明该方法的渐近正态性.另外,本文...     

最小二乘问题的稳定近似解

最小二乘法在实际中有着大量的应用,为解决其结果易受误差影响的问题,利用试验设计的思想,借助正交表得到了其稳定近似解的求解方法,使结果得以改进,并通过实例予以验证.     

模糊线性回归模型的约束最小二乘估计

自Tanaka等1982年提出模糊回归概念以来,该问题已得到广泛的研究。作为主要估计方法之一的模糊最小二乘估计以其与统计最小二乘估计的密切联系更受到人们的重视。本文依据适当定义的两个模糊数之间的距离,提出了模糊线性回归模型的一个约束最小二乘估计方法,该方法不仅能使估计的模糊参数的宽度具有非负性而且估计的模糊参数的中心线与传统的最小二乘估计相一致。最后,通过数值例子说明了所提方法的具体应用。     

基于比例移动最小二乘近似的误差分析

相较于移动最小二乘近似方法,比例移动最小二乘近似法有效地克服了前者带来的矩阵病态这一问题,展示出了更好的数值稳定性和更高的计算精度.给出了比例移动最小二乘近似对函数及其任意阶导数的误差估计,并给出了数值算例来验证之前的理论分析结果,通过与移动最小二乘近似的比较,表明比例移动最小二乘近似能得到更快的收敛性和更稳定的计算性.     

总体最小二乘准则下非线性EV模型的参数拟合方法

在非线性回归模型参数拟合问题中,当数据中的每个变量都存在不可忽略的误差时,在普通的最小二乘准则下拟合出的参数不是最优的.按照总体最小二乘准则,以观测点到拟合曲线或拟合曲面垂直距离平方和为目标函数,然后用最优化方法搜索出使目标函数值取最小值的参数和数据点估计,从而给出求最优模型参数的算法,最后,通过计算机仿真和与文献比较,验证了提出方法的正确性.     

解等式约束加权线性最小二乘问题的矩阵校正方法

1 引言 在实际应用中常会提出解等式约束加权线性最小二乘问题 min(b_2-A_2x)~TW(b_2-A_2x) x∈R~n (1) s.t.A_1x=b_1,其中A_1∈R~(p×n),A~2∈R(q×n),b_1∈R~p,b_2∈R~q,W∈R(q×q)为对称正定矩阵. 对于问题(1),目前已有多种数值求解方法,如Paige利用(1)的对偶公式给出了一个向后稳定的数值方法.Gulliksson和Wedin利用加权QR分解技巧给出了解(1)的一个直接解法.作者利用广义Cholesky分解构造了解(1)的矩阵分解方法.     

等式约束加权线性最小二乘问题的解法

1 引言 在实际应用中常会提出解等式约束加权线性最小二乘问题 min||b-Ax||_M,(1.1) x∈C~n s.t.Bx=d, 其中B∈C~(p×n),A∈C~(q×n),d∈C~p,b∈C~q,M∈C~(q×q)为Hermite正定阵. 对于问题(1.1),目前已有多种解法,见文[1—3).本文将利用广义逆矩阵的知识,给出(1.1)的通解及迭代解法.本文中关于矩阵广义逆与投影算子(矩阵)的记号基本上与文[4]的相同.例如,A~+表示A的MP逆,P_L表示到子空间L上的正交投影算子,λ_(max)(MAY)表示矩阵M~(1/2)AY的最大特征值.我们还要用到广义BD逆的概念: 设A∈C~(n×n),L为C~n的子空间,则称A_(L)~(+)=P_L(AP_L+P_L⊥)~+为A关于L的广义BD逆.     

关于TLS问题

1.引 言考虑观测线性系统AX=B,（1.1a）其中A∈Cm×n,B∈Cm×d（本文通篇假设m≥n d）,分别是精确但不可观测的A0∈Cm×n,B0∈Cm×d的近似,即精确线性系统是A0X=B0.（1.1b）Golub和Van Loan于1980年提出的总体最小二乘问题（以下简称TLS问题）就是求解线性系统AX=B（1.2）     

TLS和LS问题的比较

There are a number of articles discussing the total least squares(TLS) and the least squares(LS) problems.M.Wei(M.Wei, Mathematica Numerica Sinica 20(3)(1998),267-278) proposed a new orthogonal projection method to improve existing perturbation bounds of the TLS and LS problems.In this paper,wecontinue to improve existing bounds of differences between the squared residuals,the weighted squared residuals and the minimum norm correction matrices of the TLS and LS problems.     

ON THE ACCURACY OF THE LEAST SQUARES AND THE TOTAL LEAST SQUARES METHODS

Consider solving an overdetermined system of linear algebraic equations by both the least squares method (LS) and the total least squares method (TLS). Extensive published computational evidence shows that when the original system is consistent. one often obtains more accurate solutions by using the TLS method rather than the LS method. These numerical observations contrast with existing analytic perturbation theories for the LS and TLS methods which show that the upper bounds for the LS solution are always smaller than the corresponding upper bounds for the TLS solutions. In this paper we derive a new upper bound for the TLS solution and indicate when the TLS method can be more accurate than the LS method.Many applied problems in signal processing lead to overdetermined systems of linear equations where the matrix and right hand side are determined by the experimental observations (usually in the form of a lime series). It often happens that as the number of columns of the matrix becomes larger, the ra     

A SUCCESSIVE LEAST SQUARES METHOD FOR STRUCTURED TOTAL LEAST SQUARES

A new method for Total Least Squares (TLS) problems is presented. It differs from previous approaches and is based on the solution of successive Least Squares problems.The method is quite suitable for Structured TLS (STLS) problems. We study mostly the case of Toeplitz matrices in this paper. The numerical tests illustrate that the method converges to the solution fast for Toeplitz STLS problems. Since the method is designed for general TLS problems, other structured problems can be treated similarly.     

关于TLS的可解性及扰动分析

尽管有关总体最小二乘问题的研究工作是大量的，然而ＴＬＳ可解的充分必要条件一直没有得到。本文首先给出完整的可解性分析，然后建立了ＴＬＳ的扰动上界。     

关于最小二乘QR分解算法(LSQR)的一个注记

本文从最小多项式出发,通过寻找包含奇异线性系统Ax=b最小范数解的一个解空间,获得了一个更简单的求解广义逆的计算公式.并从理论上对最小二乘QR分解算法（LSQR）收敛性进行了简单分析,分析表明LSQR的收敛性与矩阵A的非零奇异值密切相关,并用A的非零奇异值以及所寻找到的最小范数解空间将最小范数解线性表出.     

非线性最小二乘问题的信赖域方法

本文提出一个新的非线性最小二乘的信赖域方法,在该方法中每个信赖域子问题只需要一次求解,而且每次迭代的一维搜索步长因子是给定的,避开一维搜索的环节,大大地提高了算法效率.文中证明了在一定的条件下算法的全局收敛性.