数理统计学小史 最小二乘法

美国统计学家斯蒂格勒认为最小二乘法之于数理统计学，有如微积分之于数学，这并非夸张之辞。他还认为，１９世纪的数理统计学史，就是最小二乘法向各个应用领域拓展的历史。可以举出一两件事实来支持这个论点，席卷了统计大部分应用的几个分支——相关回归分析，方差分析...     

偏最小二乘回归分析在均匀设计试验建模分析中的应用

本文分析了目前应用一般的最小二乘法建立均匀试验数据的二次多项式回归模型时存在的局限性,提出了应用偏最小二乘法(Partial least-square,PLS)建立二次多项式回归模型的技术,并且进一步介绍了偏最小二乘回归(PLS回归)在均匀设计中的应用。作者认为,PLS回归分析建模技术将为均匀设计的更广泛应用提供有力的技术支持。     

带插指条件的最小二乘法

提出了带插指条件的最小二乘拟合问题,并给出了带插指条件的最小二乘拟合的拟合曲线的具体表达式.     

最小二乘法回归中的一些问题

最小二乘法估计通常基于：线性、独立、正态和方差齐性四个基本假定．在实际工作中，这些假定常很难满足，偏离时往往对估计结果带来影响．本文对偏离假定的情况予以讨论并给出发现和处理这些问题的方法；同时结合实例对回归中的影响点和异常点、共线性等问题予以说明．这将对我们实际工作中的数据分析具有指导性意义．     

加权总体最小二乘问题的分析

总体最小二乘问题由Golub和Van Loan首先进行数学的分析,随后人们对于总体最小二乘问题的算法、解的各种形式、总体最小二乘解和最小二乘解的关系、总体最小二乘解的扰动理论以及数值试验作了大量的研究工作。近来,[10]中给出了总体最小二乘问题(TLS)较一般地讨论。另一方面,Golub和Van Loan研究了总体最小二乘问题的特殊均加权形式。本文试图在[10,11]的基础上讨论最一般的总体最小二     

修正阻尼最小二乘法在确定脑血流量系数中的应用

本文运用修正阻尼最小二乘法,通过以测定局部脑血流量的试验数据进行数据拟合建立双指数型数学模型 不仅确定了脑血流量系数α的估计值,而且确定了所有模型参数的满意估计。     

正交回归和一般最小二乘回归的几何误差分析

线性回归分析中,一般最小二乘回归的目标函数只考虑一个方向的扰动,采用基于几何距离的正交回归能克服固定单方向最优带来的拟合稳定性差的弊端。本文分析和比较了正交回归和一般最小二乘回归的误差,并定量地给出了两者的几何误差与原始数据的方差、相关系数之间的关系,指出正交回归的几何误差小于一般最小二乘回归,并且正交回归具有旋转不变性。最后,以平面直线拟合为例验证了这个结论。     

概率与统计的知识理解之最小二乘法

最小二乘法是线性回归方程中的一个历史悠久但常用的数据拟合方法.本文从一道教材例题出发,通过对最小二乘法知识的深入梳理,从统计和代数思想分析最小二乘法被选用的原因,有助于培养学生的数据分析素养,为数理统计知识的学习打下基础,能够更好地用统计学中的思想去解决问题.     

频域最小二乘法在建立传感器动态数学模型中的应用

在最小二乘误差原则下，用实测的传感器的频响函数曲线来拟合解析模型，建立了传感器的动态数学模型并识别其动态参数．     

偏最小二乘回归的应用效果分析

本文介绍了偏最小二乘回归 (PLS)的建模方法 ,比较了PLS与普通最小二乘回归 (OLS)及主成分回归的应用效果 ,并总结了PLS回归的基本特点 .     

助推偏最小二乘法（BPLS）及其应用

在生物统计以及数据挖掘中,分类预测是最基本的任务之一。本文将探讨一种新的方法-助推偏最小二乘法（BPLS）。它结合了一系列收缩的偏最小二乘模型,每个模型只有一个主成分。这种新方法和传统的偏最小二乘方法不同,它不需要选择一系列的偏最小二乘成分。只需要确定两个参数即可。通过对真实数据的训练,得以证明这种新方法比传统的偏最小二乘法在防止过度拟合方面有更好的表现,同时能够保证精确度。     

数据拟合函数的最小二乘积分法

数据拟合的方法很多,每种方法各有特点.本文探讨了积分准则下的数据拟合函数的方法,称为最小二乘积分法,并给出了两个常用拟合函数具体形式.     

数据拟合函数的加权最小二乘积分法

数据拟合的方法很多,每种方法各有特点.探讨了积分准则下的数据加权拟合函数的方法,称为加权最小二乘积分法,并给出了三个常用拟合函数具体形式.     

剔除相关性的最小二乘研究

本文提出了一种新的回归模型,剔除相关性的最小二乘,它有效的克服了变量间的相关性,兼顾到变量的筛选。并与最小二乘、向后删除变量法、偏最小二乘比较分析。发现剔除相关性的最小二乘能很好的处理自变量间多重相关性,对变量进行有效的筛选,克服了回归系数反常的现象。     

A Hybrid Method for Nonlinear Least Squares Problems

A negative curvature method is applied to nonlinear least squares problems with indefinite Hessian approximation matrices. With the special structure of the method, a new switch is proposed to form a hybrid method. Numerical experiments show that this method is feasible and effective for zero-residual, small-residual and large-residual problems.     

Generalization of Strang's Preconditioner with Applications to Toeplitz Least Squares Problems

In this paper, we propose a method to generalize Strang's circulant preconditioner for arbitrary n-by-n matrices A_n. The th column of our circulant preconditioner Sn is equal to the th column of the given matrix A_n. Thus if A_n is a square Toeplitz matrix, then Sn is just the Strang circulant preconditioner. When Sn is not Hermitian, our circulant preconditioner can be defined as . This construction is similar to the forward-backward projection method used in constructing preconditioners for tomographic inversion problems in medical imaging. We show that if the matrix A_n has decaying coefficients away from the main diagonal, then is a good preconditioner for An. Comparisons of our preconditioner with other circulant-based preconditioners are carried out for some 1-D Toeplitz least squares problems: min ∥ b - Ax∥₂. Preliminary numerical results show that our preconditioner performs quite well, in comparison to other circulant preconditioners. Promising test results are also reported for a 2-D deconvolution problem arising in ground-based atmospheric imaging.     

总体最小二乘准则下非线性EV模型的参数拟合方法

在非线性回归模型参数拟合问题中,当数据中的每个变量都存在不可忽略的误差时,在普通的最小二乘准则下拟合出的参数不是最优的.按照总体最小二乘准则,以观测点到拟合曲线或拟合曲面垂直距离平方和为目标函数,然后用最优化方法搜索出使目标函数值取最小值的参数和数据点估计,从而给出求最优模型参数的算法,最后,通过计算机仿真和与文献比较,验证了提出方法的正确性.     

Statistical Measures for Least Squares Using the αQβR Algorithm

This paper shows how the output derived from the α Qβ R algorithm can be used to calculate various statistical quantities needed to evaluate linear models. In particular, we show how to calculate standard statistical quantities like the coefficient of determination R², the F-statistics, and the t-statistics. These quantities serve as a measure of how well the model fits the data.