最小一乘法介绍

一元线性回归是处理两个变量之间关系的最简单的模型。在中学数学课本中,已知两点(x_1,y_1),(x_2,y_2)可唯一确定一条直线y=a+bx,这只需将两点坐标代入直线方程中解出a,     

层次分析中对数最小一乘排序法及其性质

利用最小一乘法原理 ,在层次分析中提出了一种新的排序方法——对数最小一乘法 ,并将其转化成线性规划问题求解 ,证明了对数最小一乘法的一些性质 .     

最小一乘线性回归(上)

1.引言 为使读者易于了解方法的要旨,而不为繁复的记号与数学推导分散掉注意力,本篇中先集中讨论只含一个自变量的线性回归的情形. 设有自变量X和因变量Y,X、Y都是一维,例如,X、Y分别是从同一个人身上量出的身高和体重.现在对X、 Y进行了。次观测,得数据 (x1,y1),(x2,y2),…,(xn,yn)(1)要作一条直线x= a bx,“最好地”代表(1)中那些点的趋势,或者说,与(1)中那些点“拟合”得最好,怎么叫拟合最好?这就要看你给出怎样的准则,最常见的准则是“最小二乘”准则,这准则要求这样决定a和b,使(1)中各点沿十轴到直线y=a bx的偏离yi-(a bx;)(i= 1,…     

最小一乘线性回归(下)

一、计算问题 在前篇(见《数理统计与管理》 1989年第5期)中我们讨论了用最小一乘法去处理一元线性回归的问题,本篇要讨论用这个方法去处理多元回归的情形,为此使用矩阵和向量的记号在书写上较为简便,我们将用A′记A的转置矩阵,当用一个字母表示一个向量时,我们总是指的列向量,例如,″p维向量b″是指b1…, bp是b的分量, b′是b的转置,即行向量(b1,…, bp),而(b1,…, bp)′即列向量b. 现设在某个问题中有p个自变量x(1),…,x(p)和因变量y,记x=(x(1),…,x(p))′设在x=xk处观察了y之值为yk,k=1,…,n (在不少问题中,x和y是同时观察的,不一定能先…     

关于加权全最小一乘法

本文证明了在准则$Q(a,b,c)=\frac{1}{\sqrt{a^2+b^2}}\tsm_{i=1^nw_i|ax_i+by_i+c|=\min\qq(w_i>0,\,i=1,2,\cdots,n)$下, 最优直线$ax+by+c=0$的存在性,并给出了最优直线应满足的两个必要条件, 为具体求出确切的最优解提供了依据和方法.     

最小一乘估计快速算法

最小二乘估计容易受奇异点的影响, 最小一乘估计是稳健估计, 可以很好地克服这个缺陷, 但计算困难. 基于非退化模型假设下的稳定极点理论, 本文找到了快速准确求解最小一乘估计的迭代算法,并给出算法的计算过程及与线性规划求解的比较, 较好地解决了最小一乘估计计算难的问题, 使其成为有效的参数估计方法.     

最小二乘法、最小一乘法与方差、线性回归方程

1问题的提出高中数学新课标教材的统计部分(必修3与选修1-2或2-3)中涉及到方差定义与线性回归方程的确定.方差反映的是样本数据χi,i=1,2,3,     

关于加权全最小一乘的探讨

设p（v;a;μ）为v∈Rk到超平面μTv+a=0的垂直距离,其中μ∈Rk,a∈R1.本文研讨的是寻找适当的a和μ使达到最小,这里{v1,v2,…,vn}(?)Rk而qi>0,i=1,2,…,n是给定的权.本文采用一条全新的途径来研讨上述加权全最小一乘问题的求解.文中导出了要使Q（u0,μ）达到最小,μ和u0应满足的若干本质性必要条件,而满足该条件的（μ,u0）只有有限多个;进而提出了一个求解加权全最小一乘问题的有限步终止算法.     

基于可调权重距离的最小一乘回归方法

不同时期数据对因变量的影响权重不同,若不考虑数据的时间特性而构建回归模型,可能不一定得到最佳的回归模型.针对经济领域中数据时间跨度大,样本少以及可能存在异常点的特点,提出基于可调权重距离的最小一乘回归方法.建立了可调权重距离的权重系数确定方法,并给出基于MATLAB的模型求解方法.通过某船舶使用费用预测的应用,表明通过方法构建的模型具有更高的精度,值得借鉴.     

基于模拟退火算法的最小一乘回归新算法

最小一乘准则由于其稳健性较好而在工程中得到广泛的应用,但求解最小一乘回归模型系数的算法往往过于复杂或只能用于样本和变量个数较少的情形.本文根据最小一乘的性质,把最小一乘问题变为组合优化问题,将模拟退火算法用在最小一乘模型的求解上,在后面的数值实验中取得了较好的效果。     

数据拟合函数的最小二乘积分法

数据拟合的方法很多,每种方法各有特点.本文探讨了积分准则下的数据拟合函数的方法,称为最小二乘积分法,并给出了两个常用拟合函数具体形式.     

数据拟合函数的加权最小二乘积分法

数据拟合的方法很多,每种方法各有特点.探讨了积分准则下的数据加权拟合函数的方法,称为加权最小二乘积分法,并给出了三个常用拟合函数具体形式.     

Least Absolute Deviation Estimation for Regression with ARMA Errors

The asymptotic normality for least absolute deviation estimates of the parameters in a linear regression model with autoregressive moving average errors is established under very general conditions. The method of proof is based on a functional limit theorem for the LAD objective function.     

基于轮廓关键点的B样条曲线拟合算法

针对逆向工程中的点云切片轮廓数据点列,提出一种基于轮廓关键点的B样条曲线拟合算法.在确保扫描线点列形状保真度的前提下,首先对其进行等距重采样等预处理,并遴选出曲线轮廓关键点,生成初始插值曲线;再利用邻域点比较法求出初始曲线与各采样点间的偏差值,在超过拟合允差处增加新的关键点,并生成新的插值曲线,重复该步骤至拟合曲线满足预定精度要求.实验表明,在对稠密的二维断面数据点进行B样条逼近时,该算法能有效压缩控制顶点数目,并具有较高的计算效率.同时,由于所得控制顶点的分布能准确反映曲线的曲率变化,该方法还可作为误差约束的曲线逼近中的迭代步骤之一.     

基于门限接受算法的正交最小一乘回归新算法

正交最小一乘方法由于其稳健性而在工程中有广泛的应用,然而求解线性模型正交最小一乘参数估计算法往往过于复杂或者只对样本和变量个数较少的问题适用.把正交最小一乘参数估计问题转化为组合优化问题,再使用门限接受算法求解,通过计算机仿真说明了本文算法的正确性和有效性.     

非线性绝对值方程组的类SOR迭代方法

提出了非线性绝对值方程组(AVE)问题解的存在性和唯一性的一个充分条件,构建了数值求解方程组的类超松弛迭代方法,并证明其收敛性.数值算例表明该迭代方法是非常有效的.