最小一乘法介绍

一元线性回归是处理两个变量之间关系的最简单的模型。在中学数学课本中,已知两点(x_1,y_1),(x_2,y_2)可唯一确定一条直线y=a+bx,这只需将两点坐标代入直线方程中解出a,     

最小一乘线性回归(上)

1.引言 为使读者易于了解方法的要旨,而不为繁复的记号与数学推导分散掉注意力,本篇中先集中讨论只含一个自变量的线性回归的情形. 设有自变量X和因变量Y,X、Y都是一维,例如,X、Y分别是从同一个人身上量出的身高和体重.现在对X、 Y进行了。次观测,得数据 (x1,y1),(x2,y2),…,(xn,yn)(1)要作一条直线x= a bx,“最好地”代表(1)中那些点的趋势,或者说,与(1)中那些点“拟合”得最好,怎么叫拟合最好?这就要看你给出怎样的准则,最常见的准则是“最小二乘”准则,这准则要求这样决定a和b,使(1)中各点沿十轴到直线y=a bx的偏离yi-(a bx;)(i= 1,…     

最小一乘线性回归(下)

一、计算问题 在前篇(见《数理统计与管理》 1989年第5期)中我们讨论了用最小一乘法去处理一元线性回归的问题,本篇要讨论用这个方法去处理多元回归的情形,为此使用矩阵和向量的记号在书写上较为简便,我们将用A′记A的转置矩阵,当用一个字母表示一个向量时,我们总是指的列向量,例如,″p维向量b″是指b1…, bp是b的分量, b′是b的转置,即行向量(b1,…, bp),而(b1,…, bp)′即列向量b. 现设在某个问题中有p个自变量x(1),…,x(p)和因变量y,记x=(x(1),…,x(p))′设在x=xk处观察了y之值为yk,k=1,…,n (在不少问题中,x和y是同时观察的,不一定能先…     

修正的模糊最小一乘线性回归

对文献[1]提出的基于对称三角模糊数的模糊最小一乘线性回归进行修正和扩展,给出模糊最小一乘线性回归模型的三种不同形式,并将其转化为线性规划或非线性规划问题进行求解。最后,给出几个数值实例,通过计算和比较,结果表明三种模糊最小一乘线性回归模型都具有非常好的拟合性。     

层次分析中对数最小一乘排序法及其性质

利用最小一乘法原理 ,在层次分析中提出了一种新的排序方法——对数最小一乘法 ,并将其转化成线性规划问题求解 ,证明了对数最小一乘法的一些性质 .     

曲线拟合的广义最小一乘法

介绍了最小一乘法的方程式解法;讨论了这种方程式解法与最小一乘逼近之间的关系;说明了它不仅适用于线性函数类也适用于非线性函数类的最佳逼近的实现;提出了零偏差点附近数据变化的两个重要特征;建立了一种具有"人为"因素的广义最小一乘法;并给出了该法在预测方面的几个应用实例.     

非线性最小二乘法的算法

本给出非线性最小二乘的优化条件和几何特征．     

关于加权全最小一乘法

本文证明了在准则$Q(a,b,c)=\frac{1}{\sqrt{a^2+b^2}}\tsm_{i=1^nw_i|ax_i+by_i+c|=\min\qq(w_i>0,\,i=1,2,\cdots,n)$下, 最优直线$ax+by+c=0$的存在性,并给出了最优直线应满足的两个必要条件, 为具体求出确切的最优解提供了依据和方法.     

数理统计学小史 最小二乘法

美国统计学家斯蒂格勒认为最小二乘法之于数理统计学，有如微积分之于数学，这并非夸张之辞。他还认为，１９世纪的数理统计学史，就是最小二乘法向各个应用领域拓展的历史。可以举出一两件事实来支持这个论点，席卷了统计大部分应用的几个分支——相关回归分析，方差分析...     

最小二乘法回归中的一些问题

最小二乘法估计通常基于：线性、独立、正态和方差齐性四个基本假定．在实际工作中，这些假定常很难满足，偏离时往往对估计结果带来影响．本文对偏离假定的情况予以讨论并给出发现和处理这些问题的方法；同时结合实例对回归中的影响点和异常点、共线性等问题予以说明．这将对我们实际工作中的数据分析具有指导性意义．     

递推阻尼最小二乘法

递推最小二乘法是参数辨识中最常用的方法,但容易产生参数爆发现象,本文推导了一种更稳定的辨识方法－阻尼最小二乘法的递推求解算法。     

最小二乘法的多角度分析及其应用

在现代工程领域,经常遇到数据处理问题,这类问题很多时候需要利用最小二乘法进行求解.本文从多元函数微分学、线性代数、数理统计三个角度详细解释了这一方法的原理,并简要介绍了最小二乘法在高光谱图像线性解混和信号估计中的应用.     

等式约束加权线性最小二乘问题的解法

1 引言 在实际应用中常会提出解等式约束加权线性最小二乘问题 min||b-Ax||_M,(1.1) x∈C~n s.t.Bx=d, 其中B∈C~(p×n),A∈C~(q×n),d∈C~p,b∈C~q,M∈C~(q×q)为Hermite正定阵. 对于问题(1.1),目前已有多种解法,见文[1—3).本文将利用广义逆矩阵的知识,给出(1.1)的通解及迭代解法.本文中关于矩阵广义逆与投影算子(矩阵)的记号基本上与文[4]的相同.例如,A~+表示A的MP逆,P_L表示到子空间L上的正交投影算子,λ_(max)(MAY)表示矩阵M~(1/2)AY的最大特征值.我们还要用到广义BD逆的概念: 设A∈C~(n×n),L为C~n的子空间,则称A_(L)~(+)=P_L(AP_L+P_L⊥)~+为A关于L的广义BD逆.     

奇异线性模型最小二乘估计的相对效率

对于奇异线性模型引入了参数β的最小二乘估计相对与最佳线性无偏估计的一种新的相对效率，并讨论了它的下界。     

基于半参数回归模型的最小一乘局部线性算法

根据最小一乘准则,推导出最小一乘局部线性估计的计算方法,并通过对模拟数据的计算和分析,对比最小一乘核算法和最小二乘局部线性算法,验证了最小一乘局部线性算法是一种有效的,稳健的估计方法,并且有降低边界效应的作用．     

模糊线性回归模型的约束最小二乘估计

自Tanaka等1982年提出模糊回归概念以来,该问题已得到广泛的研究。作为主要估计方法之一的模糊最小二乘估计以其与统计最小二乘估计的密切联系更受到人们的重视。本文依据适当定义的两个模糊数之间的距离,提出了模糊线性回归模型的一个约束最小二乘估计方法,该方法不仅能使估计的模糊参数的宽度具有非负性而且估计的模糊参数的中心线与传统的最小二乘估计相一致。最后,通过数值例子说明了所提方法的具体应用。     

关于最小二乘法估计量性质的一个注记

本文指出了文献［１］中最小二乘法估计量性质证明过程中的不妥之处，并且给出了正确的证明方法．     

拟线性回归预测模型的稳定最小二乘解

可线性化回归预测模型通过换元进行线性回归,换元前后的因变量具有异方差性,致使拟线性回归参数的精度较低.运用GL算法给出了此类模型的稳定最小二乘解,提高了参数的估计精度,最后给出了一个应用实例.     

数值输入模糊输出数据的最小二乘回归模型

本文给出了一个拟合数值输入模糊数输出数据的线性回归模型,证明了模型的解存在且唯一,并得到了解的表达式。