用分块迭代法求解稀疏最小二乘问题

本文讨论用分块SOR方法和分块SSOR方法求解具有大型稀疏系数矩阵的最小二乘问题。 [1]的作者给出了分块SOR法求解最小二乘问题时的收敛域,这里用更为简洁的方法得出同样的结论。我们还可用完全类似的证明方法推导出分块SSOR法的收敛域,从而发现,在求解最小二乘问题而得到方程组时,总可找到使分块SSOR法收敛的松弛因子。     

可靠性分析中的最小二乘支持向量机分类方法

为了提高支持向量分类机在处理大样本可靠性问题时的计算效率,将最小二乘支持向量分类机引入到可靠性分析中,使得支持向量机中的二次规划问题转化为求解线性方程组问题,减少了计算量.数值算例表明:基于最小二乘支持向量分类机的可靠性方法与基于支持向量分类机的可靠性方法具有一样的计算精度,而且前者的计算效率明显优于后者.     

向量到子空间的距离及其应用

给出了向量到有限维子空间距离的定义及求法 ,并推广到向量到可数无限维子空间距离 .采用两种方法求距离并比较了它们的运算量 .揭示了 Cholesky分解法与 Schmidt正交化方法的内在联系 .最后利用向量到子空间距离给出了矛盾方程组最小二乘解的求法     

灰色系统模型的优化岭回归算法

文献[1]指出了目前用普通最小二乘法估计灰微分方程参数的方法由于方程组的病态问题很难求解得合理的参数;文献[2]指出了根据初值求解灰色系统模型的时间响应式的方法由于初值的误差使所求得时间响应式产生系统误差.为了克服灰色模型的上述两个缺点,本文设计了一种求解灰色系统模型的优化岭回归算法,计算一个广泛引用的算例演示了这种算法的优越性.     

求解岭回归问题的加速增广投影算法

正1引言考虑求解岭回归或者Tikhonov正则化最小二乘回归问题■这里X是一个m×n的复矩阵,β是一个n维未知向量,y是一个m维的复向量,λ是正则化参数,‖·‖2表示向量的欧拉范数.岭回归问题对病态数据的拟合效果要强于最小二乘法.目前,岭回归问题已广泛应用于数据分析、机器学习、电网等领域.近年来,一系列随机算法被用来求解大规模线性系统.Strohmer和Vershynin [1]提出     

定步长的连续极小化方法...

求解非线性方程组Ｆ（ｘ）＝０可转化为求非线性最小二乘问题ｍｉｎ１／２Ｆ（ｘ）＾ＴＦ（ｘ）的极小点。文章提出了一种求解上述非线性最小二乘问题的连续极小化方法，方法给出确定的步长，并证明具有整体和线性的收敛性。两个数值例子说明了方法的优越性。     

一个新的逐列正交化算法

本文讨论如下的最小二乘问题:min{S(x)=F(x)~TF(x)/2,x∈R~n},其中F(x)=(f_1(x),f_2(x),…,f_m(x)~T,m≥n.上述问题的求解,除了有以Levenberg-Marquardt为代表的各种阻尼最小二乘法外,还有一类逐列正交化算法.但在现有的逐列正交化算法中,对可行性、收敛性、收敛速度讨论得很少.本文提出了一个新的算法,并证明了其可行性、收敛性和收敛速度.文中附了计算实例,表明当用各种阻尼二乘法做不下去时,应用本算法还可能作出改进.本文主要结果如下:     

电力系统中地网腐蚀诊断的一种新的数学模型及其仿真计算

对电力系统中具有重大应用价值的地网腐蚀诊断问题抽象出仿真求解的一种新的数学模型:即求解带约束的非线性隐式方程组模型.但由于问题本身的物理特性决定了所建立的数学模型具有以下特点:一是非线性方程组为欠定方程组,而且非线性程度非常高;二是方程组的所有函数均为隐函数;三是方程组附加若干箱约束条件.这种特性给模型分析与算法设计带来巨大困难.对于欠定方程组的求解,文中根据工程实际背景,尽可能地扩充方程的个数,使之成为超定方程组,然后对欠定方程组和超定方程组分别求解并进行比较.将带约束的非线性隐函数方程组求解问题,转化为无约束非线性最小二乘问题,并采用矩阵求导等技术和各种算法设计技巧克服隐函数的计算困难,最后使用拟牛顿信赖域方法进行计算.大量的计算实例表明,文中所提出的数学模型及求解方法是可行的.与目前广泛采用的工程简化模型相比较,在模型和算法上具有很大优势.     

数值相关性理论及其应用

解坏条件(即通常所说的病态)方程组的问题是一种颇为困难的问题。而问题条件的好坏,往往为相应矩阵条件数的大小所决定。例如,线性代数方程组的系矩数阵,非线性方程组以及非线性最小二乘问题的Jacobi矩阵,非线性最优化问题中目标函数的Hessian矩阵等。在前述矩阵的条件数很大时,用一般的方法求解,难望得到满意的结     

Gauss-Newton法的收敛球与解的唯一性球

0　引　言本文研究非线性最小二乘问题min F( x)∶ =12 f( x) Tf ( x) ( EP)的 Gauss-Newton法的局部收敛性 ,其中 f:Rn→ Rm是 Frechet可微的 ,m≥ n.非线性最小二乘问题在数据拟合 ,参数估计和函数逼近等方面有广泛的应用 .在工程应用中也起到很大作用 ,例如在神经网络中 ,对小波问题 ,FP网络等方面的数据 (图形 )传输 ,数据 (图形 )压缩等方面有极其重要的理论和实际意义 .目前 ,求解最小二乘问题的最基本的方法之一是 Gauss-Newton法 [1 ]xn+1 =xn -[f′( xn) Tf′( x) ] - 1 f′( xn) Tf( xn) . ( GN)就我们所知 ,目前关于 Gau…     

信号处理中一类非线性方程组的快速求解

在声纳和雷达信号处理中,需要求解一类维数可变的非线性方程组,这类方程组具有混合三角多项式方程组形式.由于该问题有很多解,且其对应的最小二乘问题有很多局部极小点,用牛顿法等传统的迭代法很难找到有物理意义的解.若把它化为多项式方程组,再用解多项式方程组的符号计算方法或现有的同伦方法求解,由于该问题规模太大而不能在规定的时间内求解,而当考虑的问题维数较大时,利用已有的方法甚至根本无法求解.综合利用我们提出的解混合三角多项式方程组的混合同伦方法和保对称的系数参数同伦方法,我们给出该类问题一种有效的求解方法.利用这种方法,可以达到实时求解的目的,满足实际问题的需要.     

求解线性Sobolev方程的分裂型最小二乘混合元方法

本文通过引入适当的最小二乘极小化泛函,对一类线性Sobolev方程提出了两种分裂型最小二乘混合元格式,格式最大优点在于将耦合的方程组系统分裂成两个独立的子系统,进而极大降低了原问题求解的难度和规模,理论分析表明格式对原未知量及新引入的未知通量分别具有最优阶L2(Ω)模误差估计和次优阶H(div;Ω)模误差估计.数值试验很好的验证了这一点.     

不定最小二乘问题的改进的不完全双曲Gram-Schmidt预处理算法

应用改进的不完全双曲Gram-Schmidt(IHMGS)方法预处理不定最小二乘问题的共轭梯度法(CGILS)、正交分解法(ILSQR)与广义的最小剩余法(GMRES)等迭代算法来求解大型稀疏的不定最小二乘问题.数值实验表明,IHMGS预处理方法可有效提高相应算法的迭代速度,且当矩阵的条件数比较大时,效果更加显著.     

求解大型非线性最小二乘问题的组合有限差分 Lanczos-Symm QR 算法

非线性最小二乘问题在实际中是广泛存在的,比如非线性回归及不相容非线性方程组的最小二乘解的问题等.这两类问题都可以用一个统一的形式表示.设 r:R~n→R~p(p≥n)是一个非线性映射,其意义是近似系统的误差.非线性最小二乘问题就是要找一个点 x~*∈R~n,使得     

加权总体最小二乘问题的分析

总体最小二乘问题由Golub和Van Loan首先进行数学的分析,随后人们对于总体最小二乘问题的算法、解的各种形式、总体最小二乘解和最小二乘解的关系、总体最小二乘解的扰动理论以及数值试验作了大量的研究工作。近来,[10]中给出了总体最小二乘问题(TLS)较一般地讨论。另一方面,Golub和Van Loan研究了总体最小二乘问题的特殊均加权形式。本文试图在[10,11]的基础上讨论最一般的总体最小二     

一类非线性代数方程组的并行算法——适用于MIMD系统

为连续对角映射.而A=(a_(ij)∈L(R~n)是单调矩阵,B∈L(R~n)为非负矩阵,b∈R~n为已知向量. 方程组(1.1)具有丰富的实际背景,许多非线性微分方程的求解问题,经过有限元或差分离散,均可归纳为(1.1)的求解.特别,如[7],[10]以及[11]讨论的弱非线性椭圆方程和Stefan问题等,均可作为(1.1)的特例.     

一类线性方程组的解的公式

本文在[1]的基础上,引进了递差方阵 D,给出了 Vandermonde 型阵 V_m 的逆阵的显示式,从而得到了方程组(1),(1′)的可供直接计算用的用三角阵表示的解的公式.此外,还得到了包括[2]的化(1′)为三角形方程组的结果.     

求解特征值反问题的同伦方法

§1.引言 本文讨论经典的加法问题,即 问题A.给定一个n阶实对称矩阵A和n个实数λ_1,…,λ_n,求n维实向量x=(x_,…,x_n)~T,使得A+diag(x_1,…,x_n)的特征值是λ_1,…,λ_n。 求解问题A的数值方法已有很多,一般是先把问题A化为一个等价的非线性方程组,然后用Newton法求解相应的非线性方程组.在[6]中,Friedland等对这方面的工     

边界约束二次规划问题的分解方法

１．引言本文考虑如下边界约束的二次规划问题：其中ＱＥ＊"""是对称的,Ｃ,人。Ｅ＊"是给定的常数向量,且Ｚ＜。这类问题经常出现在偏微分方程,离散化的连续时间最优控制问题、线性约束的最小二乘问题、工程设计、或作为非线性规划方法中的序列子问题．因此具有特殊的重要性．本文提出求解问题（１．１）的分解方法．它类似求解线性代数方程组的选代法,它是对Ｑ进行正则分裂【对即把Ｑ分裂为两个矩阵之和,Ｑ＝Ｎ十片而这两个矩阵之差（Ｎ一则是对称正定的．在每次迭代中用一个易于求解的矩阵Ｎ替代Ｑ进行计算一新的二次规划问题．在适…     

求解单调非线性方程组的非精确正则化牛顿法及其局部收敛性

本文提出了一种求解单调非线性方程组的非精确正则化牛顿方法,在较弱的局部误差界条件下,证明了该方法具有局部二次收敛性,该方法是文献[4]中精确正则化牛顿法的推广.