含发散维数自变量的单指标模型中方向向量的稳健估计

在回归分析中,常常引入大量的自变量来减少模型拟合的误差.本文考虑如下非常一般的单指标模型:在给定自变量X的线性组合β0τX的条件下,响应变量Y和维数发散的自变量X相互独立,其中β0是pn维向量.本文在这样的单指标模型假设下讨论当pn→∞时单指标模型中方向向量的稳健估计问题.我们发现,当pn=o(√n)时,最小二乘估计βn0能够相合地估计β0的方向.为了剔除不相关的自变量,从而提高回归模型的可解释能力,我们提出基于1-正则化的算法,通过加二次限制得到稀疏的最小二乘估计.1-正则化的解βn不仅可以相合地估计β0的方向,而且可以产生稀疏的估计.因此,我们可以选择一些重要的自变量,在保持预测准确度的同时使模型解释变得容易.模拟分析和汽车价格数据应用分析表明,我们所提出的估计方法在有限样本场合具有良好的表现.     

解超定病态线性方程组问题

给出超定方程组 Ax=b (1.1)其中A是秩为r的m×n矩阵,b是m维向量,x是n维未知向量. 目前处理病态线性方程组的方法大体上可以分为两类.一类是投影法(即降维法);另一类是正则化法.降维法是把右端向量b投影到A的极大线性无关列所张成的子空间中求解.数值相关性理论为其实际运用奠定了基础.降维法解病态线性方程组的     

关于求解最小二乘问题的SSOR迭代矩阵谱半径极值性质的研究

§1.引言 假设A为大型稀疏m×n实矩阵(m>n),且 rank(A)=n,在实用中,常常需要求解 AX=b,(1.1)其中b为给定的m维实向量. 求(1.1)的最小欧氏范数最小二乘解等价于求解 r Ax=b,A~Tr=0,(1.2)     

一类混合0-1非凸二次约束二次规划问题的近似算法

研究一类混合0-1非凸二次约束二次规划问题的近似算法.该问题是在M个非凸二次约束与一个基数约束下,求解一个n维向量的极小范数,变量包含M个0-1变量与一个n维连续向量.该问题是NP-难的.在求解其半正定规划(SDP)松弛问题的基础上,提出了一种随机舍入算法,能够得到原始的问题的一个可行解.数值仿真实验结果表明该方法是十分有效的.     

并行列扫描Gram—Schmidt正交化方法

Gram-Schmidt正交化方法在求解线性代数方程组、最小二乘问题、代数特征值问题等很多矩阵计算问题中有着广泛的应用。因而,设计一种能在并行计算机上高效运行的GS正交化方法,必将对其他若干实际计算问题带来莫大的益处。张丽君教授在文献[2]和[3]中就方阵的正交三角分解问题作了详细的讨论。但实际情况中常遇到长方阵的正交化问题(如最小二乘问题)。本文提出一种适于并行计算的GS正交化方法,该方法采用了类似于求解三角形方程组的“列扫描”处理技巧。本算法特别适用于最小二乘等问题中常见的向量序列短而向量维数高(即后文的m(?)n)的情形,程序实现也很简单,尤其在备有内积功能部件的向量机上运行效率可达O(1)。     

求解l1极小化问题的Bregman迭代算法

在Tikhonov正则化方法的基础上将其转化为一类l1极小化问题进行求解,并基于Bregman迭代正则化构建了Bregman迭代算法,实现了l1极小化问题的快速求解.数值实验结果表明,Bregman迭代算法在快速求解算子方程的同时,有着比最小二乘法和Tikhonov正则化方法更高的求解精度.     

基于函数型数据的系数正则化回归的收敛速度（英文）

本文研究了基于函数型输入和_1-正则化的最小二乘回归问题的推广性能.利用基于Rademacher平均的分析技术,获得了学习速度的估计,推广了已有的欧式空间有限维输入结果.     

图像处理中全变差正则化数据拟合问题算法回顾

全变差正则化数据拟合问题产生于许多图像处理任务,如图像去噪、去模糊、图像修复、磁共振成像、压缩图像感知等.近年来,求解此类问题的快速高效算法发展很快.以最小二乘、最小一乘等为例简要回顾求解此类问题的主要算法,并讨论一个全变差正则化非凸数据拟合模型在脉冲噪声图像去模糊问题中的应用.     

基于函数型数据的系数正则化回归的收敛速度

本文研究了基于函数型输入和₁-正则化的最小二乘回归问题的推广性能.利用基于Rademacher平均的分析技术,获得了学习速度的估计,推广了已有的欧式空间有限维输入结果.     

求解大型超定线性代数方程组的块Kaczmarz算法

正1 引言考虑大型超定线性代数方程组Ax=b,(1)其中 A ∈ C~(m×n) (m n),b ∈C~m.当m=n时,线性代数方程组求解的相关理论和算法较为成熟,但在很多实际问题中,系数矩阵A的行数和列数不相等(m≠n),如超定或欠定线性代数方程组.因此,有必要研究此类线性代数方程组的数值解法.在结构分析,计算机辅助几何设计,图像恢复,模型参数估计等众多领域中,经常需要求解大型超定线性代数方程组.Vuik [1]研究了大型超定线性代数方程组最小二乘问题的预处理Krylov迭代方法;Bai [2]提出列分解松弛法;Yin[3]提出了求解大型稀疏最小二乘问题的不完备Givens正交化的预处理GMRES方法;Hayami[4]考虑引入一个新的矩阵将GMRES方法应用到最小二乘问题,求得方程组的最小二乘解;Finta [5]推导了加权超定线性代数方程组的梯度法,并证明该方法是收敛的.     

关于SSOR迭代法应用于最小二乘问题时的收敛定理的一个注记

考虑求解如下的最小二乘问题: 其中A是一个列满秩的大型稀疏m×n矩阵,一般m>n,b是一给定的m维实向量。现无妨假定A具有如下形状     

变换数据对线性模型拟合值的影响

一、引言考虑线性回归模型其中Y是n维观测向量,X是n×p阶段设计矩阵,且其秩为R(X)=p,β为p维未知参数向量,e为n维随机误差向量、对于模型(1.1),β的最小二乘估计(The Least Squares Estimate,以下简记为LS估计)     

多项式核最小二乘正则化回归的逼近阶

给出具有多项式核最小二乘正则化回归算法的逼近阶, 目的是解决学习理论中回归问题的误差分析. 构造了一种可以产生逼近于最优逼近阶的正则化方案, 而所得到的逼近阶依赖于多项式空间的维数和具有多项式核的再生核Hilbert 空间, 同时也建立了Borel 概率测度下的~$L_{\rho_X}^2$ 空间中Bernstein-Durrmeyer 算子逼近的正定理.     

关于多维平稳序列的一个结果

是一个 m 维宽平稳随机向量序列,且 Ex_i=0(零向量),i=1,2,….易知(?)与 i 无关,且(?)(τ)~T 是一个 m 阶矩阵(A~T 表示 A 的转置矩阵).又(?)特别(?)(0)=(?)(0)~T 是每个随机向量的协方差阵.今有 n+1个 m 维宽平稳的随机向量 X_1,…,X_(n+1).令     

关于线性规划问题的复杂性

一、线性规划问题 1.1 引言设A是m×n矩阵,b是m维向量,c是n维向量,我们要求满足约束Ax≤b的n维向量x,使得c~Tx达到最大值: max·c~Tx s.t.Ax≤b.(1.1)这就是线性规划问题。它的建模和求解与生产计划、最优控制、对策论、组合学、离散变量的最优化、计算复杂性理论和许多离散的应用数学问题的研究有密切的关系。世界上的电子计算机有相当大的部分时间用于解线性规划问题。     

求解稀疏相位恢复问题的随机交替方向法(英文)

近年来稀疏相位恢复问题受到了越来越多的关注.本文提出了一种随机交替方法方法求解稀疏相位恢复问题,该算法采用硬阈值追踪算法求解带稀疏约束的最小二乘子问题.大量的数值实验表明,该算法可以通过O(s log n)次测量(理论上最少测量值)稳定的恢复n维s稀疏向量,并且在随机初值下可以获得全局收敛性.     

求解特征值反问题的同伦方法

§1.引言 本文讨论经典的加法问题,即 问题A.给定一个n阶实对称矩阵A和n个实数λ_1,…,λ_n,求n维实向量x=(x_,…,x_n)~T,使得A+diag(x_1,…,x_n)的特征值是λ_1,…,λ_n。 求解问题A的数值方法已有很多,一般是先把问题A化为一个等价的非线性方程组,然后用Newton法求解相应的非线性方程组.在[6]中,Friedland等对这方面的工     

伪对称点集与正则单形

要证明了E~n中的有序向量集是伪对称点集的充要条件.利用这一充分必要条件,得到了有关正则单形的几个等价描述,给出了伪对称点集与正则单形的关系的一个结论:设■={A_1,A_2,…,A_(n+1)}是E~n中的点集,则■是n维对称点集的充要条件是以(?)为顶点的单形是正则单形.     

独立误差下线性回归最小二乘估计相和性的必要条件

对线性回归Yi=x'iβ+ei,i=1,…,n,…,其中x1,x2,…为已知P维向量,e1,e2,…为随机误差.本文证明了:如果e1,e2,…独立,每一个非退化,则是β的最小二乘估计相合的必要条件,注意此处对ei的期望和方差没有施加任何条件.     

二元向量分叉连分式插值的矩阵算法

1 引言 设R~2中的点集Ⅱ~(n,m)由下表给出 (x_0,y_0)(x_0,y_1)…(x_0,y_m) (x_1,y_0)(x_1,y_1)…(x_1,y_m) (1.1) (x_n,y_0)(x_n,y_1)… (x_n,y_m)称Ⅱ~(n,m)为矩形网格.对Ⅱ~(n,m)中的每个点(x_i,y_i)给定d维插值向量v_(ij)并将其按上述方式排成向量网格且用中V~(n,m)记之. d维复向量V的Samelson逆定义为