一种修正的HS共轭梯度法及全局收敛性

<正>1引言考虑无约束极小化问题:(?),(1)其中f(x)连续可微,其梯度函数用g(x)表示.共轭梯度法求解(1)的常用迭代格式为:x_(k+1)=x_k+α_kd_k,(2)(?)(3)其中g_k=▽f(x_k),α_k≥0是由某种线搜索得到的步长因子;d_k为搜索方向,β_k为标量,β_k的不同选择产生了不同的共轭梯度法.著名的β_k公式有:     

具有大稳定域的线性多步方法

§1.引言 解常微分方程初值问题:的线性k步方法为 sum from j=0 to k (α_jy_(n j)=h sum from j=0 to k (β_jf_(n j),(2)其中α_0~2 β_0~2≠0,α_k≠0.当β_k≠0时,(2)为隐式k步法;当β_k=0时,(2)为显式k步法. 若将(2)应用于单个方程 y′=λy,Reλ<0,则得差分方程 ρ(E)y_n=μσ(E)y_(?),μ=λh,     

精确线搜索下一种新的混合共轭梯度法

本文对于大规模无约束优化问题提出了一种新的混合β_k公式,从而提出了一种具有充分下降性的混合共轭梯度法.利用精确线搜索步长规则,在适当的假设下证明了新算法的全局收敛性.     

带参数共轭梯度法簇的全局收敛性

共轭梯度法是最优化中最常用的方法之一,广泛地应用于求解大规模优化问题,其中参数β_k的不同选取可以构成不同的共轭梯度法.给出了一类含有三个参数的共轭梯度算法,这种算法能够在给定的条件下证明选定的β_k在每一步都能产生一个下降方向,同时在强Wolfe线搜索下,这种算法具有全局收敛性.     

一类椭球等高矩阵分布的矩

设X是m×n随机矩阵,n≥m,S=XX’,O_m是所有m×m正交阵的集合。如果对任意的Γ∈O_m,ΓX(?)X 则对任意整数k E(S~k)=c~kI_m cov(vec S~k)=α_kI_(m~2)+β_kK_(m~2)+γ_kQ_(m~2)其中 c_k、α_k、β_k、和γ_k是某些常数; I_l,l×l单位阵; K_(m~2)=sum from ij=1 to m(H_(ij)(×)H′_(ij)); Q_(m~2)=sum from ij=1 to m(H_(ij)(×)H_(ij));而 H_(ij)表示这样的 m×m矩阵,除了h_(ij)=1外,其它元素为零,(×)表示 Kronecker积。另外,本文也求出了一些特殊的α_k,β_k,γ_k和c_k的值。     

对称QL算法对角元的收敛条件

文[1]指出,在QL算法收敛性讨论中,仅有β_1~(K)→0并不能保证α_1~(k)收敛,并证明在加上条件:|α_1~(k)-σ_k|μ0”后,可确保α_1~(k)趋于T的某个固定特征值。本文首先对QL算法收敛性给出了一个精确的定义,然后给出一个与[1]不同的确保收敛的条件: “若{σ_k}_k=1~∞极限存在且β_i~(k)→0,则有α_i~(k)→λ_i(j=1,2,…,m)”条件“{σ_k}_k=1~∞极限存在”与“α_1~(k)-σ_k|→0”互不包含,在具体应用中,对后者无法判别(如[3]中给出的NS位移)或不成立的某些场合,前者具有独到的优点。     

解线性方程组的选代法的停机准则和误差界

在用迭代格式x~(k+1)=Gx~k+g(k=0,1,…)求解n阶线性方程组Ax=f的过程中,由于精确解α是未知的,因而停机准则通常用后验误差δ_k=x~k=x~(k-1)给出.给出较好的停机准则,并且通过δ_k估计迭代法的误差ε_k=α-x~k的界,是一个研究课题.由直接计算得ε_k=(1-G)~(-1)Gδ_k,从而     

解线性方程组的选代法的停机准则和误差界

在用迭代格式x~(k+1)=Gx~k+g(k=0,1,…)求解n阶线性方程组Ax=f的过程中,由于精确解α是未知的,因而停机准则通常用后验误差δ_k=x~k=x~(k-1)给出.给出较好的停机准则,并且通过δ_k估计迭代法的误差ε_k=α-x~k的界,是一个研究课题.由直接计算得ε_k=(1-G)~(-1)Gδ_k,从而     

多重线性回归中数据联合影响的分解及数据的交叉影响

一、引言考虑多重线性回归模型Y=Xβ ε,(1)其中,Y=(y_1,…y_n_)′为 n×p 观察矩阵,X=(x_1,…,x_n)′为 n×(k 1)列满秩设计矩阵,β=(β_0,β_1,…β_k)′为(k 1)×p 未知参数矩阵,ε=(ε_1,…ε_n)′为 n×p 随机误差矩阵,ε_1…,ε_n 相互独立.     

关于co-H-空间上的映射(Ⅱ)

对于 co-H-空间 X 和 Y,本文对所有 X 到 Y 的 co-H-映射的同伦等价类所成的群[X,Y]~H([X,Y]的子群)的秧进行估值,得到如下结论:当 X 满足一定条件时ρ[X,Y]~H≤(?)β_K(X)β_k(Y)以及当取同纬映象结构时ρ[SX,SY]~H=(?)β_K(X)β_k(Y).另外本文还讨论了 co-H-空间和回路空间上的 F-等价问题,并获得一些结果.     

实数展式的一个性质

文〔1—2〕提出了研究实数展式的概率性质的一种新方法——函数论方法,其要点是建立关于单调函数几乎处处可微的 Lebesgue 定理与概收敛之间的某种联系.本文的目的是要利用这种方法得出实数的广义 m 进展式的一个概率性质.基本引理 设0相似文献   

关于用多维样条逼近的饱和度

<正> 作者在工作[1]中,研究了一维样条逼近的饱和度问题,得到了下述定理: 定理A 设{△_k}是区间[a,b]的一分划序列,‖△_k‖→0(k→∞),R_(△k)≤β<∞(k=1,2,…),若f(x)∈c~n[a,b],S_(△_k)(x)是(n-1)次多项式样条,如果 对任一p成立,(p=0,1,…,n)则 D~nf(x)≡0. 本文是[1]的续篇,对多维样条进行研究,可得一些类似的结果,为明确起见,我们仅对二维情形进行讨论.     

方向数据密度核估计的对数律

设X为取值于k维单位球面上的单位随机向量,具有概率密度函数f(x),X_1,…,X_n为X的n个i.i.d.的观察,讨论f(x)具有形式的核估计,其中K为定义于[0,+∞]上的非负核函数,ω_k为Ω_k上的Lebesque测度,本文建立了fn(x)的对数律,并给出了fn(x)的一致强相合速度。     

连续时间折扣矩最优模型及其与离散时间拟折扣矩最优模型的关系——Q 矩阵族未必保守的情形

本文是首次在转移率矩阵族为一般 Q 矩阵族(未必保守亦未必一致有界)的条件下,研究状态空间与决策集均为可数集的连续时间折扣矩最优模型(M_k-CTMDP);提出离散时间折扣依赖于状态与决策的拟折扣矩最优模型(β_k-GTMDP);并揭示二者之间的关系;给出在 f~∞下折扣总报酬 k 阶矩向量 μ_k(f)满足:kαμ_k(f)=kr(f)(?)μ_(k-1)(f)+Q(f)μ_k(f)及μ_k(f)=kP~(min)(kα,f)(r(f)(?)μ_(k-1)(f))的简洁表达式;给出报酬矩最优是矩最优方程组唯一有界解的一个很弱的充分条件与解法;给出矩最优策略存在的充要条件与若干性质.本文结果对 MDP 理论的发展与应用有重要意义,而且对跳跃型马氏过程的一类积分型泛函的研究与应用也颇有意义.     

连续时间折扣矩最优模型及其与离散时间拟折扣矩最优模型的关系——Q 矩阵族未必保守的情形

本文是首次在转移率矩阵族为一般 Q 矩阵族(未必保守亦未必一致有界)的条件下,研究状态空间与决策集均为可数集的连续时间折扣矩最优模型(M_k-CTMDP);提出离散时间折扣依赖于状态与决策的拟折扣矩最优模型(β_k-GTMDP);并揭示二者之间的关系;给出在 f~∞下折扣总报酬 k 阶矩向量 μ_k(f)满足:kαμ_k(f)=kr(f)(?)μ_(k-1)(f)+Q(f)μ_k(f)及μ_k(f)=kP~(min)(kα,f)(r(f)(?)μ_(k-1)(f))的简洁表达式;给出报酬矩最优是矩最优方程组唯一有界解的一个很弱的充分条件与解法;给出矩最优策略存在的充要条件与若干性质.本文结果对 MDP 理论的发展与应用有重要意义,而且对跳跃型马氏过程的一类积分型泛函的研究与应用也颇有意义.     

多重线性关系模型的强相合估计

其中x_k(k=1,2,…,n)是m维非随机向量,真确地满足线性关系(1.1a),是不可观测的.ξ_k(k=1,2,…,n)是可观测的m维随机向量,其随机误差δ_k(k=1,2,…,n)是m维i.i.d随机向量,且满足     

非线性最优化线搜索终止规则的综述

一、引言在非线性最优化领域中,对于优化问题其中 f:R→R~1,f∈C~1,约束集 R(?)R~n,一般采用形如 x_(k+1)=x_k+λ_(kpk),k=0,1,…,的迭代算法来求解,这里 p_k 表示搜索方向,λ_k 为搜索步长.p_k 一般选为下降方向,即▽f(x_k)~Ypk<0,p_k 选定后,λ_k 的选取至关重要,如果λ_k 选得不合理,有时连收敛性都难以保证;反之,即使在较弱的条件下也会获得比较满意的结果.λ_k的选取过程实质上是一个搜索过程,我们先将 n 元函数,看成是沿方向 p_k 的一无函数 h_k(λ)f(x_k+λ_(pk)),再对 h_k(λ)实施线搜索.大多数线搜索要求其有下降性质:     

集论公理的简约与基数的方幂

如命 tran_R m 指(uRv ∧usm→·usm),而 xR_*y 指m(tran_Rm∧ysm→·xsm),则集论的六条公理(对偶、联集、幂集、分出、替换、无穷)可合并为一条:x!yφ(x,y)→sy(yssx(xs_*axp_*b·φ(x,y)),这里“!y”指“最多只有一个 y”,而 xpb 指“x 为 b 的幂集”.给定无穷基数 a 后,可定义:f_0(α)=μβ(α~β>α),σ_0(α)=μγ(γ~(f_0(α))>α);f_(k 1)(a)=μβ(γ<σ_k(α))γ~β>α,σ_(k 1)(α)=μγ(γ~(f_(k 1)(α))>α).则有定理:当1≤βγ,则有:当g(δ)≤α≤g(δ)~β时α~β=g(δ)~β,对此外的α,则必α~β=α.     

正交多项式回归理论中一个递推关系的证明

令(?)_k(t)表示 k 阶多项式,对于一组首项系数为1的多项式{(?)_k(t),k≥0}在t=0,1,…,(N-1)处正交,即(?)本文证明了它们有递推关系(?)_(k+1)(t)=(?)(t)(?)_k(t)-a_(k-1)(?)_(k-1)(t),其中a_(k-1)=k~2(N~2-k~2)/4(4k~2-1).     

长相依部分线性EV模型的小波估计的弱相合性

在部分线性回归模型基础上,本文对自变量x进行了变形,使部分线性回归模型变为EV模型,y_k=x_kβ+g(t_k)+ε_k,X_k=x_k+u_k,k=1,2,…,n,自变量x_k只能通过X_k=x_k+u_k来观测,其中误差是非长相依的,并采用小波估计方法对结论进行证明.对水文地理学,经济学,时间序列分析和其他科学领域都有作用.