连续时间变界截尾的两步算法及它的一个应用

一、引言自从五十年代 Robbins-Monro 提出随机逼近算法以来,不仅离散时间量测,而且连续时间量测的算法也引起人们很大的关注。对连续时间的量测误差也从最简单的独立增量过程研究到相关增量及其他一般的过程。 近年来对离散时间的量测的算法出现了一些新的想法。文献[5]中提出了随机变界截尾算法,去掉了对算法事先要求有界的条件。研究了两步算法,去掉了对某一 Liapunov 函数存在性的要求。[8]进一步把[5]和[6]的方法结合起来,在较弱的条件下求解了优化问题。本文把这些思想结合起来用到连续时间量测,给出一个连续时间的二步算法,用随机变界截尾的方法,既不事先假定算法有界,也不额外假定某一 Liapunov 函数的存在性,在较弱条件下证明了算法向函数的极值几乎处处收敛。本文还以组合债券问题为例,说明在实际中确实出现连续量测下求极值的问题。我们对组合债券这一实例给出了数学模型。它正好可以用本文给出的理论方法解决。     

两类逼近精确罚函数法及其数值试验

1 引言 精确罚函数(exact penalty function)的构造主要有两条途径:一是基于Lagrange乘子的乘子罚函数方法,二是直接构造非光滑的精确罚函数。不必进行乘子迭代。本文讨论第三种思路:基于目标函数最优值构造保持光滑性的精确罚函数。某些无参数外点罚函数本应属于此类,但一直仅仅被作为普通外点罚函数的无参数形式。将其与无参 数内点罚函数同等看待,因此基于目标函数最优值构造精确罚函数未得到充分研究。文献[11]给出了初步结果。本文进一步发展了有关理论,导出了两类算法,证明了收敛性,最后给出了数值试验结果。 2 基于目标函数最优值的精确罚函数 考虑如下约束优化问题     

曲率障碍下四阶变分不等式的交替方向乘子法北大核心CSCD

对于重调和算子和曲率障碍表示的变分不等式,提出了自适应交替方向乘子数值解法(SADMM).对问题引入一个辅助变量表示曲率函数的增广Lagrange函数,导出一个约束极小值问题,并且该问题等价于一个鞍点问题.然后采用交替方向乘子法(ADMM)求解这个鞍点问题.通过采用平衡原理和迭代函数,得到了自动调整罚参数的自适应法则,从而提高了计算效率.证明了该方法的收敛性,并给出了利用迭代函数近似罚参数的具体方法.最后,用数值计算结果验证了该方法的有效性.     

从常步长梯度方法的视角看不可微凸优化增广Lagrange方法的收敛性

增广Lagrange方法是求解非线性规划的一种有效方法.从一新的角度证明不等式约束非线性非光滑凸优化问题的增广Lagrange方法的收敛性.用常步长梯度法的收敛性定理证明基于增广Lagrange函数的对偶问题的常步长梯度方法的收敛性,由此得到增广Lagrange方法乘子迭代的全局收敛性.     

一类新的罚函数与罚算法(英)

在本文中,我们提出了带不等式约束的非线性规划问题的一类新的罚函数,它的一个子类可以光滑逼近$l_1$罚函数. 基于此类新的罚函数我们给出了一种罚算法,这个算法的特点是每次迭代求出罚函数的全局精确解或非精确解. 在很弱的条件下算法总是可行的. 我们在不需要任何约束规范的情况下,证明了算法的全局收敛性. 最后给出了数值实验.     

基于双参数罚函数求解约束优化问题的一个新算法

对于含约束不等式的最优化问题给出了一种双参数罚函数形式,在文[7]的拟牛顿算法的基础上提出了一个同时改变双参数罚函数的新算法,研究了它的收敛性,数值实验表明了该算法是有效的.     

一种求解混合约束优化问题的半可行序列线性方程组滤子算法的局部收敛性

作者在[10]中提出了一种半可行序列线性规划滤子方法.它将QP-free方法推广至混合约束优化问题上,并且保持对不等式约束的可行性,对等式约束部分用滤子方法处理,从而避免了罚参数的选取.该算法只需求解四个具有相同系数矩阵的线性方程组以得到搜索方向.在一定程度上克服了序列二次规划方法的缺点.[10]中仅给出了全局收敛性.本文主要给出了该算法的局部超线性收敛性证明以及数值结果.     

求解线性规划的极大熵方法

极大熵方法是求解多约束非线性规划和极大极小问题的一种有效的方法.用它来求解多约束优化问题,一种途径是将多约束用单约束近似,再用增广Lagrange乘子法求解近似问题;另一种途径是用极大熵方法构造精确罚函数的近似.无论是哪一种途径都需要估计乘子的上界.能否构造不引入乘子估计的算法是很有意义的.Karmarkar算法是求解线性规划的一种有效的多项式内点方法.这种方法在每一次迭代时都要作变换,在像空间用内切球近似单纯形的近似问题得到像空间的新的近似解,再作逆变换求得原空间的新的近似解.可见一次性地构造近似问题并求解之而得     

低阶精确罚函数的一种二阶光滑逼近

给出了求解约束优化问题的低阶精确罚函数的一种二阶光滑逼近方法,证明了光滑后的罚优化问题的最优解是原约束优化问题的ε-近似最优解,基于光滑后的罚优化问题,提出了求解约束优化问题的一种新的算法,并证明了该算法的收敛性,数值例子表明该算法对于求解约束优化问题是有效的.     

无罚函数和滤子的QP-free非可行域方法

提出了求解光滑不等式约束最优化问题的无罚函数和无滤子QP-free非可行域方法. 通过乘子和非线性互补函数, 构造一个等价于原约束问题一阶KKT条件的非光滑方程组. 在此基础上, 通过牛顿-拟牛顿迭代得到满足KKT最优性条件的解, 在迭代中采用了无罚函数和无滤子线搜索方法, 并证明该算法是可实现,具有全局收敛性. 另外, 在较弱条件下可以证明该方法具有超线性收敛性.     

化不等式约束问题为无约束的广义可微限域精确罚函数方法

本文给出了广义可微精确罚函数的概念及一类所谓广义限域可微精确罚函数.本文预先选定罚因子,将不等式约束问题化为单一的无约束问题,并给出了具全局收敛性的算法.本文的罚函数构造简单,假设条件少而且算法的构造与收敛性结果是独特的.     

适应性波束形成器的随机变界截尾算法

本文对适应性波束形成器给出一种递推随机变界截尾算法,并在较简单的条件下,证明了算法几乎处处具有大范围收敛性.     

一类非凸优化问题广义交替方向法的收敛性

考虑利用广义交替方向法(GADMM)求解线性约束两个函数和的最小值问题,其中一个函数为凸函数,另一个函数可以表示为两个凸函数的差.对GADMM的每一个子问题,采用两个凸函数之差算法中的线性化技术来处理.通过假定相应函数满足Kurdyka-Lojasiewicz不等式,当增广Lagrange(拉格朗日)函数的罚参数充分大时,证明了GADMM所产生的迭代序列收敛到增广Lagrange函数的稳定点.最后,给出了该算法的收敛速度分析.     

基于Agent与分解协调的综合生产计划研究

以作业单元为局部决策Agent,车间管理者为全局协调Agent,引入生产节点间的内部结算价格,基于多Agent系统,建立了综合生产计划的分布式决策模型.通过将局部Agent决策目标的总和与全局Agent决策目标进行对比,证明了所引入的内部结算价格就是全局Agent目标函数关于物流平衡约束的Lagrange乘子.基于Lagrange分解协调原理,设计了局部作业单元Agent和全局协调Agent的迭代协调算法.该迭代算法以上次计算的中间结果作为对其它作业单元生产需求的估计,从而能将各个生产单元Agent的决策模型分离,实现了分布建模与求解.在算例研究中使用启发式规则来确定Lagrange乘子迭代的步长系数,保证了较好的收敛性,证明模型和算法是有效的.     

一类等式约束非线性优化问题的信赖域新算法

提出一类信赖域新算法用于求解等式约束的非线性优化问题,在构造增广拉格朗日函数的基础上,提出了信赖域子问题的求解公式,研究了拉格朗日乘子和罚因子的修正公式,并使用滤子技巧,放松了接受尝试步的条件,证明了算法的收敛性.最后进行了数值试验.     

等式约束优化一个修正的投影变尺度法

本文研究了等式约束优化问题.利用罚函数和投影变尺度方法,得到了一个修正的算法及其全局收敛与超线性收敛率.改进了文献[J]中的方法.     

采用修正搜索方向的约束变尺度算法

以WHP算法为代表的约束变尺度算法是解有约束非线性规划问题的常用算法之一,但是,这类算法还有较多理论问题没有解决。本文提出一类新的约束变尺度算法,而且在不假定‖B_k‖有界的情况下,证明该算法的整体收敛性和在一定条件下,算法超线性收敛。     

用非线性方程组求解等式约束非线性规划问题的降维算法

本文研究线性和非线性等式约束非线性规划问题的降维算法.首先,利用一般等式约束问题的降维方法,将线性等式约束非线性规划问题转换成一个非线性方程组,解非线性方程组即得其解;然后,对线性和非线性等式约束非线性规划问题用Lagrange乘子法,将非线性约束部分和目标函数构成增广的Lagrange函数,并保留线性等式约束,这样便得到一个线性等式约束非线性规划序列,从而,又将问题转化为求解只含线性等式约束的非线性规划问题.     

局部列紧(正规)算子与局部列紧(正规)收敛

在数值求解非线性算子方程时,列紧 算子、正规算子与列紧收敛、正规收敛理论,即列紧、正规算子逼近理论[1]、[3]、[5],导致了在较少假定下方程的近似解的收敛性[1]—[6]。作为列紧、正规算子逼近理论的推广,本文引入局部有界点列、局部有界算子、局部列紧算子(线性或非线性、有界或无界)、局部正规算子与局部列紧收敛、局部正规收敛等     

用L_1-罚函数作线性搜索函数的一种修正约束变尺度算法

本文对用Ｌ１－罚函数作线性搜索的约束变尺度算法，提出了一种新的修正方法，该方法的计算量小，可行性较好，并且仍能保持原有算法的收敛性．