求解一类特殊非光滑极大值函数方程的光滑保守DPRP共轭梯度法

对一类特殊极大值函数非光滑方程问题的方法进行了研究, 利用极大值函数和绝对值函数的光滑函数对提出的非光滑方程问题进行转化, 提出了一种光滑保守DPRP共轭梯度法. 在一般的条件下, 给出了光滑保守DPRP共轭梯度法的全局收敛性, 最后给出相关的数值实验表明方法的有效性.     

矩阵最小二乘问题的迭代求解及其在机器翻译中的应用

研究一类线性矩阵方程最小二乘问题的迭代法求解,利用目标函数与矩阵迹之间的关系构造了矩阵形式的"梯度"下降法迭代格式,推广了向量形式的经典"梯度"下降法,并引入了两个矩阵之间的弱正交性来刻画迭代修正量的特点.作为本文算法的应用,给出了机器翻译优化问题的一种迭代求解格式.     

互补约束规划问题的一个广义梯度投影算法

本文研究了一类均衡约束最优化问题.利用广义梯度投影法,结合罚函数思想,得到了一个初始点可以任意的广义梯度投影算法.在较弱的条件下,证明了算法的全局收敛性.     

混合互补问题的光滑算法及收敛性

利用Fischer-Burmeister函数将混合互补问题转化为非线性方程组,由光滑函数逼近FB函数来求解非线性方程组．文中将信赖域方法和梯度法相结合,提出了Jacobian光滑化方法．算法在一定条件下的全局收敛性得到了证明,数值试验表明算法切实有效,有一定的优越性．     

求解二次损失函数优化问题的分布式共轭梯度算法

提出一种在分布式环境中利用共轭梯度法优化二次损失函数的算法,该算法利用本地子机器局部损失函数的一阶导数信息更新迭代点,在每次迭代中执行两轮通信,通过通信协作使主机器上的损失函数之和最小化.经过理论分析,证明该算法具有线性收敛性.在模拟数据集上与分布式交替方向乘子法进行对比,结果表明分布式共轭梯度算法更匹配于集中式性能....     

线性约束最优化的一个共轭投影梯度法

本结合共轭梯度法及梯度投影法的思想,建立线性等式约束最优化的一个新算法,称之为共轭投影梯度法。分别对二次凸目标函数和一般目标函数分析和论证了算法的重要性质和收敛性。     

梯度下降法在沉积物粒度分布拟合中的应用

结合实测数据,以三个对数正态分布函数的和函数为拟合函数,以梯度下降法为主要方法,对沉积物粒度分布进行了数据拟合,通过数值实验我们发现:利用梯度下降法可以有效地优化分布函数的各参数,实现拟合残差的稳步持续减小,具有良好的可操作性,拟合效果是令人满意的,它为我们进行数据拟合提供了一条新的思路,同时此方法也可以推广到解决其他极值问题.     

球面上$\ell_1$正则优化的随机临近梯度方法

本文研究球面上的$\ell_1$正则优化问题,其目标函数由一般光滑函数项和非光滑$\ell_1$正则项构成,且假设光滑函数的随机梯度可由随机一阶oracle估计.这类优化问题被广泛应用在机器学习,图像、信号处理和统计等领域.根据流形临近梯度法和随机梯度估计技术,提出一种球面随机临近梯度算法.基于非光滑函数的全局隐函数定理,分析了子问题解关于参数的Lipschtiz连续性,进而证明了算法的全局收敛性.在基于随机数据集和实际数据集的球面$\ell_1$正则二次规划问题、有限和SPCA问题和球面$\ell_1$正则逻辑回归问题上数值实验结果显示所提出的算法与流形临近梯度法、黎曼随机临近梯度法相比CPU时间上具有一定的优越性.     

关于拉格朗日乘数法的几何意义

利用梯度和方向导数的概念讨论函数在曲线或曲面上的变化率,从而给出拉格朗日乘数法的一个直观的几何解释.     

无约束最优化的信赖域BB法

梯度法是求解无约束最优化的一类重要方法.步长选取的好坏与梯度法的数值表现息息相关.注意到BB步长隐含了目标函数的二阶信息,本文将BB法与信赖域方法相结合,利用BB步长的倒数去近似目标函数的Hesse矩阵,同时利用信赖域子问题更加灵活地选取梯度法的步长,给出求解无约束最优化问题的单调和非单调信赖域BB法.在适当的假设条件下,证明了算法的全局收敛性.数值试验表明,与已有的求解无约束优化问题的BB类型的方法相比,非单调信赖域BB法中e_k=‖x_k-x~*‖的下降呈现更明显的阶梯状和单调性,因此收敛速度更快.     

关于条件极值的两点思考

认为现行高等数学教材关于多元函数条件极值的处理存在值得商榷之处.实例分析多元函数条件极值的拉格朗日乘数法和代人法.指出它们都必须受条件函数梯度非零的限制.利用已知目标函数和条件函数的一阶、二阶偏导数可以判定拉格朗日乘数法所得出的可能极值点处是取极大值还是极小值.由此可得判定条件极值的一个充分条件.     

基于梯度的拉格朗日乘数法的几何直观

针对目前大学数学教材中拉格朗日乘数法缺乏几何直观的问题,本文利用目标函数与约束函数的梯度关系,从几何角度对拉格朗日乘数法进行了详细的分析,并结合具体算例和几何图形给予说明,进而达到从几何直观揭示拉格朗日乘数法的本质,为代数表达式的几何解释提供了范例.     

基于函数下降量的共轭梯度法

本文提出了一种计算共轭梯度法中主要参数βk的新形式,它的计算与目标函数的下降量有关.并且还构造了它的一种杂交形式.利用了βk的新形式及其杂交形式的共轭梯度法都是收敛的.大量的数值实验表明它们是非常有效和稳健的,能用于大规模科学计算.     

一般线性或非线性约束下的共轭投影变尺度方法

梯度投影法是一类有效的约束最优化算法，在最优化领域中占有重要的地位．但是，梯度投影法所采用的投影是正交投影，不包含目标函数和约束函数的二阶导数信息·因而；收敛速度不太令人满意．本文介绍一种共轭投影概念，利用共轭投影构造了一般线性或非线性约束下的共轭投影变尺度算法，并证明了算法在一定条件下具有全局收敛性．由于算法中的共轭投影恰当地包含了目标函数和约束函数的二阶导数信息，因而收敛速度有希望加快．数值试验的结果表明算法是有效的．     

指数型功能梯度材料平面问题应力场通解

研究了功能梯度材料平面问题的应力场,引入Ariy应力函数,将问题转化为四阶偏微分方程,然后利用坐标变换方法,求得了应力函数的通解,进而得到了应力场的通解.     

常微分方程中的反问题

研究某函数或函数组是什么常微分方程的通解或特解,这可以称为常微分方程中的反问题.这类问题,可以用"微分法"来解决.研究这类问题的意义在于通过利用"微分法"及"逆向思维方法"解决反问题的过程来加强对常微分方程理论内涵的深刻理解.     

强迫对流管道内壁结垢层几何形状的逆运算估计

利用逆运算法中的共轭梯度法与差异原理,通过测量管壁内的温度,来估算一管流系统内壁结垢层厚度的几何形状．过程中未预先设定结垢层厚度的函数形式．因此,可将这类逆运算问题归类为“函数预测”．逆运算过程的管壁温度测量值,可由直接解法所求得的温度数值来仿真实际的测量温度．并用测量误差来检验逆运算分析的正确性．数值实验结果显示,管内壁结垢层厚度的几何形状可获得极佳的估算值．所提出的技术可用作管路维修的预警系统,当管壁结垢层厚度超出某预先设定值时可适时发出维修警示．     

C1,1半定规划的二阶最优性条件

研究了C1,1函数类的半定规划问题,其中的目标函数是连续可微的,其梯度是拟可微的.利用拟可微分析分别给出了二阶必要条件和二阶充分条件.     

非光滑分析

最近十几年来,由于数学规划论、对策论、数理经济学、逼近论、变分学、最优控制等多方面的需要,正在形成一门新的数学分支——非光滑分析.顾名思义,它是研究非光滑函数的分析问题的;但实际上,它目前主要研究非光滑函数的极值问题. 所谓非光滑函数,是指这种函数无通常意义下的导数、微分可言.因此,研究这种函数的极值问题,就不能利用通常的Fermat原理或变分原理(梯度或变分为零),来求得极值点应满足的条件.非光滑分析的首要任务就是如何推广通常的导数、微分概念.尽管自从Schwartz的分布(广义函数)论问世以来,在某种意义下,任何连续函数,甚至任何局部     

半定规划的PRP~+共轭梯度法(英文)

本文对半定规划(SDP)的最优性条件提出一价值函数并研究其性质.基此,提出半定规划的PRP+共轭梯度法.为得到PRP+共轭梯度法的收敛性,提出一Armijo-型线搜索.无需水平集有界及迭代点列聚点的存在,算法全局收敛.