两类解非线性约束问题的超记忆可行方向法

本文将无约束超记忆梯度法推广到非线性不等式约束优化问题上来,给出了两类形式很一般的超记忆可行方向法,并在非退化及连续可微等较弱的假设下证明了其全局收敛性.适当选取算法中的参量及记忆方向,不仅可得到一些已知的方法及新方法,而且还可能加快算法的收敛速度.     

Wolfe线搜索下一类记忆梯度算法的全局收敛性（英文）

在本文中,首先我们提出一个记忆梯度算法,并讨论其在Wolfe线搜索下的下降性和全局收敛性.进一步地,我们将此算法推广到更一般的情形.最后,我们对这类记忆梯度方法的数值表现进行测试,并与PRP, FR, HS, LS, DY和CD共轭梯度法进行比较,数值结果表明这类算法是有效的.     

求解非线性等式和不等式约束优化问题的三项记忆梯度广义投影算法

利用广义投影矩阵，对求解无约束规划的三项记忆梯度算法中的参数给一条件，确定它们的取值范围，以保证得到目标函数的三项记忆梯度广义投影下降方向，建立了求解非线性等式和不等式约束优化问题的三项记忆梯度广义投影算法，并证明了算法的收敛性．同时给出了结合FR，PR，HS共轭梯度参数的三项记忆梯度广义投影算法，从而将经典的共轭梯度算法推广用于求解约束规划问题．数值例子表明算法是有效的．     

初始点任意的解非线性不等式约束优化问题的结合共轭梯度参数的超记忆梯度广义投影算法

本文利用广义投影矩阵，对求解无约束规划的超记忆梯度算法中的参数给出一种新的取值范围以保证得到目标函数的超记忆梯度广义投影下降方向，并与处理任意初始点的方法技巧结合建立求解非线性不等式约束优化问题的一个初始点任意的超记忆梯度广义投影算法，在较弱条件下证明了算法的收敛性．同时给出结合FR，PR，HS共轭梯度参数的超记忆梯度广义投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题．数值例子表明算法是有效的．     

求解约束优化问题的记忆梯度Goldstein-Lavintin-Polyak投影算法

给求解无约束规划问题的记忆梯度算法中的参数一个特殊取法,得到目标函数的记忆梯度G o ldste in-L av in tin-Po lyak投影下降方向,从而对凸约束的非线性规划问题构造了一个记忆梯度G o ldste in-L av in tin-Po lyak投影算法,并在一维精确步长搜索和去掉迭代点列有界的条件下,分析了算法的全局收敛性,得到了一些较为深刻的收敛性结果.同时给出了结合FR,PR,HS共轭梯度算法的记忆梯度G o ldste in-L av in tin-Po lyak投影算法,从而将经典共轭梯度算法推广用于求解凸约束的非线性规划问题.数值例子表明新算法比梯度投影算法有效.     

解带线性或非线性约束最优化问题的三项记忆梯度Rosen投影算法

利用Rosen投影矩阵，建立求解带线性或非线性不等式约束优化问题的三项记忆梯度Rosen投影下降算法，并证明了算法的收敛性．同时给出了结合FR，PR，HS共轭梯度参数的三项记忆梯度Rosen投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题．数值例子表明算法是有效的。     

结合Armijo步长搜索的一类新的记忆梯度算法及其收敛特征

对求解无约束规划的超记忆梯度算法中线搜索方向中的参数,给了一个假设条件,从而确定了它的一个新的取值范围,保证了搜索方向是目标函数的充分下降方向,由此提出了一类新的记忆梯度算法.在去掉迭代点列有界和Armijo步长搜索下,讨论了算法的全局收敛性,且给出了结合形如共轭梯度法FR,PR,HS的记忆梯度法的修正形式.数值实验表明,新算法比Armijo线搜索下的FR、PR、HS共轭梯度法和超记忆梯度法更稳定、更有效.     

无约束多目标优化的记忆梯度法

基于无约束单目标记忆梯度法,本文提出了一种无约束多目标优化问题的记忆梯度法,并证明了算法在Armijo线性搜索下的收敛性。数据试验结果验证了该算法的有效性。     

一类特殊空间上映射的梯度几何流柯西问题解的存在唯一性

通过几何分析方法与抛物型方程组解的逼近理论,研究特殊空间(一维球面S~1到二维球面S~2)上映射的梯度几何流柯西问题解的存在唯一性.利用能量法和空间本身特有的性质来解决能量守恒的问题,并利用适当的抛物型方程组逼近该梯度几何流,在适当的Sobolev空间中建立先验估计,找到其时间的一致正下界和抛物型方程组一列解的Sobo1ev范数的一致边界,借助于抛物型偏微分方程的理论,以此决定该柯西问题解的存在唯一性.     

均衡及约束凸优化问题公共解的一般迭代算法

梯度投影法在解决约束凸极小化问题中起到了重要的作用. 基于Tian的一般迭代算法, 本文将梯度投影法和平均算子方法相结合, 首次提出隐式和显式的复合迭代算法, 寻求均衡问题和约束凸极小化问题的公共解. 在适当条件下, 获得了强收敛定理.     

三项记忆梯度法及其投影算法的收敛性分析

对于无约束优化问题,提出了一类新的三项记忆梯度算法．这类算法是在参数满足某些假设的条件下,确定它的取值范围,从而保证三项记忆梯度方向是使目标函数充分下降的方向．在非单调步长搜索下讨论了算法的全局收敛性．为了得到具有更好收敛性质的算法,结合Solodov and Svaiter(2000)中的部分技巧,提出了一种新的记忆梯度投影算法,并证明了该算法在函数伪凸的情况下具有整体收敛性．     

互补约束数学规划问题的一个广义梯度投影罚算法

结合罚函数思想和广义梯度投影技术,提出求解非线性互补约束数学规划问题的一个广义梯度投影罚算法.首先,通过扰动技术和广义互补函数,将原问题转化为序列带参数的近似的标准非线性规划;其次,利用广义梯度投影矩阵构造搜索方向的显式表达式.一个特殊的罚函数作为效益函数,而且搜索方向能保证效益函数的下降性.在适当的假设条件下算法具有全局收敛性.     

非线性伪单调方程组的谱LS型投影算法

基于谱梯度法和著名LS共轭梯度法的结构,该文建立了求解凸约束非线性伪单调方程组问题的谱LS型无导数投影算法.通过构建适当的谱参数,该算法在每一次迭代中都能保证搜索方向的充分下降性,并且独立于线搜索条件.在适当的假设条件和经典无导数线搜索条件下,算法具有全局收敛性.通过数值实验发现,该算法继承了LS共轭梯度法优秀的计算性能,并提高了稳定性.     

互补约束均衡优化的一个共轭梯度投影法

讨论均衡约束最优化问题,利用一个互补函数和扰动技术将原问题转换为非线性等式约束最优化问题,然后利用共轭梯度投影算法的思想,给出了问题的一个求解算法,在适当的条件下,证明了算法的全局收敛性.     

一个新的无约束优化超记忆梯度算法

本文提出一种新的无约束优化超记忆梯度算法,算法利用当前点的负梯度和前一点的负梯度的线性组合为搜索方向,以精确线性搜索和Armijo搜索确定步长．在很弱的条件下证明了算法具有全局收敛性和线性收敛速度．因算法中避免了存贮和计算与目标函数相关的矩阵,故适于求解大型无约束优化问题．数值实验表明算法比一般的共轭梯度算法有效．     

一种求解非线性互补问题的方法及其收敛性

本文将Newton方法和外梯度方法相结合,提出了一种求解非线性互补问题的方法,证明了此方法的全局收敛性和超线性收敛性,在适当的条件下给出了一个有限终止结果。数值实验表明,此方法是有效的。     

双曲型积分微分方程H~1-Galerkin混合元法的误差估计

本文用H1-Galerkin混合有限元法分析了基于带有记忆项的多孔介质中的对流问题的数学模型,即双曲型积分微分方程．我们得到了在一维情况下函数和它梯度的最优阶误差估计, 并且由此推广到二维和三维情况下,得到了和用传统的混合元方法相同的收敛阶数,而且不用验证满足LBB相容性条件．     

一种自适应Dai-Liao共轭梯度法

共轭梯度法是一种解决大规模无约束优化问题的重要方法.本文对Dai-Liao (DL)共轭梯度法的参数进行了研究,提出了一种新的自适应DL共轭梯度法.在适当的条件下,证明了该方法的全局收敛性.数值结果表明,我们的方法对给定的测试问题是有效的.     

LSTM的季节性注意力及在文本情感分类中的应用

长短期记忆网络(LSTM)在序列建模中存在梯度消失的情况,其降低了模型在时序预测任务尤其是中长期多步预测中的精度,同时降低了模型对于序列上下文中关键信息的注意力.梯度消失的根本原因在于LSTM的门控记忆机制对在循环层反向传播的梯度失去控制,故考虑对循环层的门控单元结构进行调整,并专门对于含有特定成分(如季节成分)的序列进行训练使改进后LSTM模型在序列预测任务中具备针对季节性成分的注意力.文章研究在LSTM模型的基础上采用将已有的单支路的遗忘门调整为具有双支路的季节门,并引入输入序列的极差作为划分支路的选通器的方法,改进得到季节型LSTM (S-SLTM).经实验,在英文电影评论IMDB的文本二分类情感分析中,单层的S-LSTM较单层LSTM的预测准确率提升了9.8%.     

一种带参数的不完全Cholesky分解共轭梯度法

共轭梯度法在解高阶稀疏线性方程组方面有许多其它经典的迭代法所没有的优点,但当线性方程组相当病态、系数矩阵条件数很坏时,共轭梯度法的收敛速度很慢.因此,又产生了预条件处理共轭梯度法. 我们用预条件处理共轭梯度法求解线性方程组Ax=b(这里A是对称正定稀疏阵且条件数很大).预条件处理共轭梯度法旨在寻找一适当的正定矩阵C,C通常写成