学习算法的稳定性与泛化(Ⅱ):有界差分稳定框架

根据有界差分条件,提出了学习算法的有界差分稳定框架.依据新框架,研究了机器学习阈值选择算法,再生核Hilbert空间中的正则化学习算法,Ranking学习算法和Bagging算法,证明了对应学习算法的有界差分稳定性.所获结果断言了这些算法均具有有界差分稳定性,从而为这些算法的应用奠定了理论基础.     

GA-BP嵌套算法的理论及应用

分析了BP算法、遗传算法以及GA-BP-APARTING算法的特点,提出了GA-BP-NESTING算法.在人工神经网络的在线学习和离线学习方式下,分别对BP算法、GA算法、GA-BP-APARTING算法和GA-BP-NESTING算法进行了比较研究,研究发现:第一,网络初始权值的赋值对人工神经网络训练影响很大;第二,离线学习方式下GA-BP-NESTING算法效果最佳.     

一类网络最优路径的双向模拟扩散算法

基于模拟扩散算法的基本原理,文中提出了一种双向寻求网络最优路径的扩散算法,并介绍了该算法原理和具体计算过程,验证了该算法的正确性和合理性。该算法具有并行计算的能力,适合于分布式计算机,寻求大型复杂网络的最优路径。     

超越方程的优化解法

针对粒子群算法局部搜索能力差,后期收敛速度慢等缺点,提出了一种改进的粒子群算法,该算法是在粒子群算法后期加入拟牛顿方法,充分发挥了粒子群算法的全局搜索性和拟牛顿法的局部精细搜索性,从而克服了粒子群算法的不足,把超越方程转化为函数优化的问题,利用该算法求解,数值实验结果表明,算法有较高的收敛速度和求解精度。     

求解不等式约束优化问题的一个改进算法

本文改进了一个求解不等式约束优化问题的对偶算法，建立了一个相应的算法，进一步证明了该算法的收敛性．最后，给出数值结果以验证该算法的有效性。     

矩阵填充的硬阈值修正算法

提出了使用硬阈值进行矩阵填充的修正算法.算法通过对迭代矩阵进行对角修正来完成矩阵填充,并给出了算法的收敛性分析.最后通过数值实验比较了修正算法与硬阈值算法填充的数值结果,显示出了新算法的优越性.     

强收敛的球松弛CQ算法及其应用

为了求解分裂可行问题,Yu等提出了一个球松弛CQ算法。由于该算法只需计算到闭球上的投影,同时不需要计算有界线性算子的范数,该算法是容易实现的。但是球松弛CQ算法在无穷维Hilbert空间中仅仅具有弱收敛性。首先构造了一个强收敛的球松弛CQ算法。在较弱的条件下,证明了算法的强收敛性。其次将该算法应用到一类闭凸集上的投影问题上。最后,数值试验验证了该算法的有效性。     

求解Sylvester矩阵方程的一种改进的梯度方法

提出了一种改进的梯度迭代算法来求解Sylvester矩阵方程和Lyapunov矩阵方程.该梯度算法是通过构造一种特殊的矩阵分裂,综合利用Jaucobi迭代算法和梯度迭代算法的求解思路.与已知的梯度算法相比,提高了算法的迭代效率.同时研究了该算法在满足初始条件下的收敛性.数值算例验证了该算法的有效性.     

拟自适应分类随机森林算法

本文给出了集成学习模型可以收敛的集成学习算法,拟自适应分类随机森林算法。拟自适应分类随机森林算法综合了Adaboost算法和随机森林算法的优势,实验数据分析表明,训练集较大时,拟自适应随机森林算法的效果会好于随机森林算法。另外,拟自适应分类随机森林算法的收敛性确保它的推广误差可以通过训练集估计,所以,对于实际数据,拟自适应分类随机森林算法不需要把数据划分为训练集和测试集,从而,可以有效的利用数据信息。     

利用模拟退火遗传算法实现图像阈值分割

本文提出了一种利用模拟退火算法和遗传算法相结合的图像阈值分割算法,试验结果表明该算法增强了算法的全局收敛性,加快了算法的收敛速度,提高了图像阈值分割的效率.     

A new trust region method for unconstrained optimization

In this paper, we propose a new trust region method for unconstrained optimization problems. The new trust region method can automatically adjust the trust region radius of related subproblems at each iteration and has strong global convergence under some mild conditions. We also analyze the global linear convergence, local superlinear and quadratic convergence rate of the new method. Numerical results show that the new trust region method is available and efficient in practical computation.     

Comparison of preconditioned Krylov subspace iteration methods for PDE-constrained optimization problems

We construct a novel multi-step iterative method for solving systems of nonlinear equations by introducing a parameter θ to generalize the multi-step Newton method while keeping its order of convergence and computational cost. By an appropriate selection of θ, the new method can both have faster convergence and have larger radius of convergence. The new iterative method only requires one Jacobian inversion per iteration, and therefore, can be efficiently implemented using Krylov subspace methods. The new method can be used to solve nonlinear systems of partial differential equations, such as complex generalized Zakharov systems of partial differential equations, by transforming them into systems of nonlinear equations by discretizing approaches in both spatial and temporal independent variables such as, for instance, the Chebyshev pseudo-spectral discretizing method. Quite extensive tests show that the new method can have significantly faster convergence and significantly larger radius of convergence than the multi-step Newton method.     

补偿随机规划的一种新数值方法

本文给出解决两阶段求援随机规划的一种新的数值方法.由于引进了新的逼近技术,该方法具有全局收敛性和局部超线性收敛性.     

求解非线性方程组的L-M方法

本文研究了求解奇异非线性方程组的Levenberg-Marquardt方法的收敛性.利用选取新的迭代参数求解非线性方程组的L-M方法,获得点列的超线性收敛性和二阶收敛性,并把试验结果与文献[19,20]的结果进行了比较.     

GLOBAL CONVERGENCE RESULTS OF A THREE TERM MEMORY GRADIENT METHOD WITH A NON-MONOTONE LINE SEARCH TECHNIQUE

In this paper, a new class of three term memory gradient method with nonmonotone line search technique for unconstrained optimization is presented. Global convergence properties of the new methods are discussed. Combining the quasi-Newton method with the new method, the former is modified to have global convergence property. Numerical results show that the new algorithm is efficient.     

一种新的迭代收敛阶数的证明与推广

迭代方法是求解非线性方程近似根的重要方法.本文基于隐函数存在定理,提出了一种新的迭代方法收敛性和收敛阶数的证明方法,并分别对牛顿(Newton)和柯西(Cauchy)迭代方法迭代收敛性和收敛阶数进行了证明.最后,利用本文提出的证明方法,证明了基于三次泰勒(Taylor)展式构成的迭代格式是收敛的,收敛阶数至少为4,并提出猜想,基于n次泰勒展式构成的迭代格式是收敛的,收敛阶数至少为(n+1).     

伪Newton—B族的导出及其性质

本文对无约束优化问题提出了一类新的近似牛顿法（伪牛顿-B族）,此方法同样具有二次终止性,产生的矩阵序列保持正定对称传递性。并证明了算法的全局收敛性和超级性收敛性。     

Extension of Henrici's method to matrix sequences

In this paper we generalize the definition of linear convergence to matrix sequences. This new definition is used to establish some new results useful to study the new extension of Henrici's method. A convergence theorem, an algorithm for implementation of this method and some numerical examples are given.     

交错级数的对数判别法

从正项级数的Raabe对数判别法入手,给出了交错级数的一个新的审敛方法.与文[1],[2]所给的审敛法相比,当交错级数的一般项含有幂指项时,利用该审敛法判断其敛散性显得尤为简便.     

从常步长梯度方法的视角看不可微凸优化增广Lagrange方法的收敛性

增广Lagrange方法是求解非线性规划的一种有效方法.从一新的角度证明不等式约束非线性非光滑凸优化问题的增广Lagrange方法的收敛性.用常步长梯度法的收敛性定理证明基于增广Lagrange函数的对偶问题的常步长梯度方法的收敛性,由此得到增广Lagrange方法乘子迭代的全局收敛性.