一种基于正则化的稀疏表示方法

提出了一种基于正则化技术的信号稀疏表示方法.该方法与经典稀疏表示算法的主要区别可概括为两点:其一,直接使用e_0模而不是被广泛采用的e_1模来度量稀疏性;其二,正则化项的引入使得该模型得到的信号表达是所有表示中最优稀疏的.在本文中,正则化项采用框架势来描述稀疏表示的"最优性",利用二次可微的凹函数来逼近e_0模,得到了求解所提出的正则化模型的近似算法,并给出了收敛性分析.此外,数值实验也显现了本文所提模型及算法相比于经典算法的优越性.     

隐互补约束优化问题的磨光SQP算法

本文提出了一类隐互补约束优化问题的磨光SQP算法.首先,我们给出了这类优化问题的最优性和约束规范性条件.然后,在适当假设条件下,我们证明了算法具有全局收敛性.     

组稀疏优化问题精确连续Capped-L_(1)松弛北大核心CSCD

本文主要研究损失函数为凸函数且带有约束的组稀疏正则回归问题及组稀疏正则项的精确连续Capped-L_(1)松弛问题.首先对组Capped-L_(1)松弛问题定义了三类稳定点:D(irectional)-稳定点、C(ritical)-稳定点、L(ifted)-稳定点,然后刻画了这三类稳定点之间的关系.进一步,给出了组Capped-L_(1)松弛问题和原始组稀疏正则问题的最优性条件,并从全局解和局部解角度讨论了松弛问题和原问题解的等价关系.     

矩阵广义逆硬阈值追踪算法与稀疏恢复问题

本文通过引入支撑集捕获基数及MP广义逆,提出了一种用于稀疏恢复问题的矩阵广义逆硬阈值追踪算法,并在观测误差存在的情况下给出了算法在约束等距条件(RIP)下的收敛性.数值实验表明,算法不仅极大地减少了收敛所需迭代次数,且观测误差存在的情况下稀疏恢复是强健的.     

基于迭代投影的梯度硬阈值追踪算法

梯度硬阈值追踪算法是求解稀疏优化问题的有效算法之一.考虑到算法中投影对最优解的影响,提出一种比贪婪策略更好的投影算法是很有必要的.针对一般的稀疏约束优化问题,利用整数规划提出一种迭代投影策略,将梯度投影算法中的投影作为一个子问题求解.通过迭代求解该子问题得到投影的指标集,并以此继续求解原问题,以提高梯度硬阈值追踪算法的计算效果.证明了算法的收敛性,并通过数值实例验证了算法的有效性.     

不等式约束优化一个可行序列线性方程组算法

提出了求解非线性不等式约束优化问题的一个可行序列线性方程组算法. 在每次迭代中, 可行下降方向通过求解两个线性方程组产生, 系数矩阵具有较好的稀疏性. 在较为温和的条件下, 算法具有全局收敛性和强收敛性, 数值试验表明算法是有效的.     

一类求解非线性约束优化问题的线搜索渐缩滤子算法（英文）

针对非线性等式约束优化问题,本文给出一种新的线搜索滤子算法.算法中将非线性等式约束优化问题的最优性条件作为滤子,并在接受准则中加入渐缩函数,使得当线搜索试探步长减小时时滤子包络的越来越薄,从而使得试探步被接受程度更有弹性,不会被当前的迭代点拒绝.在适当的假设下,证明算法的全局收敛性,并给出算法初步的数值实验结果.     

基于SCN函数共轭梯度方向的稀疏向量特征提取算法

稀疏向量特征提取是指在优化时利用各种范数对解进行约束,从而获得带有稀疏特征的最优解,其广泛应用于复杂系统中的机器学习、深度学习和大数据分析等领域的特征提取问题.大量的研究表明各种范数如L₀范数、L₁范数和L₂范数的方法都存在各自的缺点,主要表现在越容易求解的范数越不精准稀疏,越精准稀疏的范数越难求解.文章提出了一种基于SCN函数共轭梯度方向的稀疏向量特征发现算法(CGDL),稀疏向量特征发现可以用一个稀疏特征提取优化模型建立,其目标函数是一个SCN函数,对其中的L₀范数进行转换,形成一个具有特殊结构优化问题,这个问题等价于双层规划的凸-凹极小极大化问题,这类问题可以解决稀疏回归、图像特征和压缩感知等问题.文章给出了上述模型的稀疏特征提取算法的详细计算步骤和收敛性分析证明,并且对给定的实际数据集和高维模拟数据集对算法的有效性、复杂性和收敛速度进行了数值对比实验,表明了该算法在精准度和稀疏性上显著优于其他对比方法,并且具有较好的收敛速度.     

求解圆锥规划的光滑牛顿法

圆锥规划是一类重要的非对称锥优化问题.基于一个光滑函数,将圆锥规划的最优性条件转化成一个非线性方程组,然后给出求解圆锥规划的光滑牛顿法.该算法只需求解一个线性方程组和进行一次线搜索.运用欧几里得约当代数理论,证明该算法具有全局和局部二阶收敛性.最后数值结果表明算法的有效性.     

基于最小化似零伪范数的稀疏信号恢复算法

针对欠定系统中出现的稀疏信号恢复问题,提出了一种基于最小化近似零伪范数的处理方法,算法首先结合反正切函数构造出代价函数,再融合最速下降法和扩展牛顿迭代法逐步迭代寻优,并给出了算法的收敛性分析,数值仿真实验结果表明,与经典的稀疏信号恢复算法相比,方法有更好的计算速度和恢复精度.     

新的梯度算法求解单位球笛卡尔积约束优化问题

本文主要研究了单位球笛卡尔积作为约束的优化问题,给出了此类问题的最优性条件.同时将求解此问题的一些经典的梯度算法推广到了更加一般的形式,并证明了新算法的收敛性.随机二次规划问题和求解图像变分去噪模型的数值结果表明新算法并不弱于一些经典的算法,特别是在精度要求较高的情形下.     

基于基底合并的分片稀疏恢复

如我们所知,诸如视频和图像等信号可以在某些框架下被表示为稀疏信号,因此稀疏恢复(或稀疏表示)是信号处理、图像处理、计算机视觉、机器学习等领域中被广泛研究的问题之一.通常大多数在稀疏恢复中的有效快速算法都是基于求解$l^0$或者$l^1$优化问题.但是,对于求解$l^0$或者$l^1$优化问题以及相关算法所得到的理论充分性条件对信号的稀疏性要求过严.考虑到在很多实际应用中,信号是具有一定结构的,也即,信号的非零元素具有一定的分布特点.在本文中,我们研究分片稀疏恢复的唯一性条件和可行性条件.分片稀疏性是指一个稀疏信号由多个稀疏的子信号合并所得.相应的采样矩阵是由多个基底合并组成.考虑到采样矩阵的分块结构,我们引入了子矩阵的互相干性,由此可以得到相应$l^0$或者$l^1$优化问题可精确恢复解的稀疏度的新上界.本文结果表明.通过引入采样矩阵的分块结构信息.可以改进分片稀疏恢复的充分性条件.以及相应$l^0$或者$l^1$优化问题整体稀疏解的可靠性条件.     

基于新的Hessian近似矩阵的稀疏重构算法

一般来说,基于二次近似模型的优化算法具有良好的数值表现.然而,当基于二次近似模型的优化算法求解大规模优化问题时,若使用稠密矩阵近似目标函数在迭代点的Hessian矩阵,需要花费大量的计算成本和存储成本,因此设计Hessian矩阵合适的标量近似矩阵特别重要.对于正则化模型,利用最近三次迭代的信息,设计粗糙的标量矩阵,使用拟牛顿公式进行更新,结合近似最优梯度法的思想和梯度法的延迟策略,构造Hessian矩阵新的含有更多二阶信息的标量近似矩阵.结合非单调线搜索,提出基于新的Hessian近似矩阵的稀疏重构算法,并进行收敛性分析.实验结果表明,与经典稀疏重构算法算法相比,基于新的Hessian近似矩阵的稀疏重构算法在重构效果相似的情况下能较大地减少迭代次数和较快地重构信号.     

简单界约束优化的仿射尺度内点信赖域算法的收敛性

本文对简单界约束优化问题提出一种仿射尺度内点信赖域算法,讨论了算法的全 局收敛性,在没有严格互补假设条件下,分析了算法的局部收敛性,给出了数值试验结果.     

实序线性空间中用广义二阶锥方向导数刻画集值优化ε-全局真有效解

在实序线性空间中,利用ε-全局真有效点的性质,借助广义二阶锥方向邻接(相依)导数的定义,建立了不受约束集值优化问题ε-全局真有效元的二阶必要最优性条件,同时得到了受约束集值优化问题在ε-全局真有效解意义下的二阶充分最优性条件.     

变序结构局部弱非控点的二阶刻画

引进了一种二阶切导数,借助该切导数给出了变序结构集值优化问题取得局部弱非控点的二阶最优性必要条件.在某种特殊情况下,给出了一阶最优性条件.通过修正的Dubovitskij-Miljutin切锥导出的约束规格,给出了两个集值映射之和的二阶相依切导数的关系式,进一步得到目标函数与变锥函数的二阶相依切导数分开形式的最优性必要条件.     

算子方程基本问题解的再生核稀疏表示

在一个Hilbert空间中通过内积核定义的线性算子对应一个自然的再生核Hilbert空间结构.本文将称其为H-HK结构.这个结构本身内蕴一个基方法,可以解答线性算子的若干最基本的问题,包括确定或刻画其值域空间、解算子方程及解Moore-Penrose伪-(广义-)逆算子问题.在对已存在结果的简要综述之后,本文的目的是建立H-HK结构下的预正交自适应Fourier分解(pre-orthogonal adaptive Fourier decomposition,POAFD)算法.在这个方法之下导出上述3个问题的解的稀疏表示.在逐次跟踪匹配的优化方法论中POAFD的优选原理保证了它在理论上和实用上的最优性.它也具有算法上的可行性.所提供的方法可有效地应用于具体实际问题,包括信号与图像重构、常微分方程、偏微分方程和优化问题的数值解等.     

大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法的全局收敛性

本文在ZhangH．C．的非单调线搜索规则基础上，结合ShiZ．J．大步长线搜索技巧提出了新的大步长的非单调线搜索规则，设计了求解无约束最优化问题的大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法，在△f（x）一致连续的条件下给出了算法的全局收敛性和超线性收敛性分析．数值例子表明算法是有效的，适合求解大规模问题．     

拟可微函数优化的Lagrange乘子与一阶最优性条件

本文给出了拟可微优化的Fritz John必须条件与Shapiro最优性必要条件的等价性质以及两个最优性充分条件.     

具有充分下降性的两个共轭梯度法

对无约束优化问题,本文给出了两个改进的共轭梯度法公式.在不依赖于任何线搜索条件下,由新公式所产生的算法方向均是充分下降的,且在标准Wolfe非精确线搜索条件下,算法都具有全局收敛性.最后,对新算法进行大量的比对试验,数值结果表明所提方法是有效的.