基于混合l_2/l_1范数极小化方法的块稀疏信号重构条件

研究压缩感知中的块稀疏信号重构问题,主要对混合l_2/l_1极小化方法建立了一类改进的可重构条件.具体地说,本文证明若测量矩阵满足条件δ_k+θ_(k,k)1,则混合l_2/l_1极小化方法可精确重构(无噪声情形)或鲁棒重构(有噪声情形)原始块k-稀疏信号.进而表明本文给出的新条件弱于现有文献所给出的条件.     

稀疏降维的近似凸壳覆盖一类分类器构造

针对高维数据集常常存在冗余和维数灾难,在其上直接构造覆盖模型难以充分反映数据分布信息的问题,提出一种基于稀疏降维近似凸壳覆盖模型.首先采用同伦算法求解稀疏表示中l_1优化问题,通过稀疏约束自动获取合理近邻数并构建图,再通过LPP(Locality Preserving Projections)来进行局部保持投影,进而实现对高维空间快速有效地降维,最后在低维空间通过构造近似凸壳覆盖实现一类分类.在UCI数据库,MNIST手写体数据库和MIT-CBCL人脸识别数据库上的实验结果证实了方法的有效性,与现有的一类分类算法相比,提出的覆盖模型具有更高的分类正确率.     

同伦摄动稀疏正则化方法及其应用

稀疏正则化方法在参数重构中起到了越来越重要的作用.与传统的正则化方法相比,稀疏正则化方法能较好地重构稀疏变量.由于稀疏正则化的不可微性,需要对已有的经典算法进行改进.本文构建同伦摄动稀疏正则化方法克服标准稀疏正则化的不可微性,并将该方法应用到基于布莱克一斯科尔斯期权定价模型重构隐含波动率和基于托达罗模型重构政策参数.数值实验表明,所提出的方法是收敛和稳定的.     

基于Bregman距离函数的可靠性分析

针对概率结构可靠性问题,引入Bregman距离函数,建立了基于同伦算法(HM)的可靠性分析模型.利用极限状态方程,将可靠性指标求解转化为一个非线性约束优化问题.结合同伦思想的基本理论和Bregman距离函数,构造同伦方程组,采用路径跟踪算法对该方程组进行求解.通过相应的数值算例探讨了不同函数形式以及不同程度非线性问题的可靠性计算,并与其他方法计算结果进行了对比,分析结果表明该模型能够有效求解概率结构可靠性问题.     

半监督距离度量学习内蕴加速投影梯度算法

考虑求解一类半监督距离度量学习问题. 由于样本集(数据库)的规模与复杂性的激增, 在考虑距离度量学习问题时, 必须考虑学习来的距离度量矩阵具有稀疏性的特点. 因此, 在现有的距离度量学习模型中, 增加了学习矩阵的稀疏约束. 为了便于模型求解, 稀疏约束应用了Frobenius 范数约束. 进一步, 通过罚函数方法将Frobenius范数约束罚到目标函数, 使得具有稀疏约束的模型转化成无约束优化问题. 为了求解问题, 提出了正定矩阵群上加速投影梯度算法, 克服了矩阵群上不能直接进行线性组合的困难, 并分析了算法的收敛性. 最后通过UCI数据库的分类问题的例子, 进行了数值实验, 数值实验的结果说明了学习矩阵的稀疏性以及加速投影梯度算法的有效性.     

半监督距离度量学习的内蕴加速投影梯度算法

考虑求解一类半监督距离度量学习问题.由于样本集(数据库)的规模与复杂性的激增,在考虑距离度量学习问题时,必须考虑学习来的距离度量矩阵具有稀疏性的特点.因此,在现有的距离度量学习模型中,增加了学习矩阵的稀疏约束.为了便于模型求解,稀疏约束应用了Frobenius范数约束.进一步,通过罚函数方法将Frobenius范数约束罚到目标函数,使得具有稀疏约束的模型转化成无约束优化问题.为了求解问题,提出了正定矩阵群上加速投影梯度算法,克服了矩阵群上不能直接进行线性组合的困难,并分析了算法的收敛性.最后通过UCI数据库的分类问题的例子,进行了数值实验,数值实验的结果说明了学习矩阵的稀疏性以及加速投影梯度算法的有效性.     

基于新的Hessian近似矩阵的稀疏重构算法

一般来说,基于二次近似模型的优化算法具有良好的数值表现.然而,当基于二次近似模型的优化算法求解大规模优化问题时,若使用稠密矩阵近似目标函数在迭代点的Hessian矩阵,需要花费大量的计算成本和存储成本,因此设计Hessian矩阵合适的标量近似矩阵特别重要.对于正则化模型,利用最近三次迭代的信息,设计粗糙的标量矩阵,使用拟牛顿公式进行更新,结合近似最优梯度法的思想和梯度法的延迟策略,构造Hessian矩阵新的含有更多二阶信息的标量近似矩阵.结合非单调线搜索,提出基于新的Hessian近似矩阵的稀疏重构算法,并进行收敛性分析.实验结果表明,与经典稀疏重构算法算法相比,基于新的Hessian近似矩阵的稀疏重构算法在重构效果相似的情况下能较大地减少迭代次数和较快地重构信号.     

基于DC规划方法的稀疏临近支持向量机

为了提高临近支持向量机(PSVM)的数值表现,在PSVM的模型中引入了l_0-范数正则项,提出了稀疏临近支持向量机模型(SPSVM),从而提高分类器的特征选择能力。然而带有l_0-范数正则项的问题往往是NP-难问题,为了克服这一问题,采用非凸连续函数近似l_0-范数,并通过适当的DC分解将问题转化成DC规划问题进行求解,同时还讨论了算法的收敛性。数值实验结果表明不论是在仿真数据还是在实际数据中,所提出的方法是比较有效稳定的。     

一类非凸区域的拟法锥构造方法及其在非凸规划求解中的应用

本文给出基于球形的一类满足拟法锥条件区域的拟法锥构造方法,基于该可行域的拟法锥,建立求解在该类非凸区域上的规划问题的K-K-T点的部分凝聚同伦组合方程,并证明了该同伦内点法的整体收敛性,给出实现同伦内点法的具体数值跟踪算法步骤,并通过数值例子证明算法是可行的和有效的．     

基于l1-l2范数的块稀疏信号重构

压缩感知(compressed sensing,CS) 是一种全新的信息采集与处理的理论框架,借助信号内在的稀疏性或可压缩性,可以从小规模的线性、非自适应的测量中通过求解非线性优化问题重构原信号.块稀疏信号是一种具有块结构的信号,即信号的非零元是成块出现的.受YIN Peng-hang, LOU Yi-fei, HE Qi等提出的l_1-2范数最小化方法的启发,将基于l₁-l₂范数的稀疏重构算法推广到块稀疏模型,证明了块稀疏模型下l₁-l₂范数的相关性质,建立了基于l₁-l₂范数的块稀疏信号精确重构的充分条件,并通过DCA(difference of convex functions algorithm) 和ADMM(alternating direction method of multipliers)给出了求解块稀疏模型下l₁-l₂范数的迭代方法.数值实验表明,基于l₁-l₂范数的块稀疏重构算法比其他块稀疏重构算法具有更高的重构成功率.     

基于SCN函数共轭梯度方向的稀疏向量特征提取算法

稀疏向量特征提取是指在优化时利用各种范数对解进行约束,从而获得带有稀疏特征的最优解,其广泛应用于复杂系统中的机器学习、深度学习和大数据分析等领域的特征提取问题.大量的研究表明各种范数如L₀范数、L₁范数和L₂范数的方法都存在各自的缺点,主要表现在越容易求解的范数越不精准稀疏,越精准稀疏的范数越难求解.文章提出了一种基于SCN函数共轭梯度方向的稀疏向量特征发现算法(CGDL),稀疏向量特征发现可以用一个稀疏特征提取优化模型建立,其目标函数是一个SCN函数,对其中的L₀范数进行转换,形成一个具有特殊结构优化问题,这个问题等价于双层规划的凸-凹极小极大化问题,这类问题可以解决稀疏回归、图像特征和压缩感知等问题.文章给出了上述模型的稀疏特征提取算法的详细计算步骤和收敛性分析证明,并且对给定的实际数据集和高维模拟数据集对算法的有效性、复杂性和收敛速度进行了数值对比实验,表明了该算法在精准度和稀疏性上显著优于其他对比方法,并且具有较好的收敛速度.     

离散非线性时滞系统的鲁棒耗散控制

针对一类基于T-S模型表示的具有范数有界不确定性离散非线性时滞系统,研究了鲁棒耗散模糊控制问题.对可用T-S模糊模型表示的非线性时滞系统,考虑系统具有范数有界参数不确定性时,应用并行分布式控制方法,得到使得系统稳定且严格耗散的模糊耗散控制器存在的充分性条件.进而通过建立和求解LMI(线性矩阵不等式)约束的凸优化问题,给出了耗散控制律的设计方法.数值算例表明了此方法的可行性和有效性.     

一种求解弹性l_2-l_q正则化问题的算法

给出了一种求解弹性l_{2}-l_{q}正则化问题的迭代重新加权l_{1}极小化算法, 并证明了由该算法产生的迭代序列是有界且渐进正则的. 对于任何有理数q\in(0,1), 基于一个代数的方法, 进一步证明了迭代重新加权l_{1}极小化算法收敛到弹性l_{2}-l_{q}(0相似文献   

空间-时间分数阶变系数对流扩散方程微分阶数的数值反演

考虑终值数据条件下一维空间-时间分数阶变系数对流扩散方程中同时确定空间微分阶数与时间微分阶数的反问题.基于对空间-时间分数阶导数的离散,给出求解正问题的一个隐式差分格式,通过对系数矩阵谱半径的估计,证明差分格式的无条件稳定性和收敛性.联合最佳摄动量算法和同伦方法引入同伦正则化算法,应用一种单调下降的Sigmoid型传输函数作为同伦参数,对所提微分阶数反问题进行精确数据与扰动数据情形下的数值反演.结果表明同伦正则化算法对于空间-时问分数阶反常扩散的参数反演问题是有效的.     

高维单指标门限回归模型的估计方法

本文考虑存在协变量阈值参数的高维单指标门限回归模型.本文提出基于l_1范数惩罚方法来估计回归系数和阈值参数,并且提出一种近端梯度算法来检测可能存在的变点.此外,在一定的稀疏条件下,本文得到回归系数估计量l_1范数下估计误差和预测误差的非渐近Oracle不等式.最后,通过数值模拟研究展示所提出方法的有限样本表现.     

改进的OWL-QN方法解稀疏logistic回归问题

稀疏logistic回归,是机器学习中一类重要的问题,它在控制论、管理科学和互联网等领域有着广泛的应用.本文提出了一种改进的基于分象限学习的拟Newton算法来求解稀疏logistic回归问题.新算法采用著名的Barzilai-Borwein步长策略自适应地近似代替目标函数的Hesse阵,并利用目标函数的整体梯度信息来构造拟Newton向量.在适当的条件下,证明了新算法的全局收敛性.数值实验表明新算法是可行的,并且是有效的.     

压缩感知中信号重构的极大熵方法(英文)

本文针对压缩感知理论中BP算法的l1最优化问题,构造了一种新的信号重构的极大熵方法.极大熵方法克服了l1最优化问题的非光滑性,同时根据同伦方法构造极大熵函数的最优解序列来逼近全局最优稀疏解.数值实验表明极大熵方法是十分有效的信号重构方法.     

线性l1模极小化问题的熵函数延拓法

本文通过利用极大熵函数构造同伦映射，建立了求解无约束线性l1模问题的熵函数延拓算法，证明了方法的收敛性，并给出了数值算例．     

地震时频分析的加权l_1范数稀疏正则化及交替方向乘子算法

地震时频分析在地震信号处理中具有重要意义.本文研究一种基于反演的稀疏算法来对反射地震记录进行时频分析.首先使用窗口逆Fourier变换来形成正演问题,然后建立一个加权l_1范数约束的最小化模型,用于求解未知模型参数向量(Fourier频率域系数).为了实现最小化问题,本文提出应用加权交替方向乘子法(ADMM)进行求解.数值试验部分针对短时Fourier变换(STFT)、连续小波变换(CWT)和本文提出的算法进行了对比结果分析.从比较结果可以看出,本文提出的优化模型和相关算法可以得到比STFT和CWT更高分辨率的地震数据的频谱分解.     

具有非线性扰动的线性多时变时滞系统的鲁棒镇定

研究了一类非线性扰动满足范数有界的线性多时变时滞系统的鲁棒镇定问题,通过引入适当的自由权矩阵,应用线性矩阵不等式技术和构造恰当的Lyapunov泛涵,得到了系统镇定的时滞相关的充分条件,此外,还给出了求解无记忆状态反馈控制器的设计方法,最后,用数值例子验证了文中所得的结论的正确性及求解方法的有效性.