基于DC规划方法的稀疏临近支持向量机

为了提高临近支持向量机（PSVM）的数值表现,在PSVM的模型中引入了$\ell_0$-范数正则项,提出了稀疏临近支持向量机模型（SPSVM）,从而提高分类器的特征选择能力。然而带有$\ell_0$-范数正则项的问题往往是NP-难问题,为了克服这一问题,采用非凸连续函数近似$\ell_0$-范数,并通过适当的DC分解将问题转化成DC规划问题进行求解,同时还讨论了算法的收敛性。数值实验结果表明不论是在仿真数据还是在实际数据中,所提出的方法是比较有效稳定的。     

线性等式与不等式组稀疏解的唯一性条件

近年来,稀疏优化广泛应用在信号处理、机器学习、图像去噪和计算机视觉等方面,得到了深入的研究和快速的发展.本文考虑含有一般线性等式和不等式约束的广义l_(0-)最小化问题.尽管l_(0-)最小化问题是NP-困难的,但已有多种计算方法可以用来克服这一计算上的困难,其中一种常用的方法是,通过一个凸优化问题来近似求解原问题.具体地,用l_(1-)范数代替l_(0-)范数得到l_(0-)最小化问题的一个凸松弛.在这类方法中,研究什么条件可以保证两个问题等价是非常重要的.基于值域空间性质(RSP)的分析方法,本文提出广义l_(0-)最小化问题的RSP性质,并且证明在某些条件下,RSP性质可以保证l_(0-)最小化问题与它的凸松弛l_(1-)最小化问题是等价的.最后,本文对所使用的条件给出一些说明.     

地震时频分析的加权l_1范数稀疏正则化及交替方向乘子算法

地震时频分析在地震信号处理中具有重要意义.本文研究一种基于反演的稀疏算法来对反射地震记录进行时频分析.首先使用窗口逆Fourier变换来形成正演问题,然后建立一个加权l_1范数约束的最小化模型,用于求解未知模型参数向量(Fourier频率域系数).为了实现最小化问题,本文提出应用加权交替方向乘子法(ADMM)进行求解.数值试验部分针对短时Fourier变换(STFT)、连续小波变换(CWT)和本文提出的算法进行了对比结果分析.从比较结果可以看出,本文提出的优化模型和相关算法可以得到比STFT和CWT更高分辨率的地震数据的频谱分解.     

一个基于张量火车分解的张量填充方法及在图像恢复中的应用

低秩张量填充在数据恢复中有广泛应用, 基于张量火车(TT) 分解的张量填充模型在彩色图像和视频以及互联网数据恢复中应用效果良好。本文提出一个基于三阶张量TT分解的填充模型。在模型中, 引入稀疏正则项与时空正则项, 分别刻画核张量的稀疏性和数据固有的块相似性。根据问题的结构特点, 引入辅助变量将原模型等价转化成可分离形式, 并采用临近交替极小化(PAM) 与交替方向乘子法(ADMM) 相结合的方法求解模型。数值实验表明, 两正则项的引入有利于提高数据恢复的稳定性和实际效果, 所提出方法优于其他方法。在采样率较低或图像出现结构性缺失时, 其方法效果较为显著。     

一个基于张量火车分解的张量填充方法及在图像恢复中的应用

低秩张量填充在数据恢复中有广泛应用, 基于张量火车(TT) 分解的张量填充模型在彩色图像和视频以及互联网数据恢复中应用效果良好。本文提出一个基于三阶张量TT分解的填充模型。在模型中, 引入稀疏正则项与时空正则项, 分别刻画核张量的稀疏性和数据固有的块相似性。根据问题的结构特点, 引入辅助变量将原模型等价转化成可分离形式, 并采用临近交替极小化(PAM) 与交替方向乘子法(ADMM) 相结合的方法求解模型。数值实验表明, 两正则项的引入有利于提高数据恢复的稳定性和实际效果, 所提出方法优于其他方法。在采样率较低或图像出现结构性缺失时, 其方法效果较为显著。     

基于线性ν-支持向量回归机的异常数据检测

讨论了线性v-支持向量回归机中参数v的意义,并给出了严格的理论证明。利用v-支持向量回归机中ε-不敏感损失函数及参数v的意义,提出一种回归数据中的异常值检测方法。采用线性模型使得该方法不仅速度快而且能处理大规模数据。数值实验证明其具有可行性和有效性。     

分裂可行问题的1-范数正则化方法

主要研究了分裂可行问题的1-范数正则化.首先利用1-范数正则化方法,将分裂可行问题转化为无约束优化问题.其次讨论了1-范数正则化解的若干性质,并给出了求解1-范数正则化解的邻近梯度算法.最后通过数值试验验证了算法的可行性和有效性.     

支持向量机中一种参数优化选取方法

本文给出一种支持向量机中的参数优化选取方法. 它是通过遗传算法和确定性算法相结合解平衡约束优化问题,求出二分类支持向量机(SVM)中的正则参数C,本文将C作为优化问题中的变量来处理.遗传算法用来求解以C为变量的优化问题, 而确定性算法对每一个C值求解约束.数值计算的结果表明,用文中所述的方法求得的C值能明显提高支持向量机的泛化性能.     

基于SCN函数共轭梯度方向的稀疏向量特征提取算法

稀疏向量特征提取是指在优化时利用各种范数对解进行约束,从而获得带有稀疏特征的最优解,其广泛应用于复杂系统中的机器学习、深度学习和大数据分析等领域的特征提取问题.大量的研究表明各种范数如L₀范数、L₁范数和L₂范数的方法都存在各自的缺点,主要表现在越容易求解的范数越不精准稀疏,越精准稀疏的范数越难求解.文章提出了一种基于SCN函数共轭梯度方向的稀疏向量特征发现算法(CGDL),稀疏向量特征发现可以用一个稀疏特征提取优化模型建立,其目标函数是一个SCN函数,对其中的L₀范数进行转换,形成一个具有特殊结构优化问题,这个问题等价于双层规划的凸-凹极小极大化问题,这类问题可以解决稀疏回归、图像特征和压缩感知等问题.文章给出了上述模型的稀疏特征提取算法的详细计算步骤和收敛性分析证明,并且对给定的实际数据集和高维模拟数据集对算法的有效性、复杂性和收敛速度进行了数值对比实验,表明了该算法在精准度和稀疏性上显著优于其他对比方法,并且具有较好的收敛速度.     

基于系数正则的同时回归估计

提取两个随机向量X与Y之间的相关性是非常重要的问题.核方法被用来提取非线性的相关性.本文通过极小化方差Var[f(X)-g(Y)]得到最大相关性,称为同时回归,其中f(X)和g(Y)分别是两个不同的再生核空间中的函数.本文利用正则经验方差极小化得到估计.为了所得的估计函数具有稀疏性,本文采用系数的l_1范数作为惩罚项,在一些常规条件下建立学习率.同时回归问题与典型相关分析、切片逆回归等密切相关.     

一类基于L0/1软间隔损失函数的低秩支持张量机

支持向量机作为基于向量空间的一种传统的机器学习方法,不能直接处理张量类型的数据,否则不仅破坏数据的空间结构,还会造成维度灾难及小样本问题。作为支持向量机的一种高阶推广,用于处理张量数据分类的支持张量机已经引起众多学者的关注,并应用于遥感成像、视频分析、金融、故障诊断等多个领域。与支持向量机类似,已有的支持张量机模型中采用的损失函数多为L_0/1函数的代理函数。将直接使用L_0/1这一本原函数作为损失函数,并利用张量数据的低秩性,建立针对二分类问题的低秩支持张量机模型。针对这一非凸非连续的张量优化问题,设计交替方向乘子法进行求解,并通过对模拟数据和真实数据进行数值实验,验证模型与算法的有效性。     

一种求解弹性l_2-l_q正则化问题的算法

给出了一种求解弹性l_{2}-l_{q}正则化问题的迭代重新加权l_{1}极小化算法, 并证明了由该算法产生的迭代序列是有界且渐进正则的. 对于任何有理数q\in(0,1), 基于一个代数的方法, 进一步证明了迭代重新加权l_{1}极小化算法收敛到弹性l_{2}-l_{q}(0相似文献   

鲁棒稀疏重构问题的凝聚同伦算法

鲁棒稀疏重构问题是信号处理领域的重要问题,该问题的数学本质是一个NP难的数学优化问题.同伦算法是一类典型的路径跟踪算法,该算法是解非线性问题的一类成熟算法,具有全局收敛性,且易于并行实现.本文考虑同伦算法在鲁棒稀疏重构问题中的数值求解.基于l_∞范数及罚函数策略,我们首先将原始的基于l_0范数的最优化模型,转化为含参数的无约束极大极小值问题,进而构造凝聚函数光滑化模型中的极大值函数,并构造凝聚同伦算法数值求解.数值仿真实验验证了新方法的有效性,为大规模鲁棒重构问题的并行化数值求解奠定基础.     

球面上$\ell_1$正则优化的随机临近梯度方法

本文研究球面上的$\ell_1$正则优化问题,其目标函数由一般光滑函数项和非光滑$\ell_1$正则项构成,且假设光滑函数的随机梯度可由随机一阶oracle估计.这类优化问题被广泛应用在机器学习,图像、信号处理和统计等领域.根据流形临近梯度法和随机梯度估计技术,提出一种球面随机临近梯度算法.基于非光滑函数的全局隐函数定理,分析了子问题解关于参数的Lipschtiz连续性,进而证明了算法的全局收敛性.在基于随机数据集和实际数据集的球面$\ell_1$正则二次规划问题、有限和SPCA问题和球面$\ell_1$正则逻辑回归问题上数值实验结果显示所提出的算法与流形临近梯度法、黎曼随机临近梯度法相比CPU时间上具有一定的优越性.     

基于遗传算法和熵的缩减记忆式LS-SVM财务困境预测模型研究

为了提高财务困境预测的正确率,减少模型的训练样本数和训练时间,在传统支持向量机(SVM)预测模型的基础上,将遗传算法、信息熵和缩减记忆算法应用于最小二乘支持向量机(LS-SVM),提出了一种基于遗传算法和信息熵的缩减记忆式最小二乘支持向量机预测模型。并独立推导出了适合财务困境预测这一离散序列的熵以及支持向量机核函数的表达式,同时,给出了这一改进模型的实现步骤。实验结果表明,该模型无论是预测正确率,还是训练样本的数量和训练时间,都显著优于最小二乘支持向量机以及传统支持向量机模型。     

线性ε-支持向量回归机的数据扰动分析

支持向量回归机是解决回归问题的一个重要方法.在实际问题中由于测量及计算误差的存在,我们得到的数据往往只是真值的某种近似,带有一定的舍入误差,因此有必要研究支持向量回归机的数据扰动问题.考虑到线性回归问题在实际生活中有广泛的应用价值,把线性ε-支持向量回归机作为研究对象.由于最终关心的是它的原始问题的解,所以我们研究给定的训练集中输入数据发生微小地扰动后,原始问题的解的变化情况.在一定的条件下给出了解对扰动数据偏导数的表达式,建立了线性ε-支持向量回归机的原始问题的灵敏度分析定理.文中还进一步分析了建立该灵敏度分析定理所需要的条件,给出了条件减弱后的结果.文章最后还通过一些简单的数值试验验证了定理的准确性.     

可靠性分析中的最小二乘支持向量机分类方法

为了提高支持向量分类机在处理大样本可靠性问题时的计算效率,将最小二乘支持向量分类机引入到可靠性分析中,使得支持向量机中的二次规划问题转化为求解线性方程组问题,减少了计算量.数值算例表明:基于最小二乘支持向量分类机的可靠性方法与基于支持向量分类机的可靠性方法具有一样的计算精度,而且前者的计算效率明显优于后者.     

大数据背景下分布式支持向量回归模型研究

为解决传统的支持向量回归模型在处理大规模数据时计算效率较低的局限,文章将交互有效方法与支持向量回归模型相结合,提出了基于交互有效方法的分布式支持向量回归模型(CE-SVR).该模型首先采用分布式存储方式将大规模数据随机分配给多台机器,其次采用交互有效方法构建支持向量回归的近似损失函数替代全局损失函数获得近似预测结果,能够有效地分析大规模数据.数值模拟和应用研究的结果表明:在线性模型中,文章所提出模型的预测性能与全局支持向量回归模型基本一致,且显著优于基于单轮型方法的分布式支持向量回归模型(OS-SVR);在非线性模型中,文章所提出模型的预测性能会随着机器数的增加而降低,但其预测性能显著优于OS-SVR模型.     

求解离散不适定问题的正则化GMERR方法

迭代极小残差方法是求解大型线性方程组的常用方法, 通常用残差范数控制迭代过程.但对于不适定问题, 即使残差范数下降, 误差范数未必下降. 对大型离散不适定问题,组合广义最小误差(GMERR)方法和截断奇异值分解(TSVD)正则化方法, 并利用广义交叉校验准则(GCV)确定正则化参数,提出了求解大型不适定问题的正则化GMERR方法.数值结果表明, 正则化GMERR方法优于正则化GMRES方法.     

基于凸绝对值不等式的半监督最小二乘支持向量机

针对半监督分类问题,提出了基于凸绝对值不等式的半监督最小二乘支持向量机.传统的半监督支持向量机鲁棒性不强、效率不高,针对这些不足,利用凸绝对值不等式将平面分为两个有重叠的半平面,通过极小化重叠部分以及采用最小二乘支持向量机的思想处理无标签点,提高分类准确率,结果具有一定的鲁棒性.在8个数据集上进行了数值实验,说明了所提出的半监督分类算法的有效性.