基于似无关回归的多元稳健损失函数方法

针对多响应参数优化问题,考虑响应间相关性和可控因子波动的影响,提出了一种基于似无关回归的多元稳健损失函数方法。首先采用似无关回归对模型拟合和过程优化中的相关参数进行估计,更有效地利用响应间相关性信息;然后利用给定点处梯度信息来估计可控因子波动对过程稳健性的影响。算例表明,当响应间存在相关性时,与最小二乘方法相比,采用似无关回归拟合的响应曲面模型精度更高;与传统质量损失函数相比,在采用相同质量成本矩阵时,采用稳健损失函数方法得到的最优解处期望质量损失更小。     

基于岭回归模型大数据最优子抽样算法研究

随着大数据时代的来临,为了提高计算效率,Wang等(2018)提出基于logistic回归的最优子抽样算法,在保证参数估计精度的前提下,节省了大量的运算时间.为解决变量间的多重共线性,文章提出基于岭回归模型的最优子抽样算法,并证明岭回归模型中参数估计的一致性与渐近正态性.利用数值模拟与实证分析对最优子抽样算法进行评估,...     

基于大规模高维线性回归模型的分布式计算方法研究

大数据背景下挖掘大规模高维数据所隐藏的信息备受关注.本文主要目的是采用分布式优化方法解决加SCAD和Adaptive LASSO惩罚的高维线性回归中的参数估计和变量选择问题.主要方法是通过构造全局损失函数的一个交互有效的正则化替代损失函数,把基于全局损失函数的优化问题转化为基于替代损失函数的优化问题.本文设计的修正的ADMM算法,在计算上,只需要子机器基于局部数据计算梯度,而主机器进行参数估计和变量选择.在主从机器交互复杂度上,基于替代损失函数所得的估计误差收敛于基于全局损失函数所得的估计误差.通过模拟和实证研究进一步验证本文提出的分布式计算方法在实际生活中的可行性和实用性.     

缺失数据下超高维可加分位回归的变量筛选和选择

针对存在缺失数据的超高维可加分位回归模型,本文提出一种有效的变量筛选方法.具体而言,将典型相关分析的思想引入到最优变换的最大相关系数,通过协变量和模型残差最优变换后的最大相关系数重要变量的边际贡献进行排序,从而进行变量筛选.然后,在筛选的基础上,利用稀疏光滑惩罚进一步做变量选择.所提变量筛选方法有三点优势:(1)基于最优变换的最大相关可以更全面的反映响应变量对协变量的非线性依赖结构;(2)在迭代过程中利用残差可以获取模型的相关信息,从而提高变量筛选的准确度;(3)变量筛选过程和模型估计分开,可以避免对冗余协变量的回归.在适当的条件下,证明了变量筛选方法的确定性独立筛选性质以及稀疏光滑惩罚下估计量的稀疏性和相合性.同时,通过蒙特卡罗模拟给出了所提方法的表现并通过一组小鼠基因数据说明了所提方法的有效性.     

黑箱优化导向的序贯均匀设计

在试验设计中,序贯均匀设计(sequential uniform design)是一种基于区域压缩思想的序贯空间填充设计,又可称为序贯数论优化方法(简记为SNTO),常被实际工作者用来寻求黑箱优化问题的全局最优值。该算法的核心思想是在每阶段的压缩子区域内迭代散布低偏差序列,如数论格子点(number-theoretic net),均匀设计(uniform design)等。原始的SNTO算法存在两个缺点:1)它是一种纯粹的区域压缩搜索算法,搜索过程中未使用任何统计代理模型信息,只关注试验点本身的信息;2)迭代过程中,非最优试验点的信息被完全丢弃,未被充分利用。本文引入序贯自适应试验设计思想,帮助SNTO算法更好的确定区域压缩中心,并称改进后的算法为EI-SNTO方法。该算法通过建立高斯过程代理模型,采用期望提高准则(expected Improvement,EI)和重要性抽样来帮助选择和更新试验点。一些经典的优化检验函数模拟结果验证了EI-SNTO算法的优化性能,同时本文还展示了该算法在机器学习模型(包括支持向量机和人工神经网络)超参数优化中的优良表现。     

基于新的Hessian近似矩阵的稀疏重构算法

一般来说,基于二次近似模型的优化算法具有良好的数值表现.然而,当基于二次近似模型的优化算法求解大规模优化问题时,若使用稠密矩阵近似目标函数在迭代点的Hessian矩阵,需要花费大量的计算成本和存储成本,因此设计Hessian矩阵合适的标量近似矩阵特别重要.对于正则化模型,利用最近三次迭代的信息,设计粗糙的标量矩阵,使用拟牛顿公式进行更新,结合近似最优梯度法的思想和梯度法的延迟策略,构造Hessian矩阵新的含有更多二阶信息的标量近似矩阵.结合非单调线搜索,提出基于新的Hessian近似矩阵的稀疏重构算法,并进行收敛性分析.实验结果表明,与经典稀疏重构算法算法相比,基于新的Hessian近似矩阵的稀疏重构算法在重构效果相似的情况下能较大地减少迭代次数和较快地重构信号.     

期望和残差收益估计不可靠的鲁棒模型

投资优化问题的最优策略会随着输入参数的扰动而出现敏感的变化,针对投资优化问题中出现的随机变量的参数估计不可靠的情况,本文引入不确定集合描述随机收益的有关矩信息,提出了投资优化问题的一个鲁棒性模型,并采用数学规划的理论和方法,给出了该模型的最优策略和有效前沿的解析表示。本方法能够为采用保守策略的、对不确定性厌恶的投资者提供一种最优的投资策略。     

基于SCN函数共轭梯度方向的稀疏向量特征提取算法

稀疏向量特征提取是指在优化时利用各种范数对解进行约束,从而获得带有稀疏特征的最优解,其广泛应用于复杂系统中的机器学习、深度学习和大数据分析等领域的特征提取问题.大量的研究表明各种范数如L₀范数、L₁范数和L₂范数的方法都存在各自的缺点,主要表现在越容易求解的范数越不精准稀疏,越精准稀疏的范数越难求解.文章提出了一种基于SCN函数共轭梯度方向的稀疏向量特征发现算法(CGDL),稀疏向量特征发现可以用一个稀疏特征提取优化模型建立,其目标函数是一个SCN函数,对其中的L₀范数进行转换,形成一个具有特殊结构优化问题,这个问题等价于双层规划的凸-凹极小极大化问题,这类问题可以解决稀疏回归、图像特征和压缩感知等问题.文章给出了上述模型的稀疏特征提取算法的详细计算步骤和收敛性分析证明,并且对给定的实际数据集和高维模拟数据集对算法的有效性、复杂性和收敛速度进行了数值对比实验,表明了该算法在精准度和稀疏性上显著优于其他对比方法,并且具有较好的收敛速度.     

纵向数据下半参数回归模型的统计分析

对于纵向数据下半参数回归模型,基于广义估计方程和一般权函数方法构造了模型中参数分量和非参数分量的估计.在适当的条件下证明了参数估计量具有渐近正态性,并得到了非参数回归函数估计量的最优收敛速度.通过模拟研究说明了所提出的估计量在有限样本下的精确性.     

稀疏函数型回归模型变量选择及实证分析

传统函数型回归模型变量选择方法,忽略了对稀疏函数型数据的讨论.提出了稀疏函数型数据情形下函数型回归模型的变量选择方法,基于条件期望对稀疏函数型自变量进行函数型主成分分析,并以估计的正交特征函数作为基函数对模型进行展开.这种方法可以有效解决对稀疏函数型变量的选择.作为实证分析,选取2002年到2011年全国34个气象观测站的年降水量,月度平均气温,光照时长,湿度,最高气温和最低气温数据,分别比较讨论了密集和稀疏情形下,原始样本和Bootstrap样本的函数型回归模型变量选择的结果,结果显示新方法具有较好的选择效果.