基于指数Laplace损失函数的回归估计鲁棒超限学习机

实际问题的数据集通常受到各种噪声的影响,超限学习机(extreme learning machine, ELM)对这类数据集进行学习时,表现出预测精度低、预测结果波动大.为了克服该缺陷,采用了能够削弱噪声影响的指数Laplace损失函数.该损失函数是建立在Gauss核函数基础上,具有可微、非凸、有界且能够趋近于Laplace函数的特点.将其引入到超限学习机中,提出了鲁棒超限学习机回归估计(exponential Laplace loss function based robust ELM for regression, ELRELM)模型.利用迭代重赋权算法求解模型的优化问题.在每次迭代中,噪声样本点被赋予较小的权值,能够有效地提高预测精度.真实数据集实验验证了所提出的模型相比较于对比算法具有更优的学习性能和鲁棒性.     

在线Logistic回归

针对连续数据流分类问题,基于在线学习理论,提出一种在线logistic回归算法.研究带有正则项的在线logistic回归,提出了在线logistic-l2回归模型,并给出了理论界估计.最终实验结果表明,随着在线迭代次数的增加,提出的模型与算法能够达到离线预测的分类结果.本文工作为处理海量流数据分类问题提供了一种新的有效方法.     

右删失数据下多响应AFT模型的两阶段估计

在生存分析领域,加速失效时间(AFT)模型经常被用于预测事件发生的时间.本文将该模型推广到多事件时间情形,提出了多响应AFT模型,并假设协变量是高维的,模型的系数矩阵是联合低秩且稀疏的.此外还假设多个事件时间受制于同一个右删失变量.为了估计模型中的系数矩阵,本文提出一个两阶段方法,先对数据进行逆概率删失加权(IPCW),再用SESS算法求解一个稀疏降秩回归问题.本文通过数值模拟,验证了所提方法的有效性.最后将该方法应用于一个关于白血病患者骨髓移植的临床数据集.     

纵向数据半参数建模中的迭代加权偏样条最小二乘估计

考虑了纵向数据半参数建模中的估计问题, 提出了参数分量的一个迭代加权偏样条最小二乘估计. 在渐近方差意义下该估计比加权偏样条最小二乘估计更加有效, 且具有渐近正态性. 另外, 给出了一个自适应方法, 该方法能保证经过有限次迭代后, 迭代过程会终止, 并且产生的估计渐近等价于使用迭代方法所能产生的最好的估计, 这些结果是Chen和Shao的结果在半参数回归上的推广.     

基于聚类矩阵近似的协同过滤推荐研究

由于推荐系统中存在巨量的用户和商品,现有的协同过滤方法很难处理用户-商品推荐中的数据稀疏性和计算可扩展性问题。本文提出了一种基于聚类矩阵近似的协同过滤推荐方法CF-cluMA。一方面,CF-cluMA方法通过对用户和商品进行分别聚类,并利用聚类后的用户-商品分块评分矩阵来刻画用户对于商品兴趣的局部性特点,以降低用户-商品评分矩阵的全局稀疏性。另一方面,CF-cluMA方法通过对局部稠密分块矩阵实施奇异值分解,并利用施密特变换近似全局用户-商品评分矩阵来预测用户对未知商品评分,以降低协同过滤算法的复杂性。在EachMovie电影评分真实数据集上的实验表明,相比于已有的基于矩阵近似的协同过滤推荐方法,本文所提出的CF-cluMA方法能够有效提升推荐系统的准确性并降低推荐系统的计算复杂性。本文的研究对于电子商务推荐系统具有重要的管理启示。     

正则化回归算法的快速学习率

本文讨论了再生核Hilbert 空间上一类广泛的正则化回归算法的学习率问题. 在分析算法的样本误差时, 我们利用了一种复加权的经验过程, 保证了方差与惩罚泛函同时被阈值控制, 从而避免了繁琐的迭代过程. 本文得到了比之前文献结果更为快速的学习率.     

基于向量值有理插值的最优预测算法研究及陶瓷需求量预测的应用

通过对高维数据整体表达式建模预测方法和分区间等预测算法的缺陷分析,提出基于向量值有理插值的最优预测算法,通过有理向量插值函数和各分量的误差限得到向量之间的相似性,克服了其它很多算法利用向量的整体表达式方法而产生预测的偏差;另外,通过向量的误差限与训练样本所得向量值有理插值函数及迭代仿真方法来确定预测样本向量所对应的最优预测值.通过实例,算法所得预测值的精度比其他算法更高,并且分析了误差限和迭代步长对算法性能的影响.     

结合有效集和多维滤子技术的拟Newton信赖域算法(英文)

针对界约束优化问题,提出一个修正的多维滤子信赖域算法.将滤子技术引入到拟Newton信赖域方法,在每步迭代,Cauchy点用于预测有效集,此时试探步借助于求解一个较小规模的信赖域子问题获得.在一定条件下,本文所提出的修正算法对于凸约束优化问题全局收敛.数值试验验证了新算法的实际运行结果.     

Bellman最优原理在复杂加权网络中的应用研究

针对现有算法及软件计算复杂加权网络介数的局限性,应用Bellman最优原理于复杂加权网络介数计算中,并针对复杂网络动态演化,节点众多,重点,节点间无边连接等特点作了相应修改.依算法实例计算出了复杂加权网络的最短路径长、最短路径和介数,最后经验证算法具有较快的运行速度和较准确的结果.     

基于截断加权基追踪模型的迭代支撑探测算法

迭代支撑探测算法是基于截断的基追踪(Basis Pursuit,BP)模型的一种l_1最小化信号重构算法,它可以实现信号的快速重构并且所需要的观测值比经典的L1算法以及迭代加权L1算法更少.本文针对非零元具有快速退化分布性质的稀疏信号,提出了一种改进算法一一基于截断的加权BP模型的迭代支撑探测算法.在迭代的过程中,改进的算法探测原信号支撑集中元素的同时调整重构模型的权值,使得重构模型更有利于实现信号的精确重构.根据所考虑的信号的非零元具有快速退化分布性质这样的先验信息,利用阈值法则探测原信号支撑集中的元素.最后通过Matlab数值实验实现了算法,验证了基于截断的加权BP模型的迭代支撑探测算法比迭代加权L1算法需要的观测值更少,并且比迭代加权L1算法以及传统的迭代支撑探测算法需要更少的重构时间就可以实现信号的精确重构.     

基于MM算法的LAD回归的影响分析

基于Hunter and Lange(2000)提出的MM迭代算法,构造了一个代替L1目标函数的新的目标函数Qε(ββk);在此基础上研究了非线性LAD回归影响分析的若干问题.基于新的目标函数和MM迭代算法,证明了LAD回归模型中数据删除模型和均值漂移模型参数估计的等价性定理,并提出了一种新的影响度量.最后,几个数据实例说明了方法的有效性.     

极限学习机集成在肿瘤分类中的应用

提出一种基于数据集分割的极限学习机集成算法——DS-E-ELM.该算法主要包含以下3个步骤:首先,将数据集分成互不相关的κ个子集,选择κ一1个子集组合成一个训练集,这样可以得到κ个不同的数据集;然后将新得到的κ个数据集利用极限学习机训练得到κ个分类器;最后对κ个分类器预测得到的结果通过多数投票的方法决定预测结果.通过对6个肿瘤数据集的实验证明,DS-E-ELM与单独的ELM、Bagging、Boosting等算法相比,具有更高的分类精度,且稳定性更好.     

以直觉模糊熵改进权重的模糊数据关联算法

针对多中心点的观测数据存在不确定性的问题,首先将观测数据和预测数据进行直觉模糊化,然后利用直觉模糊熵改进直觉模糊集的数据权重,再计算直觉模糊集之间的加权距离以获得观测与预测数据的隶属度,最后依次搜索最大隶属度实现观测与预测的关联.通过实例将改进的直觉模糊C-均值聚类(IFCM)算法应用于数据关联计算,计算结果表明,存在模糊观测数据情况下,可以比较好的处理距离的权重信息,并得到更好的处理结果,实例证明算法是可行的.     

基于贝叶斯网络的基因调控研究

为研究基因间的网络调控关系,通过贝叶斯网络方法将概率论知识与图论结合,有效构造了基因间的贝叶斯网络模型并进行了推理.针对一组白血病基因表达数据,首先进行数据标准化、离散化等预处理;其次使用决策树ID3算法求出基因间节点的顺序,并使用K2算法进行贝叶斯网络的结构学习,找出各基因间的网络拓扑结构;再次通过极大似然估计进行参数学习,求出网络中父节点与子节点间的概率依赖关系;最后对构建的贝叶斯网络模型进行了有效性验证,检验数据分析表明,贝叶斯网络对基因间调控关系的预测分析有较高精度.     

Banach空间中均衡问题和弱相对非扩展映射的强收敛定理及其应用(英文)

本文在Banach空间中设计了一些新的杂交迭代算法用以逼近一类均衡问题解集和弱相对非扩展映射不动点集或极大单调算子零点集的公共元.得到了一些强收敛的结论,并将它们推广到逼近一类均衡问题解集和有限个弱相对非扩展映射公共不动点集或有限个极大单调算子公共零点集的公共元的情形.最后,展示了本文的迭代算法在最优化问题上的应用.     

凸可行问题的平行近似次梯度投影算法

对凸可行问题提出了包括上松弛的平行近似次梯度投影算法和加速平行近似次梯度投影算法．与序列近似次梯度投影算法相比, 平行近似次梯度投影算法(每次迭代同时运用多个凸集的近似次梯度超平面上的投影)能够保证迭代序列收敛到离各个凸集最近的点． 上松弛的迭代技术和含有外推因子的加速技术的应用, 减少了数据存储量, 提高了收 敛速度. 最后在较弱的条件下证明了算法的收敛性, 数值实验结果验证了算法的有效性和优越性.     

对迭代加权回归的几点认识

本文对加权回归,在权未知情况下通过迭代估计回归参数,论述了迭代程序的收敛性和收敛速度.     

基于分组数据的回归系数的估计

本文讨论了如何去解决基于分组数据下的回归系数的估计问题.本文所讨论的基于分组数据下的回归模型与经典回归模型的差异在于因变量的观测值为分组数据,即我们只知道它落于事先确定的一组区间中的某一区间,而不知道它的具体值;而经典回归模型的因变量观测值则是一个确定的数值.我们用MLE去估计回归系数,但是此时的MLE无显式解,所以寻找一个合适的迭代算法就成了问题的关键.我们选择利用Bayes计算方法中的EM算法来获得估计量的迭代公式.随机模拟显示了所得估计的有效性.     

基于回归分析的机场拥挤预测问题研究

及时有效的预测机场拥挤状态并辅助机场管理部门采取相应缓解拥挤的措施,将有助于提高机场的服务质量和运行效率.提出了利用回归分析的方法对机场拥挤问题进行研究.利用已有的历史航班数据挖掘出与机场拥挤最为相关的因素,并将其作为预测变量来预测响应变量.使用到两种回归分析方法即:普通最小二乘回归(OLS)和支持向量回归(SVR).使用历史数据来训练模型,并将这两种训练模型用于真实数据集上做测试,且取得较好的预测效果.实验结果证明该方法在机场拥挤预测问题上的可用性和有效性.     

基于MGWO-SVR的空气质量预测

空气质量指数预测可以为企业和社会工作提供指导.灰狼优化算法具有简单高效的特点,但是在后期迭代中容易陷入局部最优.针对灰狼优化算法的缺点,对其全局优化能力进行了改进,并用改进的算法对支持向量机回归算法(SVR)的参数进行寻优,建立了MGWO-SVR预测模型.最后以中国环境监测总站中太原市的数据为研究对象,分别用MGWO-SVR模型和SVR模型对太原市的空气质量指数进行了预测拟合实验.实验结果表明,MGWO-SVR模型可以有效预测空气质量指数,并比SVR模型有更高的预测精度.