基于时序分解的自适应在线学习电力负荷预测算法研究

传统的机器学习方法无法捕捉到电力负荷需求的不确定性以及动态变化规律.本文将最新提出的隐马尔可夫模型在线学习算法应用于电力负荷预测研究,充分提取历史数据中的不确定性特征和动态变化规律,并结合分解算法,更精确利用数据中的动态变化特征,从而提高预测精度.算法基于隐马尔可夫概率预测模型,在获得新样本时对模型进行在线更新,适应最新数据;利用STL时序分解算法对负荷数据进行分解,使具有不同不确定性和动态变化规律的分量分离开,再分别使用在线学习算法对不同特征的分量进行预测,构造电力负荷预测组合算法.基于三个公开电力负荷数据集的测试结果表明,相比于单一的在线学习模型,本文提出的组合算法提高了预测精度,预测相对误差最高减少了27%.     

价格数量折扣下多阶段报童问题的在线策略

价格数量折扣可以提高订购量, 是库存决策中的一个重要因素. 特别地, 当订购量达到一定水平时, 价格折扣才会发生. 应用理论计算机科学兴起的弱集成算法, 研究具有这种价格数量折扣的多阶段报童问题的在线策略. 弱集成算法是一种在线序列决策算法, 其主要特点是不对未来输入做任何统计假设, 克服了报童问题研究中需要对需求做概率假设的困难. 主要将弱集成算法应用到固定订购量的专家策略, 给出了价格数量折扣下多阶段报童问题的具体在线策略;得到了该在线策略相对于最优专家策略的理论保证. 进一步将回收价值和缺货损失费引入, 给出了推广的在线策略及其理论结果. 最后应用数值算例说明了给出的在线策略具有较好的竞争性能.     

面向大数据流的多任务在线学习算法研究

大数据时代背景下,越来越多领域对大数据计算提出了高要求,尤其各行各业产生的大数据更多地是一种动态的流式数据形态,因此,实现实时、快速、高效的大数据流计算与分析日益紧要.在线机器学习算法是解决实时大数据流分析的有效方案.在机器学习算法中,通过核学习能够获得有效的核函数,而所选核函数又对核学习器的性能有很大影响.结合在线机器学习与核函数研究一种适用于大数据流环境下的多任务在线学习算法,探讨了算法过程中可能出现的扰动项,应用数据依赖核的构建方法提高了算法的广泛性.算法不需要对历史数据流进行存储和重新扫描,只需选择一个数据集样本,在分析新的流式大数据时能够在可接受时间内直接将当前核函数更新为最合适的核函数,非常适合应用于流式大数据环境下的核学习问题.     

线性与非线性规划算法与理论

线性规划与非线性规划是数学规划中经典而重要的研究方向. 主要介绍该研究方向的背景知识,并介绍线性规划、无约束优化和约束优化的最新算法与理论以及一些前沿与热点问题. 交替方向乘子法是一类求解带结构的约束优化问题的方法,近年来倍受重视. 全局优化是一个对于应用优化领域非常重要的研究方向. 因此也试图介绍这两个方面的一些最新研究进展和问题.     

在线Logistic回归

针对连续数据流分类问题,基于在线学习理论,提出一种在线logistic回归算法.研究带有正则项的在线logistic回归,提出了在线logistic-l2回归模型,并给出了理论界估计.最终实验结果表明,随着在线迭代次数的增加,提出的模型与算法能够达到离线预测的分类结果.本文工作为处理海量流数据分类问题提供了一种新的有效方法.     

多示例学习问题研究进展综述

多示例学习是一种特殊的机器学习问题,近年来得到了广泛的关注和研究,许多不同类型的多示例学习算法被提出,用以处理各个领域中的实际问题. 针对多示例学习的算法研究和应用进行了较为详细的综述, 介绍了多示例学习的各种背景假设, 从基于示例水平、包水平、嵌入空间三个方面对多示例学习的常见算法进行了描述, 并给出了多示例学习的算法拓展和若干领域的主要应用.     

收益约束下在线租赁最小风险策略竞争分析

在线算法是研究信息不确定决策问题的一种新工具。应用在线算法研究金融租赁问题(在线租赁)是近年来国内外的一个研究热点。本文在前人研究基础上,讨论了给定收益约束下在线租赁最小风险策略,完善了在线租赁的风险收益竞争分析。同时我们也把基本的在线租赁扩展为可退货在线租赁问题,并进一步讨论了可退货在线租赁问题的风险最小策略。本文结果对在线租赁研究具有重要意义。     

带机器准备时间的平行机在线与半在线排序

本文研究带机器准备时间的m台平行机系统在线和半在线排序问题.对在线排序问题,我们证明了LS算法的最坏情况界为2-1/m.对已知工件加工时间递减,已知总加工时间和已知工件最大加工时间三个半在线模型,我们分析了它们的下界和所给算法的最坏情况界.对其中两台机情形均得到了最好近似算怯。     

求解凸随机规划的Monte Carlo模拟方法

基于对目标函数和约束函数的同时抽样,给出求解凸随机规划的Monte CaLrlo模拟的算法及其收敛性.将得到的结果和算法应用到以半偏差为约束的投资组合优化问题,并且给出相应的数值试验.     

带机器准备时间的m台平行机在线和半在线排序

本文研究了目标为极大化机器最早完工时间的带机器准备时间的m台平行机在线和半在线排序问题.对于在线排序问题,本文证明了LS算法的竞争比为m.对于已知所有工件加工时间总和(sum)和最大工件加工时间(max)的两个半在线模型,本文分析了它们的下界,并给出了竞争比均为m-1的最优算法.     

On the Role of the Group Composition for Achieving Optimality

We show the inability of any pure strategy imitation rule for leading a decision maker towards optimality for given and fixed population behaviour. The intuition is that a pure strategy state space is too small to deal with a large variety of environments. This result helps to understand the optimality result obtained by Schlag (1998), where the population behaviour is let to evolve over time. The intuition is that the group composition provides an additional state space in which information about the environment can be accumulated.     

关于变化再生核希尔伯特空间在线算法的一个注记

本文研究了由高斯核的方差在算法中引起的一些误差,利用再生核的一些特殊性质对这些误差进行分析.这些误差在分析算法的收敛速度时起到了重要的作用.     

Competitive analysis of online inventory problem with interrelated prices

This paper investigates the online inventory problem with interrelated prices in which a decision of when and how much to replenish must be made in an online fashion even without concrete knowledge of future prices.Four new online models with different price correlations are proposed in this paper,which are the linear-decrease model,the log-decrease model,the logarithmic model and the exponential model.For the first two models,the online algorithms are developed,and as the performance measure of online algorithm,the upper and lower bounds of competitive ratios of the algorithms are derived respectively.For the exponential and logarithmic models,the online algorithms are proposed by the solution of linear programming and the corresponding competitive ratios are analyzed,respectively.Additionally,the algorithm designed for the exponential model is optimal,and the algorithm for the logarithmic model is optimal only under some certain conditions.Moreover,some numerical examples illustrate that the algorithms based on the dprice-conservative strategy are more suitable when the purchase price fluctuates relatively flat.     

Convergence analysis of online algorithms

In this paper, we are interested in the analysis of regularized online algorithms associated with reproducing kernel Hilbert spaces. General conditions on the loss function and step sizes are given to ensure convergence. Explicit learning rates are also given for particular step sizes. ^★The author’s current address: Department of Computer Sciences, University College London, Gower Street, London WC1E, England, UK.     

Online Classification with Varying Gaussians

Gaussians are important tools for learning from data of large dimensions. The variance of a Gaussian kernel is a measurement of the frequency range of function components or features retrieved by learning algorithms induced by the Gaussian. The learning ability and approximation power increase when the variance of the Gaussian decreases. Thus, it is natural to use  Gaussians with decreasing variances  for online algorithms when samples are imposed one by one. In this paper, we consider fully online classification algorithms associated with a general loss function and varying Gaussians which are closely related to regularization schemes in reproducing kernel Hilbert spaces. Learning rates are derived in terms of the smoothness of a target function associated with the probability measure controlling sampling and the loss function. A critical estimate is given for the norm of the difference of regularized target functions as the variance of the Gaussian changes. Concrete learning rates are presented for the online learning algorithm with the least square loss function.     

Online regularized learning with pairwise loss functions

Recently, there has been considerable work on analyzing learning algorithms with pairwise loss functions in the batch setting. There is relatively little theoretical work on analyzing their online algorithms, despite of their popularity in practice due to the scalability to big data. In this paper, we consider online learning algorithms with pairwise loss functions based on regularization schemes in reproducing kernel Hilbert spaces. In particular, we establish the convergence of the last iterate of the online algorithm under a very weak assumption on the step sizes and derive satisfactory convergence rates for polynomially decaying step sizes. Our technique uses Rademacher complexities which handle function classes associated with pairwise loss functions. Since pairwise learning involves pairs of examples, which are no longer i.i.d., standard techniques do not directly apply to such pairwise learning algorithms. Hence, our results are a non-trivial extension of those in the setting of univariate loss functions to the pairwise setting.     

环形路网上带有服务时长的在线TSP问题

为了提高快递揽件的时效性,需要对快递车辆进行有效调度。针对环形路网上服务时长以及需求无法预知的揽件问题,本文提出了以服务总时间尽可能短为目标的环形路网上带有服务时长的在线旅行商问题。用在线算法分析了此问题竞争比的下界,设计了两个在线算法并分析了各自的竞争比,结果表明服务时长可以改善在线车的性能。最后通过简单算例对两个算法进行说明,本文研究结论可以为环形路网上的快递车辆实时调度提供指导。     

分类问题的在线顺序双并联快速学习机

双并联前馈神经网络模型是单层感知机和单隐层前馈神经网络的混合结构,本文构造了一种双并联快速学习机算法,与其他类似算法比较,提出的算法能利用较少的隐层单元及更少的待定参数,获得近似的学习性能.数值实验表明,对很多实际分类问题,提出的算法具备更佳的泛化能力,因而可以作为快速学习机算法的有益补充.