半监督多示例分类的两层粒化与空间转换方法

多示例学习(MIL)的任务是训练一个有效的分类器,以处理具有复杂数据结构的包.一个包对应一个样本,由多个实例构成,描述了样本的信息特征.基于标准MIL假设,如果包中至少有一个正实例,则该包为正,反之为负.已有的多示例学习算法通常将包看作一个整体或基于整个实例空间进行学习.然而,数据集中通常包含噪声,将对分类结果造成一定...     

在线学习方法综述:汤普森抽样和其他方法

本文尝试对在线学习领域的最新研究成果、相关主要理论和算法进行综述.在线学习的内容非常广博,本文希望能够为读者介绍其中一些基本的算法和想法,从最经典的理论模型和算法设计开始,对在线学习的发展情况作一个一般性的介绍.首先,以经典的在线优化模型——多摇臂赌博机问题为例,引入了汤普森抽样算法和信心上界算法,分析、展示了它们的基本思路和最新成果,并进一步讨论了汤普森抽样算法在更复杂的在线学习问题中的变式和应用.本文同时对在线凸优化算法做了初步探讨,它也是解决多摇臂赌博机问题和其他许多在线学习的应用问题时一种强有力的工具.     

集货送货一体化的物流配送车辆路线问题的标号算法

本文结合实际情况,对具有时间窗约束的集货送货一体化的车辆路线问题进行了研究,针对该问题的特点,采用修正的多属性标号算法对该问题进行求解,并通过C 编程语言实现了该算法,最后用一个示例表明本文的算法是有效的.     

不确定信息处理及在归纳学习中的应用

信息的不确定性是由于模糊性、随机性、不完全性、不精确性等因素造成的,不确定性信息在现实世界中广泛存在.关于这方面的研究主要集中在模糊性这种不确定性上.我们课题组在此领域的研究已经持续20余年,概括起来讲,早期的研究兴趣在于模糊(非可加)测度与积分的理论建立,主要研究了传统的可加测度与积分理论到非可加情况的推广;尔后的兴趣转向为如何用数值方法确定非可加测度;近期的研究兴趣在于从已有数据中获取模糊控制规则以及具有模糊表示的归纳学习问题.近10年的研究曾得到了多项基金项目资助,出版专著3部,发表学术论文100余篇,30余篇被SCI收录,20余篇被EI收录,省级以上奖励3项.以下是我们近期研究工作的一个总结,主要包括模糊决策树归纳;基于模糊信息的决策表简化;产生模糊规则的扩张矩阵算法;模糊归纳学习在其他领域中的应用;基于示例学习的模糊控制等.     

基于数论的总体优化随机搜索算法

本文研究了多峰函数的总体优化问题.提出了基于数论的总体优化随机搜索算法,证明了算法依概率1收敛到总体极值点,并给出了计算示例.     

圆锥曲线的最值问题

学习解题的重要目的之一就是要学会解一类问题,触类旁通是学习解题的基本要求．近年来,圆锥曲线上任一点到两定点的距离和的最值问题越来越多,难度越来越大,在各类考试中经常出现．因此,研究一下这类问题的一般解法是必要的．按照曲线一般分类,本研究主要给出抛物线、椭圆、双曲线三类,曲线中的相关最值问题的一般结论并示例其直接应用．     

GA-BP嵌套算法的理论及应用

分析了BP算法、遗传算法以及GA-BP-APARTING算法的特点,提出了GA-BP-NESTING算法.在人工神经网络的在线学习和离线学习方式下,分别对BP算法、GA算法、GA-BP-APARTING算法和GA-BP-NESTING算法进行了比较研究,研究发现:第一,网络初始权值的赋值对人工神经网络训练影响很大;第二,离线学习方式下GA-BP-NESTING算法效果最佳.     

圆锥曲线的最值问题

学习解题的重要目的之一就是要学会解一类问题,触类旁通是学习解题的基本要求.近年来,圆锥曲线上任一点到两定点的距离和的最值问题越来越多,难度越来越大,在各类考试中经常出现.因此,研究一下这类问题的一般解法是必要的.按照曲线一般分类,本研究主要给出抛物线、椭圆、双曲线三类,曲线中的相关最值问题的一般结论并示例其直接应用.     

面向大数据流的多任务在线学习算法研究

大数据时代背景下,越来越多领域对大数据计算提出了高要求,尤其各行各业产生的大数据更多地是一种动态的流式数据形态,因此,实现实时、快速、高效的大数据流计算与分析日益紧要.在线机器学习算法是解决实时大数据流分析的有效方案.在机器学习算法中,通过核学习能够获得有效的核函数,而所选核函数又对核学习器的性能有很大影响.结合在线机器学习与核函数研究一种适用于大数据流环境下的多任务在线学习算法,探讨了算法过程中可能出现的扰动项,应用数据依赖核的构建方法提高了算法的广泛性.算法不需要对历史数据流进行存储和重新扫描,只需选择一个数据集样本,在分析新的流式大数据时能够在可接受时间内直接将当前核函数更新为最合适的核函数,非常适合应用于流式大数据环境下的核学习问题.     

一种多种群综合学习粒子群优化算法

针对综合学习算法(Comprehensive learning particle swarm optimization,CLPSO)在解决全局优化问题时精度不高且收敛速度慢的问题,提出一种多种群综合学习算法(MS_CLPSO).该算法将传统粒子群算法的社会部分引入CLPSO算法,有效提高了算法的收敛速度和局部开采能力;同时,为扩大粒子的空间搜索范围,算法引入多种群策略,提高了算法全局勘探能力;并针对可能陷入局部极值的粒子,采用全局学习策略更新学习样本,增加了种群中粒子多样性.实验结果表明,在处理单峰和多峰标准测试函数中,MSCLPSO算法有效提高了CLPSO算法的精度和收敛速度.     

Generalization errors of Laplacian regularized least squares regression

Semi-supervised learning is an emerging computational paradigm for machine learning,that aims to make better use of large amounts of inexpensive unlabeled data to improve the learning performance.While various methods have been proposed based on different intuitions,the crucial issue of generalization performance is still poorly understood.In this paper,we investigate the convergence property of the Laplacian regularized least squares regression,a semi-supervised learning algorithm based on manifold regularization.Moreover,the improvement of error bounds in terms of the number of labeled and unlabeled data is presented for the first time as far as we know.The convergence rate depends on the approximation property and the capacity of the reproducing kernel Hilbert space measured by covering numbers.Some new techniques are exploited for the analysis since an extra regularizer is introduced.     

强化学习在运筹学的应用:研究进展与展望

强化学习已经成为人工智能领域一个新的研究热点,并已成功应用于各领域,强化学习将运筹优化领域的很多问题视为序贯决策问题,建模为马尔可夫决策过程并进行求解,在求解复杂、动态、随机运筹优化问题具有较大的优势。本文主要对强化学习在运筹优化领域的应用进行综述,首先介绍了强化学习的基本原理及其应用于运筹优化领域的研究框架,然后回顾并总结了强化学习在库存控制、路径优化、装箱配载和车间作业调度等方面的研究成果,并将最新的深度强化学习以及传统方法在运筹学领域的应用研究进行了对比分析,以突出深度强化学习的优越性。最后提出几个值得进一步探讨的研究方向,期望能为强化学习在运筹优化领域的研究提供参考。     

Making Organizational Learning Operational: Implications from Learning Classifier Systems

The concepts of organizational learning in organization and management science cover a very wide range of organization-related activities in organization. Since socially situated intelligence is one of such activities, this paper makes the concept of organizational learning operational from the computational viewpoint for investigating socially situated intelligence. In particular, this paper focuses on the characteristics of multiagent learning as one kind of socially situated intelligence, and analyzes them using four operationalized learning mechanisms in organizational learning. A careful investigation on the characteristics of multiagent learning has revealed the following implications: (1) there are two levels in the learning mechanisms for multiagent learning (the individual level and organizational level) and each mechanism is divided into two types (single- and double-loop learning). The integration of these four learning mechanisms improves socially situated intelligence; and (2) the following properties support socially situated intelligence: (a) different dimensions in learning mechanisms, (b) interaction among various levels and types of learning mechanisms in addition to interaction among agents, and (c) combination of exploration at an individual level and exploitation at an organizational level.     

Generalization performance of graph-based semi-supervised classification

Semi-supervised learning has been of growing interest over the past few years and many methods have been proposed. Although various algorithms are provided to implement semi-supervised learning,there are still gaps in our understanding of the dependence of generalization error on the numbers of labeled and unlabeled data. In this paper,we consider a graph-based semi-supervised classification algorithm and establish its generalization error bounds. Our results show the close relations between the generalizat...     

Modified optimization layer by layer algorithm for learning multilayer perceptrons

1. IntroductionThe feedforward Multilayer Perceptron (MLP) is one of the most widely used artificial neural networks among other network models. Its field of application includes patternrecognition, identification and control of dynamic systems, system modeling and nonlinearprediction of time series, etc. [1--41 founded on its nonlinear function approximation capability. Research of this type of networks has been stimulated since the discovery andpopularization of the Backpropagation learnin…     

基于复杂网络上监督学习方法的研究综述

复杂网络已经成为复杂系统分析问题的通用方法,随着人工智能和机器学习的广泛兴起,越来越多的学者开始关注在复杂网络上进行机器学习。监督学习作为机器学习的一个重要组成部分,本文深入研究和总结了基于复杂网络的监督学习方法。首先,本文分别从复杂网络和监督学习的理论基础入手,明确了相似性函数和相异性函数的概念和测度方法,系统梳理了复杂网络的构建方法,并阐明了监督学习的概念及其在机器学习中的地位。其次,介绍了监督学习的几种常用算法,梳理了各种算法的研究现状。然后,提出了基于复杂网络监督学习方法未来关注方向。最后,说明了基于复杂网络监督学习方法的局限性,为相关学者的研究提供了参考。     

A revised approach for risk-averse multi-armed bandits under CVaR criterion

We study multi-armed bandit problems that use conditional value-at-risk as an underlying risk measure. In particular, we propose a new upper confidence bound algorithm and compare it with the state-of-the-art alternatives with respect to various definitions of regret from the risk-averse online learning literature. For each comparison, we demonstrate that our algorithm achieves either a strictly better or a comparable regret bound. Finally, we complement our theoretical findings by a numerical experiment to showcase the competitiveness of the proposed algorithm.     

Learning from regularized regression algorithms with <Emphasis Type="Italic">p</Emphasis>-order Markov chain sampling

Evaluation for the performance of learning algorithm has been the main thread of theoretical research of machine learning. The performance of the regularized regression algorithm based on independent and identically distributed(i.i.d.) samples has been researched by a large number of references. In the present paper we provide the convergence rates for the performance of regularized regression based on the inputs of p-order Markov chains.     

多视角学习综述

随着计算机技术的飞速发展,数据的收集和存储能力得到了极大的提高,在科学研究和社会生活的各个领域,海量表现形式复杂的数据涌现。针对同一对象从不同途径或不同层面获得的特征数据被称为多视角数据。多视角学习是利用事物的多种视角表征进行建模求解的一种新的机器学习方法,它一般需遵循两个原则:1)一致性原则;2)互补性原则。近年来,多视角学习已经引起了广泛的关注和研究。本文对多视角学习算法的研究以及相关理论研究的进展进行了综述,并指出了多视角学习面临的挑战及下一步可能的研究方向。