在线Logistic回归

针对连续数据流分类问题,基于在线学习理论,提出一种在线logistic回归算法.研究带有正则项的在线logistic回归,提出了在线logistic-l2回归模型,并给出了理论界估计.最终实验结果表明,随着在线迭代次数的增加,提出的模型与算法能够达到离线预测的分类结果.本文工作为处理海量流数据分类问题提供了一种新的有效方法.     

基于拟凸损失的核正则化成对学习算法的收敛速度

核正则化排序算法是目前机器学习理论领域讨论的热点问题,而成对学习算法是排序算法的推广.文章给出一种基于拟凸损失的核正则化成对学习算法,利用拟凸分析理论对该算法进行误差分析,给出算法的收敛速度.分析结果表明,算法的样本误差与损失函数中的参数选择有关.数值实验结果显示,与基于最小二乘损失的排序算法相比较,该算法有更稳健的学习性能.     

基于集成学习的在线高维投资组合策略

文章结合机器学习中的交叉验证、在线学习和集成学习方法,对基于不同高维协方差估计量的投资策略权重进行动态组合,以获得优于传统投资组合策略的样本外表现.基于这一目标,文章对机器学习中比较前沿的在线加权集成(online weighted ensemble,OWE)算法的样本更新方式、学习模型和目标函数进行了替换和修改,改进后的mixed-OWE算法能够更好地适用于多组合的动态混合策略投资.通过数值模拟,文章将mixed-OWE应用在基于二次效用目标函数的投资问题上,结果表明其样本外表现优于传统静态方法.随后,文章进一步使用A股近10年的数据作为样本对mixed-OWE进行了全局最小方差组合投资,经过一定的参数调整后,mixed-OWE策略实现的组合方差优于其成分组合以及等权重组合.     

基于非同分布样本的变参LUM在线分类（英文）

LUMs(Large-margin Unified Machines)在分类学习中受到广泛关注,LUMs是一类最大化间隔分类器,它提供了一种独特的软分类到硬分类转化的方式.本文研究的是基于独立不同分布样本和LUM损失函数的二分类在线学习算法.同时,在线算法的每一步迭代,涉及的LUM损失函数的参数是随着迭代在逐渐减小的.在这种假设下,我们基于再生核希尔伯特空间(RKHS),给出了在线算法的收敛阶.     

一种基于训练数据的迭代改进核函数

为提高支持向量机性能,提出一种支持向量机核函数的迭代改进新算法.利用与数据有关的保角映射,使核函数包含了全部学习样本的信息,即核函数具有数据依赖性.基本核函数的参数可取随机初值,通过对核函数进行多次迭代改进,直至得到满意的学习效果.与传统方法相比,新算法不需要筛选核函数的参数.对一元连续函数和强地震事件的仿真计算结果表明,改进SVR(support vector regression)的学习效果优于传统方法,并且随着迭代次数的增加,学习风险下降收敛,收敛速度依赖于传统方法的基本参数和改进方法的参数.     

大数据处理中分类算法的数值比较

针对大数据背景下机器学习的3种新分类算法:支持向量机、增强决策树、随机森林和传统分类的3种算法:逻辑回归、K最近邻法和线性判别分析法,选取了七个不同行业的实例数据集用上述六种分类算法进行数值分析,计算六种分类算法在测试集的总误判概率和两种错误的误判率.分析结果表明:从预测角度上大数据情况下新的机器学习分类算法尤其是随机森林和增强决策树的表现明显优于传统的分类算法.     

Zernike基函数的改进算法

由Zernike矩自身定义的复杂性所导致的巨大计算量,限制了其向在线实时应用和大数据处理方面的推广.针对求Zernike矩的两个关键步骤之一——基函数的计算进行了加速改进.首先提出一组关于Zernike基函数的迭代公式,实现由低阶基函数到高阶基函数的递推,然后在现有的对称算法的基础上应用该迭代公式,进一步提出一种先迭代后对称的基函数算法.复杂度分析和数值实验结果表明,改进算法较之于对称算法,显著降低了复杂度,明显提高了运算速度,并且对高分辨率图像或图像高阶特征的提取,这种改进的效果更突出.     

近似Bayes计算前沿研究进展及应用

在大数据和人工智能时代,建立能够有效处理复杂数据的模型和算法,以从数据中获取有用的信息和知识是应用数学、统计学和计算机科学面临的共同难题.为复杂数据建立生成模型并依据这些模型进行分析和推断是解决上述难题的一种有效手段.从一种宏观的视角来看,无论是应用数学中常用的微分方程和动力系统,或是统计学中表现为概率分布的统计模型,还是机器学习领域兴起的生成对抗网络和变分自编码器,都可以看作是一种广义的生成模型.随着所处理的数据规模越来越大,结构越来越复杂,在实际问题中所需要的生成模型也变得也越来越复杂,对这些生成模型的数学结构进行精确地解析刻画变得越来越困难.如何对没有精确解析形式（或其解析形式的精确计算非常困难）的生成模型进行有效的分析和推断,逐渐成为一个十分重要的问题.起源于Bayes统计推断,近似Bayes计算是一种可以免于计算似然函数的统计推断技术,近年来在复杂统计模型和生成模型的分析和推断中发挥了重要作用.该文从经典的近似Bayes计算方法出发,对近似Bayes计算方法的前沿研究进展进行了系统的综述,并对近似Bayes计算方法在复杂数据处理中的应用前景及其和前沿人工智能方法的深刻联系进行了分析和讨论.     

基于在线HHT和SVM的汽油机轻微漏气故障识别方法

针对汽油机轻微漏气故障会被闭环反馈控制所掩盖,提出了一种基于在线希尔伯特变换(Hilbert-Huang Transform,HHT)和支持向量机(Support vector machine,SVM)的两阶段微小故障识别方法(Online HHT-SVM,OHS).第一阶段在嵌入式两滑动时间窗内通过HHT对发动机空燃比数据流进行在线时频分析,以实时获取空燃比发生异常的时刻;第二阶段通过SVM对异常时刻的数据流故障模式进行离线识别.根据氧传感器信号特征,对经验模态分解(Empirical mode decomposition,EMD)算法进行了改进,并从理论上进行了证明.基于两款发动机的实际运行数据验证了该方法的有效性.     

基于SMOTE和KNN的石油数据缺失填充算法

大数据环境下,数据缺失是一种普遍现象,由此带来数据决策偏差等问题.针对石油生产数据缺失问题,提出一种基于SMOTE和KNN的数据填充SMKNN算法.受不平衡数据集过采样的启发,SMKNN算法在KNN算法基础上采用SMOTE算法选取近邻随机插值产生的数据作为近似缺失值,同时,采用多重填补思想求平均值作为填充数据.分别采用UCI机器学习标准数据集和大庆油田某井区生产数据进行实验,验证了SMKNN算法不仅能填充数据,而且提高了准确率.