基于受限玻尔兹曼机的中文文档分类

最近,许多不同类型的人工神经网络（Artificial Neural Network）已经应用于文档分类,并且得到了较好的结果。但是,大多数的模型仅使用了少量特征作为输入,因此可能没有足够的信息来对文档进行准确分类。如果输入更多的特征,将可能发生所谓的维数灾难,导致模型的训练时间大幅度增加,其泛化能力也可能会恶化。因此,在原始高维的输入特征中抽取出高度可区分的低维特征,并将其作为相应模型的输入对改善模型的泛化性能会有很大的帮助。受限玻尔兹曼机（Restricted Boltzmann Machine）是一种新型的机器学习工具,因为其强大的学习能力,受限玻尔兹曼机已经被广泛应用于各种机器学习问题。在本文中,我们使用受限玻尔兹曼机从原始输入特征中抽取低维高度可区分的低维特征,并且使用支持向量机（Support Vector Machine）作为回归模型。     

基于高斯受限玻尔兹曼机的非线性过程故障检测

针对非线性工业过程,提出了一种基于高斯受限玻尔兹曼机(GRBM)模型的故障检测方法.该方法从海量过程数据中提取出GRBM隐层特征信息,通过隐层特征再构建出重构数据,并依据重构误差在残差空间中构建检测统计量,形成了非线性过程故障检测算法.仿真结果表明,基于GRBM的故障检测方法不仅比传统的核主元分析(KPCA)方法具有更好的故障检出率,并且针对大数据量问题具有更强的处理能力.     

受限玻尔兹曼机的步态特征提取及其识别

针对步态识别问题,研究了受限玻尔兹曼机的步态特征提取及其识别.主要基于行人图像序列,通过背景分割、归一化以及步态周期的计算,采用叠加方法生成步态能量图,以此作为步态的特征图像,利用受限玻尔兹曼机自动获取步态特征.选取中科院CASIA步态数据库以及支持向量机、孪生支持向量机、神经网络与K-近邻方法对使用受限玻尔兹曼机方法的特征提取进行了研究,同时与主成分分析PCA、线性判别分析LDA、卷积神经网络CNN特征提取与识别方法进行了比较.     

基于受限玻尔兹曼机的神经元群体响应的贝叶斯解码

神经元通过尖峰模式传递有关刺激的信息,多个神经元通过突触相互联系,构成了复杂的神经回路。在过去的一个世纪中,多电极记录技术的进步使科学家们能够获取一个完整神经回路的细胞响应。这些记录表明,神经元的活动之间存在显著相关性。因此,本文提出利用受限玻尔兹曼机模型描述神经元响应活动之间的相关性,建立神经元群体响应的编码模型,并利用贝叶斯定理构建了基于受限玻尔兹曼机模型的解码器,将它应用于模拟的小鼠视觉皮层神经元的响应序列中。实验结果表明,此解码器在准确率方面优于不考虑神经元之间相关性的独立模型解码器。     

深度学习中对比散度算法的有偏性分析

为了给对比散度算法的进一步优化提供理论指导,尝试从理论上分析对比散度算法的收敛性。首先从仅含4个结点的玻尔兹曼机入手,利用单纯形表征模型的概率空间,以及流形表征概率空间与模型参数的关系,形象地表示了对比散度算法和极大似然算法的收敛过程,并从理论上推导出对比散度算法的收敛集与极大似然算法的收敛集之差不为空,从而证明了对比散度算法的有偏性。基于该结论,设计了一种先利用对比散度算法进行预训练,再利用极大似然算法调优的训练策略。实验结果表明,在应用该策略获得同等收敛效果的条件下,训练迭代步骤降低了83.3%。     

基于底层特征建模的行为识别算法优化

近年来基于时空兴趣点的视觉词袋(bag of video words,BOVW)模型被广泛用于行为识别算法研究;但是该模型忽略了每一种视觉单词的权重,另外没有考虑兴趣点时空分布信息,因而制约了其识别精度。提出了两种算法解决上述问题;其一,采用词频-逆向文件频率(term frequency-inverse document frequency,TF-IDF)方法对传统BOVW直方图进行优化处理,根据视觉单词在词袋与BOVW直方图的比例权衡其重要程度;其二,提出了基于三维共生矩阵的时空兴趣点互信息(spatialtemporal interest points mutual information,STIPsMI)算法,刻画不同视觉单词的时空兴趣点之间的时空关系。然后将STIPsMI描述符与优化后的BOVW直方图级联,作为视频序列最终的描述符。最后在两个主流的数据集KTH与UCF sports对该算法进行评估。实验结果表明,提出的时空特征描述符在行为识别准确率上优于BOVW模型与其他主流方法。     

基于二阶隐马尔可夫模型的新闻分类算法

提出一种基于二阶隐马尔可夫模型(HMM)的新闻分类算法,旨在提取新闻内容中的类别字,构成特征词集合.以该特征词集合作为不同二阶HMM分类器的观察序列,二阶HMM的隐藏状态反映了文档中词语之间的相关性差异,每个状态表示出现在语料库中的词语的相关性水平.实验结果表明,相比k近邻(k NN)、朴素贝叶斯(Naive Bayes)以及支持向量机(SVM)算法,二阶HMM算法的分类表现更显优势.