基于梯度监督学习的理论与应用(Ⅰ)——基本算法

讨论了一类基于梯度的监督训练算法及其用于神经网络的参数优化。文中详细讨论了ＬＭ算法，它是梯度下降法与高斯牛顿法的结合，既有高斯牛顿法的局部收敛性，又有梯度下降法的全局特性。μ很大时，ＬＭ算法近似于梯度下降法；μ为零时，则是高斯牛顿法。由于利用了近似的二阶导数信息，ＬＭ算法比梯度法快得多。就训练次数及准确度而言，ＬＭ算法明显优于共轭梯度法和变学习率的ＢＰ算法。由于主矩阵的正定性，解总是存在的，从这种意义上说，ＬＭ算法优于高斯牛顿法     

时变最优化信息处理技术及其应用(Ⅱ)——前馈神经网络学习算法

多层前馈神经网络应用成功的关键之一在于寻找一种有效的学习方法。尤其是在线应用,其学习和效率显著极为重要。而且前应用最广泛的ＢＰ算法却存在收敛慢和振荡等缺点。     

半监督学习研究进展

半监督学习问题广泛存在于现实世界中,已经成为目前机器学习和模式识别领域中的一个研究热点.文章综述了半监督学习问题的基本思想、研究现状、常用算法及其一些应用领域,分析了目前存在的主要困难,并指出需进一步研究的几个问题.     

基于辅助模态监督训练的情绪识别神经网络

为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络。首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能。结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6%的加权准确率和81.3%的不加权准确率。研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据。     

基于agent的神经网络训练模式

利用智能体的思想，设计多个ａｇｅｎｔ进行了多层前馈神经网络的协作训练，它可以克服只用遗传算法训练神经网络时的低效率或只用ＢＰ算法进行神经网络训练时容易隐入局部极小点等的缺陷。对比试验结果表明，这种新的训练形式不仅能够提高收敛速度，避免局部最小点，而且可以利用专家知识进行训练优化，提高系统的通用性。     

中长跑训练中身体机能监督与训练恢复的探讨

中长跑训练中的机能监督与训练恢复在训练中是不可缺少的重要环节。然而在运动训练实践中,对运动员实施的机能监督与训练恢复,总是受各种因素的影响。为了对中长跑运动员在训练中的机能监督与训练恢复有一个较客观的认识,本文通过学习理论方法,以我训练的运动员为研究对象,对他们的机能监督与训练恢复进行较全面的分析。总结经验教训,为我们今后训练提供一些可靠依据。     

基于神经网络的无监督自学习控制系统

所论系统的控制由两个神经网络完成,即对象放识器和系统控制器。并且提出了一种 新的学习算法,它能利用存贮于辨识网络的信息改进控制策略。该控制系统可以对非线性系统,不确定系统等进行无监督的学习控制。     

融合门控机制的远程监督关系抽取方法

提出一种融合门控机制的远程监督关系抽取方法。首先在词级别上自动选择正相关特征, 过滤与关系标签无关的词级别噪声; 然后在门控机制内引入软标签的思想, 弱化硬标签对噪声过滤的影响; 最后结合句子级别的噪声过滤, 提升模型的整体性能。在公开数据集上的实验结果表明, 相对于句子级别噪声过滤方法, 所提方法的性能有显著提高。     

基于混沌和遗传算法的神经网络训练算法与研究

根据神经网络(NN)的特点，利用Logistic混沌映射和特定的适应度函数，在限制近亲数量在种群库中所占比例的前提下，及时吸收新的随机个体，提出了基于混沌和遗传算法的神经网络训练算法．根据该算法写出了MATLAB程序文件main．m，给出了应用实例，还研究了混沌参数与训练误差的关系，提出了混沌参数的调整步骤及应用。     

基于Dignet无监督学习聚类算法的智能火灾探测

介绍了一种基于Dignet ANN无监督学习聚类算法和自适应模糊控制算法的智能火灾探测算法模型.详细阐述了算法模型的思想和实现,给出了环境模式阈值自适应的方法和简单的多类型火灾探测器探测数据融合的方法,较好地解决了环境阈值的自适应问题.在实验室条件下利用欧洲标准火对算法进行了检测,结果表明该智能算法可以有效地对火灾进行探测.     

中长跑训练中大学生运动员身体机能的监督与恢复

中长跑属于体能类项目,对运动员的体能要求比较高.因此,体育教练要高度重视运动员的恢复训练.本文主要从中长跑运动员的身体机能监督以及训练恢复方法进行探讨.     

气候层次理论及其应用(Ⅱ)——气候突变

本文首先用超熵产生作为判据,讨论了北半球气温的突变情况。其结果,与记录相符.而后,在气候层次理论和非线性动力理论的基础上,我们提出了气候突变的三种机制;跃迁突变、“贯穿”突变和转换突变。     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于ENCODER_ATT机制的远程监督关系抽取

在信息抽取中,关系抽取是一项准确识别自然语言中实体间关系的关键技术。针对关系抽取模型中容易丢失关键语义特征问题及远程监督的基本假设容易引入噪声数据的问题,本文提出一种基于远程监督的ENCODER_ATT关系抽取模型。基于循环神经网络构造的ENCODER模型在以词级别进行特征记忆提取,并在句子层面进行语义特征信息整合,保证不遗失关键语义特征的同时去除冗余特征。然后在句子层面引入了注意力机制来降低噪声数据对实验结果的影响。在真实的数据集上进行实验,并绘制准确率-召回率曲线,实验结果表明ENCODER_ATT模型对比同类型的关系抽取方法有明显的提升。     

基于自训练的半监督SQL注入检测算法

针对基于监督学习的SQL注入检测方法在某些场景下不适用的问题,本文提出一种基于自训练的半监督SQL注入检测方法(self-training based semi-supervised SQL inj ection detection,S4ID).S4ID首先对SQL语句进行特征提取,包括基于语法树的模式提取和基于词袋模...     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。     

基于深度CNN的改进弱监督学习方法设计与验证

针对包含目标、尺度和平移变化较强的空间信息难以获取大量训练样本的问题,提出一种基于深度卷积神经网络(deep convolutional neural network,DCCN)的弱监督学习方法,从3个层面对当前卷积神经网络进行扩展。为了提取分辨率更高的局部特征,同时考虑到全卷积网络(full convolution network,FCN)在全监督式学习下的高效性能,使用FCN作为后端模块;为了获取更多的通用特征,增加一个多映射弱监督学习的传输层,对与补充性类模态相关的多个局部特征进行显式学习;为了优化训练过程,改进了池化层,使用全局图像标签进行训练,将空间得分聚合为全局预测。使用图像分类、弱监督逐点目标定位和图像分割3种常用的机器视觉任务进行评估。多个公开数据库的实验结果表明,所提方法能够有效地学习强局部特征,具有良好的分类和定位效果。     

构建网络监督审判权的应对机制

网络监督审判权的存在是一种历史发展的必然,但存在着一些明显的弊端,应当正面引导,并积极应对,才能达到司法活动的人民性和法律性的统一。本文直接从正面效应的应对、负面影响的应对以及积极避免负面影响的产生等三方面说明如何构建网络监督审判权的应对模式,     

基于分层遗传算法的BP神经网络学习算法

针对BP算法局部搜索能力强,而分层遗传算法全局搜索优势突出的特点,结合二者优势构造了一种分层遗传算法与BP算法相结合的前馈神经网络学习算法．将分层遗传算法引入到前馈神经网络权值和阈值的早期训练中,再用BP算法对前期训练所得性能较优的网络权值、阈值进行二次训练得到最终结果．仿真结果表明,该混合学习算法能够较快地收敛到全局最优解,优于BP算法、分层遗传算法,具有一定的实用价值．