一种基于伪标签的半监督少样本学习模型

如何将带有大量标记数据的源域知识模型迁移至带有少量标记数据的目标域是少样本学习研究领域的热点问题.针对现有的少样本学习算法在源域数据与目标域数据的特征分布差异较大时存在的泛化能力较弱的问题,提出一种基于伪标签的半监督少样本学习模型FSLSS（Few-Shot Learning based on Semi-Supervised）.首先,利用pytorch深度学习框架建立一个关系型深度学习网络,并使用源域数据对网络进行预训练;然后,使用此网络对目标域数据进行分类预测,将分类概率最大的类标签作为数据的伪标签;最后,利用目标域的伪标签数据和源域的真实标签数据对网络进行混合训练,并重复伪标签标记与混合训练过程.实验结果表明,相对于现有主流少样本学习算法,FSLSS模型有更好的泛化能力及知识迁移效果.     

基于自组织增量-图卷积神经网络的金相图半监督学习

采用深度学习对钢铁材料显微组织图像分类,需要大量带标注信息的训练集.针对训练集人工标注效率低下问题,该文提出一种新的融合自组织增量神经网络和图卷积神经网络的半监督学习方法.首先,采用迁移学习获取图像数据样本的特征向量集合;其次,通过引入连接权重策略的自组织增量神经网络(WSOINN)对特征数据进行学习,获得其拓扑图结构,并引入胜利次数进行少量人工节点标注;然后,搭建图卷积网络(GCN)挖掘图中节点的潜在联系,利用Dropout手段提高网络的泛化能力,对剩余节点进行自动标注进而获得所有金相图的分类结果.针对从某国家重点实验室收集到的金相图数据,比较了在不同人工标注比例下的自动分类精度,结果表明:在图片标注量仅为传统模型12％时,新模型的分类准确度可达到91％.     

基于自组织增量-图卷积神经网络的金相图半监督学习

采用深度学习对钢铁材料显微组织图像分类,需要大量带标注信息的训练集。针对训练集人工标注效率低下问题,该文提出一种新的融合自组织增量神经网络和图卷积神经网络的半监督学习方法。首先,采用迁移学习获取图像数据样本的特征向量集合;其次,通过引入连接权重策略的自组织增量神经网络(WSOINN)对特征数据进行学习,获得其拓扑图结构,并引入胜利次数进行少量人工节点标注;然后,搭建图卷积网络(GCN)挖掘图中节点的潜在联系,利用Dropout手段提高网络的泛化能力,对剩余节点进行自动标注进而获得所有金相图的分类结果。针对从某国家重点实验室收集到的金相图数据,比较了在不同人工标注比例下的自动分类精度,结果表明：在图片标注量仅为传统模型12%时,新模型的分类准确度可达到91%。     

基于半监督的SVM迁移学习文本分类算法

随着互联网的快速发展,文本信息量巨大,大规模的文本处理已经成为一个挑战。文本处理的一个重要技术便是分类,基于SVM的传统文本分类算法已经无法满足快速的文本增长分类。于是如何利用过时的历史文本数据(源任务数据)进行迁移来帮助新产生文本数据进行分类显得异常重要。文章提出了基于半监督的SVM迁移学习算法(Semi-supervised TL_SVM)来对文本进行分类。首先,在半监督SVM的模型中引入迁移学习,构建分类模型。其次,采用交互迭代的方法对目标方程求解,最终得到面向目标领域的分类器。实验验证了基于半监督的SVM迁移学习分类器具有比传统分类器更高的精确度。     

一种基于自监督学习的人脸美丽预测方法

人脸美丽预测是研究如何让计算机判断人脸美丽的前沿课题,随着深度学习的不断进展,已经取得了一定效果。然而,基于深度学习的人脸美丽预测需要大量的训练数据和昂贵的人脸美丽标注。因此,如何在少样本条件下取得较好效果,仍有待深入研究。自监督学习可在上游任务中利用无标注数据来学习较好的特征,从而能在下游任务中降低对标注数据的依赖。为此,本文将自监督学习应用于人脸美丽预测,采用批次内对象识别和多视图特征聚类。其中,批次内对象识别通过给每批次不同样本分配独立的伪标签来学习特征,使得网络有区分每个样本对象的能力。多视图特征聚类首先将人脸图像进行多次数据增强;再经过编码器,得到人脸属性特征;最后通过自监督约束使人脸属性特征聚合在一起。基于大规模亚洲人脸美丽数据库（Large Scale Asia Facial Beauty Database, LSAFBD）和SCUT-FBP5500数据库的实验结果表明,本文所提方法降低了模型对有标注数据的依赖,提高了预测准确率,在少样本条件下优于以Resnet18为基线的有监督学习方法,准确率高于常规自监督学习方法,可广泛应用于目标检测和图像分类等领域。     

一种新型的动态递归-直觉模糊神经网络及其学习算法

通过对直觉模糊集理论和动态递归神经网络理论的研究,提出了一种新型的动态递归-直觉模糊神经网络,并根据动态递归-直觉模糊神经网络的数学模型推导其改进的动态反向传播学习算法.     

一种优化的卷积神经网络深度学习算法

为了提高卷积神经网络的识别精度,提出网络权值优化操作。构建SOM网络对样本进行预学习,从而自组织地挖掘样本的本质分布,并且计算网络的学习精度,将最优学习结果的神经元用于初始化卷积神经网络;而后对卷积神经网络总体权值进行迭代,记录最佳模型作为识别网络,实验结果表明优化后的卷积神经网络识别精度得到了提高。     

一种动态筛选样本的前向神经网络快速学习算法

从理论上讨论了一类隐含层激励函数满足Mercer条件的前向神经网络学习问题,分析了提高网络学习速度的途径,提出了一种动态筛选样本的前向神经网络快速学习算法。它大大提高了网络学习速度,克服了传统的基于梯度下降的网络学习方法存在的诸多弊端。算法还具有动态确定隐含层神经元数的自构性优点。文中通过具体数值试验验证了上述算法的可行性和优越性。     

一种自组织结构的神经网络模式分类器

本文研究了一种自组织结构的神经网络模式分类器．它由一个多层网络和一个自组织机构组成．通过对训练样本的聚类分析，它能有效地构造和训练网络，并能在学习过程中自适应地调节网络结构．它具有收敛速度快，能避免局部极值点和应用方便等显著优点．计算机模拟实验证实了其优越性．     

一种自组织模糊神经网络控制器的研究

采用自组织模糊神经网络充分融合模糊控制和神经网络控制的优点,应用于电力变换器的潮流控制中,通过仿真对比,实验表明它具有自组织和在线学习能力以及设计上不依赖被控制对象数学模型的特点,具有很好的追踪控制能力和鲁棒性,达到了较好控制效果.     

基于自组织映射神经网络的VANET组网算法

研究了应用于汽车辅助驾驶、无人驾驶等智能交通领域的车辆组网方法,提出一种将自组织映射神经网络算法应用于车辆自组织网络进行车辆组网的算法,该算法根据车辆定时发出的消息中位置、行驶方向等信息对车辆按目的地、行驶方向的相似性进行组网,组网后的车辆主要接收并处理与之在同一个网络中的车辆的信息。理论分析和仿真结果表明,组网后的系统传输时延远低于未组网通信情况,吞吐量有显著提高。     

一种新的基于混沌神经网络的动态路由选择算法

针对通信网的路由选择问题,提出了一种动态路由选择的混沌神经网络实现方法。所提出的此方法具有许多优良特性,即暂态混沌特性和平稳收敛特性,能有效地避免传统Hopfield神经网络极易陷入局部极值的缺陷。它通过短暂的倒分叉过程,能很快进入稳定收敛状态。实验证明了本算法能实时、有效地实现通信网的路由选择,并且当通信网中的业务量发生变化时,算法能自动调整最短路径和负载平衡之间的关系。     

基于半监督卷积神经网络的心律不齐分类

心律不齐早期的检测和分类有十分重要的价值.然而,由于心律不齐特征不够明显、不同人体心电信号存在较大的差异性等问题,心律不齐分类技术在现实中的应用存在很大困难.针对上述问题,提出了一种基于半监督卷积神经网络的心律不齐分类方法.首先,对心电信号进行马尔可夫变迁场变换将其变为二维图像;然后,迁移二维卷积神经网络训练得到普通模型;最后,使用半监督训练的方法得到特定模型,使用得到的特定模型对特定病人的心电信号进行分类.该方法从二维图像中提取更高层次的特征来提高分类性能,并有效地克服不同人体心电信号之间的差异性,增强了模型的泛化能力.遵循美国医疗器械促进协会标准,使用麻省理工学院和波士顿贝丝以色列医院心律不齐数据库中的数据,完成了心律不齐五分类,总准确率达到了97.9％,提升了心律不齐分类技术的现实应用价值.     

基于深度学习和半监督学习的入侵检测算法

深度学习是一种具有自动学习能力的智能算法,通过自我学习到的经验而动态地提升分类的能力。深度学习的思想与入侵检测中通过学习而提高检测率和降低误报率的思想是相同的。对于入侵检测准确率不高的情况,提出了一种基于深度学习和半监督学习的入侵检测方法,该方法使用深度学习对特征提取和后验概率对未标记数据进行分类,提高了分类性能。使用KDD CUP99数据集对算法准确性进行了验证,实验结果验证该方法能够有效改善入侵检测系统性能。     

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。      

一种基于自组织神经网络的语音识别系统

建立了一种基于自组织神经网络的语音识别系统。对语音信号进行了预处理,提取了语音信号的线性预测系数、线性预测倒谱系数和Mel倒谱特征系数,建立了基于自组织神经网络的识别判决模型。深入分析和改进了自组织神经网络的分类聚类能力,通过加强训练和设定阈值函数的方法,有效地确定了边界神经元的归属,划分出了合理的输出模式类。验证了自组织神经网络适合于处理孤立词语音识别,并具有快速性和结构简单等特征。MATLAB仿真实验表明,语音识别率达到96%。     

基于半监督联合神经网络的调制识别算法

针对基于有监督学习通信信号分类算法需要大量有标签训练样本,而在实际场合大多无法满足数量要求的问题,提出利用数据驱动模型的半监督学习方法,通过对比预测编码无监督算法预训练和有监督学习相结合,利用LSTM (long short term memory)和ResNet (residual network)联合神经网络实现小样本自动提取特征,提高小样本条件下信号识别准确率。在真实通信调制信号集上实验表明,半监督联合神经网络结构较以往方法,识别准确率提升3%～20%,小样本条件下性能提高60%,同时在低信噪比条件下识别能力突出,0 dB时对11种调制信号平均识别正确率达到92%,具有明显优势。     

布尔神经网络的一种高效率学习算法

把二进神经网络学习算法推广至一般情形,利用汉明球及立方体的空间覆盖生成隐层神经元并对空间集合的相交、汉明球与低维空间的笛卡尔积在神经网络中的表现形式进行了深入探讨,得出几个旨在提高学习效率和减少布尔函数实现复杂性的有用结论,并融合形成完整的学习算法。     

一种基于AP算法的半监督聚类方法

雷达信号分选识别是电子支援和电子情报系统的重要组成部分.针对信号分选遇到的难题,提出一种半监督聚类架构,在待测样本中加入一些基于先验信息和聚类期望准则构建的“卧底”样本,通过观测“卧底”样本在AP算法中的聚类效果反馈,调整算法参数优化“卧底”样本聚类效果,从而间接地使待测样本的聚类效果达到优化.分析和仿真结果表明,该半监督方法具有较好的聚类效果,在电子侦察领域具有良好的工程可实现性,对其他聚类算法和应用领域也具有推广意义.