一种基于伪标签的半监督少样本学习模型

如何将带有大量标记数据的源域知识模型迁移至带有少量标记数据的目标域是少样本学习研究领域的热点问题.针对现有的少样本学习算法在源域数据与目标域数据的特征分布差异较大时存在的泛化能力较弱的问题,提出一种基于伪标签的半监督少样本学习模型FSLSS（Few-Shot Learning based on Semi-Supervised）.首先,利用pytorch深度学习框架建立一个关系型深度学习网络,并使用源域数据对网络进行预训练;然后,使用此网络对目标域数据进行分类预测,将分类概率最大的类标签作为数据的伪标签;最后,利用目标域的伪标签数据和源域的真实标签数据对网络进行混合训练,并重复伪标签标记与混合训练过程.实验结果表明,相对于现有主流少样本学习算法,FSLSS模型有更好的泛化能力及知识迁移效果.     

基于信号子空间的广义回归神经网络频率估计

对淹没在噪声中的载波信号的频率估计可以通过对信号协相关矩阵求取特征向量,分离出信号子空间和噪声子空间,并可基于信号子空间找到与之线性相关,或者基于噪声子空间找到与之正交的载波信号。但要使这两个子空间的矢量函数在某个频率点上得到波峰,仅仅利用噪声子空间的算法,如MUSIC往往需要对一段较大频率范围的频域进行细致搜索,既耗费了大量的时间又会因为搜索步长的选取而造成对识别精度的影响。本文提出一种基于信号子空间的广义回归神经网络频率估计算法,利用广义回归神经网络其极强的非线型拟合和并行计算特性在信号子空间矢量与频率点之间建立良好的非线型映射关系,以达不失估计精度而又提高估计速度的目的。     

基于伪标签置信选择的半监督医疗事件抽取

医疗事件抽取是构建医疗知识图谱的重要基础.针对医疗领域有标签数据匮乏的问题,构建基于Transformer编码器、BiLSTM和注意力机制的医疗事件联合抽取模型,并提出一种用于选择高置信度数据的伪标签置信选择算法.首先,训练医疗事件联合抽取模型对无标签数据进行预测产生伪标签数据;然后,通过计算伪标签一致概率P来选择高置...     

自监督学习子空间模式识别方法的统计特性分析

本文研究了神经网络无导师自监督学习子空间模式识别方法的收敛性问题，证明了学习子空间法的变换矩阵收敛于模式的自相关矩阵估计；证明了一类Ｋｏｈｏｎｅｎ自监督学习子空间方法的收敛性；给出了子空间旋转变化所引起的子空间特征谱分布的近似表达式，同时给出了子空间扰动的上界定理。     

稀疏特征空间嵌入正则化：鲁棒的半监督学习框架

在机器学习领域,半监督学习作为一种有力工具吸引了越来越多的关注,其利用少量带标签数据和大量无标签数据进行有效学习,其中基于图的半监督学习方法因其优雅的数学形式和良好的学习性能而引起更广泛的研究。针对现有基于图的半监督学习方法所存在的模型参数敏感和数据判别信息不充分等问题,提出一种稀疏特征空间嵌入正则化（Sparse Feature Space embedding Regularization ,SFSR ）半监督学习框架,其主要思想为：首先分别将原始数据嵌入到线性特征空间,然后利用特征空间嵌入投影点集来稀疏重构原始数据,随后在由原始数据线性张成的标签空间通过保留这种稀疏表示关系来构建一个Laplacian正则化项,或称SFSR ,最后提出一个鲁棒的基于SFSR的半监督学习框架,在几个实际基准数据库上的综合实验结果证实了所提框架的鲁棒有效性。     

基于低秩表示的鲁棒判别特征子空间学习模型

特征子空间学习是图像识别及分类任务的关键技术之一,传统的特征子空间学习模型面临两个主要的问题。一方面是如何使样本在投影到特征空间后有效地保持其局部结构和判别性。另一方面是当样本含噪时传统学习模型所发生的失效问题。针对上述两个问题,该文提出一种基于低秩表示(LRR)的判别特征子空间学习模型,该模型的主要贡献包括：通过低秩表示探究样本的局部结构,并利用表示系数作为样本在投影空间的相似性约束,使投影子空间能够更好地保持样本的局部近邻关系;为提高模型的抗噪能力,构造了一种利用低秩重构样本的判别特征学习约束项,同时增强模型的判别性和鲁棒性;设计了一种基于交替优化技术的迭代数值求解方案来保证算法的收敛性。该文在多个视觉数据集上进行分类任务的对比实验,实验结果表明所提算法在分类准确度和鲁棒性方面均优于传统特征学习方法。

     

基于无监督学习网络模型的PET影像伪影校正

核医学领域PET/CT可以为胸腹部的肿瘤诊断提供影像支持。但由于患者在扫描过程中不自主的呼吸运动,会造成呼吸运动伪影。为了提高PET图像质量,文中提出了一种无监督的图像配准校正框架,该方法中通过三维卷积神经网络(3D-CNN)预测图像的配准域,再由空间变换网络(STN)对图像进行扭曲变换,实现对PET图像的伪影校正。实验结果表明,在仿真的PET几何体模和像素体模数据集上分别取得了82.12%和83.76%的相似性Dice值,证明了该方法的有效性。     

基于随机子空间的半监督协同训练算法

 半监督学习是近年来的一个研究热点.协同训练(co-training)是利用未标记数据来提高传统监督学习性能的一种半监督学习范式.本文提出一种基于随机子空间的协同训练算法(RAndom Subspace CO-training,简称为RAS-CO).该算法探讨多视图的协同训练.用随机判别的理论分析了算法的分类精度和泛化能力.讨论了随机子空间的维数和个数对分类性能的影响.在UCI数据集上的实验结果表明,与其它同类算法相比,RASCO算法有较好的性能.     

基于结构保持的MR图像运动伪影快速抑制方法

目前核磁共振图像运动伪影的校正方法普遍是基于K空间数据的方法,本文提出一种直接对核磁共振图像进行伪影校正的后处理方法.基于非局部均值总变差去噪的思想设计构造了结构保持的运动伪影校正模型,该模型由非局部均值正则项和块相似保真项构成,正则项可以有效去除运动伪影和噪声的同时保持图像的结构;将各向异性结构张量作为块相似保真项中的权函数,实现在不同区域有不同的扩散方式,在去除图像运动伪影的同时保留图像的细节信息.模型的数值求解采用分裂Bregman方法实现.本文提出的方法充分考虑了图像的几何结构特性,实验结果表明,该方法能有效去除运动伪影并保留有价值的图像细节信息,同时提高了运算速度.     

Joint Feature Representation and Classifier Learning Based Unsupervised Domain Adaption ELM

In the problem of unsupervised domain adaption Extreme learning machine (ELM), the output layer parameters need to have both classification and domain adaptation functions, which often cannot be simultaneously fully utilized. In addition, traditional matching method based on data probability distribution cannot find the common subspace of source and target domains under large difference between domains. In order to alleviate the pressure of double functions of classifier parameters, the entire ELM learning process is mainly divided into two stages: feature representation and adaptive classifier learning, thus a joint feature representation and classifier learning based unsupervised domain adaption ELM model is proposed. In the feature representation stage, the source and target domain data are projected to their respective subspace while minimizing the difference in probability distribution between the two domains. In the adaptive classifier learning stage, the smooth manifold regularization term of target domain is used to improve the parameter adaptive ability. Experiments on six different types of datasets show that the proposed model has higher cross-domain classification accuracy.     

用于LDA的无监督特征选择(英文)

As a generative model,Latent Dirichlet Allocation Model,which lacks optimization of topics' discrimination capability focuses on how to generate data,This paper aims to improve the discrimination capability through unsupervised feature selection.Theoretical analysis shows that the discrimination capability of a topic is limited by the discrimination capability of its representative words.The discrimination capability of a word is approximated by the Information Gain of the word for topics,which is used to d...     

深层融合度量子空间学习稀疏特征提取算法

特征提取作为模式识别中的重要步骤,一直是图像处理研究的重点,逐渐兴起的深度学习理论,作为一种新的深层特征提取模型,越来越受到广大学者的关注。本文提出一种基于深层融合度量学习的稀疏特征提取算法,在深度学习的框架内,构建度量映射矩阵,对图像进行分层映射,最大化保留样本集类间区分信息,并且通过稀疏迭代来保证特征提取结果的稀疏性。首先构建图像集距离度量函数,然后通过求解最大化类间距离来确定最优度量映射矩阵,同时对特征映射结果进行 范数稀疏迭代,提高噪声鲁棒性。然后对这个基本特征提取单元进行深度化改造,在第二层中进行同样的度量学习操作,最终通过多层融合提取得到分层深度稀疏特征。相对于已有子空间方法,本文在特征映射过程中引入度量自学习机制,并着重对各个特征映射层进行视觉合理性稀疏约束,融合多层特征语义描述生成最终特征提取结果。在FERET、AR、Yale等经典人脸数据库以及MNIST、CIFAR-10等目标数据库上的实验结果表明,该算法可以取得较高的识别率以及较好的光照、表情、人脸朝向鲁棒性,并且相对于卷积神经网络等深度学习框架具有结构简洁、收敛速度快等优点。      

Generating Ensemble of Classifiers through Unsupervised Feature Selection

In this paper we propose a strategy to create ensemble of classifiers based on unsupervised features selection. It takes into account a hierarchical multi-objective genetic algorithm that generates a set of classifiers by performing feature selection and then combines them to provide a set of powerful ensembles. The proposed method is evaluated in the context of handwritten month word recognition, using three different feature sets and Hidden Markov Models as classifiers. Comprehensive experiments demonstrate the effectiveness of the proposed strategy.     

YUV空间中基于稀疏自动编码器的无监督特征学习

现有无监督特征学习算法通常在RGB色彩空间进行特征提取,而图像和视频压缩编码标准则广泛采用YUV色彩空间。为了利用人类视觉特性和避免色彩空间转换所消耗的计算量,该文提出一种基于稀疏自动编码器在YUV色彩空间进行无监督特征学习的方法。首先在YUV空间随机采集图像子块并进行白化处理,然后利用稀疏自动编码器进行无监督局部特征学习。在预处理阶段,针对YUV空间亮度和色度通道相互独立的特性,提出一种将亮度和色度进行分离的白化措施。最后用学习到的局部特征在大尺寸图像上进行卷积操作从而获得全局特征,并送入图像分类系统进行性能测试。实验结果表明：只要对亮度分量进行适当的白化处理,在YUV空间中的无监督特征学习就能够获得相当于甚至优于RGB空间的彩色图像分类性能。     

基于组合子空间的最优特征抽取及人脸识别

传统的线性鉴别分析存在两个缺陷:小样本问题和至多只能抽取c。1个最优鉴别向量,本文提出了一种新的、有效的基于线性鉴别分析的组合子空间最优特征抽取方法。该方法解决了人脸等图像识别任务普遍存在的小样本问题,并且能够抽取更多的有效鉴别特征。在OR[。标准人脸库上的试验表明,组合子空间鉴别法所抽取的特征在普通的最小距离分类器和最近邻分类器下均达到97％的正确识别率,而且识别结果十分稳定。该结果大大优于经典的特征脸和。Fishel'脸方法在ORI_。人脸库上的识别结果。     

Iterative Subspace Analysis Based on Feature Line Distance

Nearest feature line-based subspace analysis is first proposed in this paper. Compared with conventional methods, the newly proposed one brings better generalization performance and incremental analysis. The projection point and feature line distance are expressed as a function of a subspace, which is obtained by minimizing the mean square feature line distance. Moreover, by adopting stochastic approximation rule to minimize the objective function in a gradient manner, the new method can be performed in an incremental mode, which makes it working well upon future data. Experimental results on the FERET face database and the UCI satellite image database demonstrate the effectiveness.      

基于特征解耦的无监督水下图像增强

水介质的吸收和散射特性致使水下图像存在不同类型的失真,严重影响后续处理的准确性和有效性。目前有监督学习的水下图像增强方法依靠合成的水下配对图像集进行训练,然而由于合成的数据可能无法准确地模拟水下成像的基本物理机制,所以监督学习的方法很难应用于实际的应用场景。该文提出一种基于特征解耦的无监督水下图像增强方法,一方面,考虑获取同一场景下的清晰-非清晰配对数据集难度大且成本高,提出采用循环生成对抗网络将水下图像增强问题转换成风格迁移问题,实现无监督学习;另一方面,结合特征解耦方法分别提取图像的风格特征和结构特征,保证增强前后图像的结构一致性。实验结果表明,该方法可以在非配对数据训练的情况下,能够有效恢复水下图像的颜色和纹理细节。