基于transformer自适应特征向量融合的图像分类

针对目前基于transformer的图像分类模型直接应用在小数据集上性能较差的问题,本文提出了transformer自适应特征向量融合网络,该网络在特征提取器中将不同阶段的特征进行融合,减少特征信息丢失的同时获得更多不同感受野下的信息,同时利用最大池化来去除特征中的冗余信息,从而使提取的特征更具有判别性。此外,为了充分利用图像的各级特征信息来进行分类预测,本文将网络各阶段产生的特征向量进行融合,使融合后的特征向量更具有表征能力,从而减少网络对大数据集的依赖,使网络在小数据集中也能获得很好的性能。实验表明,本文提出的 算法在数据集Mini-ImageNet-100、CIFAR-100和ImageNet-1k上的TOP-1准确率分别达到了74.22%、85.86%和81.4%。在没有增加计算量的情况下,在baseline上分别提高了6.0%、3.0%和0.1%,且参数量减少了18.3%。本文代码开源在“https://github.com/xhutongxue/afvf”。     

跨模态身份不一致的交叉分类素描行人重识别

素描行人重识别旨在从可见光行人图像库中查找与给定素描行人图像身份相同的图像。虽然已经有较多的跨模态检索算法可以应用于该类问题，但这些算法的背景设定较为单一，没有考虑到训练集中部分身份的行人仅有一个模态样本，即跨模态身份不一致，这极大限制了算法在实际场景下的应用。为此，提出了基于交叉分类的素描行人重识别网络。该网络包括交叉分类和基于距离的身份信息对齐两部分。其中，交叉分类利用单一模态数据训练的分类器引导编码器从另一模态提取到模态不变的信息。而基于距离的身份信息对齐能够将同身份不同模态间的特征距离减小，同时抑制跨模态身份不一致的影响，进而强化了特征的判别性和鲁棒性。为验证跨模态身份不一致时模型的性能表现，基于Matket-1501数据集生成了新的素描行人重识别数据集S-Market1501，并在该数据集上将Rank-1指标提升了11.0个百分点。同时模型在公开数据集Sketch Re-ID上Rank-1指标达到了60%，所设计的数据集将开源在“https：//github. com/huangdaichui/Sketch＿dataset”。