基于集成卷积神经网络的遥感影像场景分类

提出了一种基于集成卷积神经网络(CNN)的遥感影像场景分类算法。通过构建反向传播网络实现了场景图像的复杂度度量;根据图像的复杂度级别,选择CNN对图像进行分类,完成了遥感影像的场景分类。使用所提出的算法对NWPU-RESISC45公开数据集进行了实验验证,取得了89.33%(第一类实验)和92.53%(第二类实验)的分类准确率,平均运行时间为0.41 s。相比于精调训练的VGG-16模型,所提算法的分类准确率分别提升了2.19%和2.17%,预测速率提升了33%,证明了其有效性和实用性。     

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.     

基于卷积神经网络的恒星光谱自动分类方法

恒星光谱自动分类是研究恒星光谱的基础内容,快速、准确自动识别、分类恒星光谱可提高搜寻特殊天体速度,对天文学研究有重大意义。目前我国大型巡天项目LAMOST每年发布数百万条光谱数据,对海量恒星光谱进行快速、准确自动识别与分类研究已成为天文学大数据分析与处理领域的研究热点之一。针对恒星光谱自动分类问题,提出一种基于卷积神经网络(CNN)的K和F型恒星光谱分类方法,并与支持向量机(SVM)、误差反向传播算法(BP)对比,采用交叉验证方法验证分类器性能。与传统方法相比CNN具有权值共享,减少模型学习参数;可直接对训练数据自动进行特征提取等优点。实验采用Tensorflow深度学习框架,Python3.5编程环境。K和F恒星光谱数据集采用国家天文台提供的LAMOST DR3数据。截取每条光谱波长范围为3 500~7 500 部分,对光谱均匀采样生成数据集样本,采用min-max归一化方法对数据集样本进行归一化处理。CNN结构包括：输入层,卷积层C1,池化层S1,卷积层C2,池化层S2,卷积层C3,池化层S3,全连接层,输出层。输入层为一批K和F型恒星光谱相同的3 700个波长点处流量值。C1层设有10个大小为1×3步长为1的卷积核。S1层采用最大池化方法,采样窗口大小为1×2,无重叠采样,生成10张特征图,与C1层特征图数量相同,大小为C1层特征图的二分之一。C2层设有20个大小为1×2步长为1的卷积核,输出20张特征图。S2层对C2层20张特征图下采样输出20张特征图。C3层设有30个大小为1×3步长为1的卷积核,输出30张特征图。S3层对C3层30张特征图下采样输出30张特征图。全连接层神经元个数设置为50,每个神经元都与S3层的所有神经元连接。输出层神经元个数设置为2,输出分类结果。卷积层激活函数采用ReLU函数,输出层激活函数采用softmax函数。对比算法SVM类型为C-SVC,核函数采用径向基函数,BP算法设有3个隐藏层,每个隐藏层设有20,40和20个神经元。数据集分为训练数据和测试数据,将训练数据的40%,60%,80%和100%作为5个训练集,测试数据作为测试集。分别将5个训练集放入模型中训练,共迭代8 000次,每次训练好的模型用测试集进行验证。对比实验采用100%的训练数据作为训练集,测试数据作为测试集。采用精确率、召回率、F-score、准确率四个评价指标评价模型性能,对实验结果进行详细分析。分析结果表明CNN算法可对K和F型恒星光谱快速自动分类和筛选,训练集数据量越大,模型泛化能力越强,分类准确率越高。对比实验结果表明采用CNN算法对K和F型恒星光谱自动分类较传统机器学习SVM和BP算法自动分类准确率更高。     

一种基于GAN和自适应迁移学习的样本生成方法

研究了基于生成式对抗网络(GAN)和跨域自适应迁移学习的样本生成和自动标注方法。该方法利用自适应迁移学习网络,基于已有的少量可见光图像样本集,挖掘目标在红外和可见光图像中特征内在相关性,构建自适应的转换迁移学习网络模型,生成标注好的目标图像。提出的方法解决了红外图像样本数量少且标注费时的问题,为后续多频段协同目标检测和识别获得了足够的样本数据。实验结果表明:自动标注算法对实际采集的装甲目标图像和生成的装甲目标图像各1 000张进行自动标注测试,对实际装甲目标图像的标注准确率达到95%以上,对生成的装甲目标标注准确率达到83%以上;利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。     

基于加权特征融合的多尺度遥感影像分类

针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征,会丢失部分细节信息,且对小样本任务表现一般的问题,本文提出了一种三支路的3D CNN,从不同尺度上提取特征后进行加权特征融合,从而获取了更为全面的特征;并引入数据增强技术,从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接,本文采用加权拼接的特征融合方法,将各特征分别乘以一个加权系数后再进行拼接,该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练,分别得到了98.60%、99.83%、99.97%的总体准确率,与各类对比方法相比,提升了高光谱遥感影像分类问题的准确率。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

融合数据增强与改进ResNet34的奶牛热红外图像乳腺炎检测

乳腺炎是奶牛生产养殖中最为严重的疾病之一,奶牛乳腺炎的早期检测可以为后续治疗提供依据,从而提高疾病治疗效率,降低养殖风险。为了对自然行走的奶牛实现快速、高精度的“一步式”乳腺炎疾病检测,提出了一种基于热红外图像,融合数据增强与改进ResNet34的奶牛乳腺炎疾病检测方法。相对于现有的“多步式”奶牛红外图像乳腺炎检测方法,该方法无需奶牛关键部分如乳房和眼睛的定位以及温度提取等,可有效避免“多步式”造成的误差累计,从而实现更高效的乳腺炎检测。首先,将包含奶牛关键部位的局部图片水平拼接成信息完整的整体图片,结合RandAugment数据增强方法扩增训练样本;其次,采用ResNet34残差网络作为实验的基础网络,并根据热红外图像特性对模型进行如下改进：（1）精简网络内部冗余层使得模型更轻量化;（2）中间层添加辅助分类器弥补由于模型精简带来的特征损失;（3）将改进的多融合池化层代替原有单一池化层,使得特征提取内容更丰富。随机选取3 298张热红外图像（66头奶牛）作为实验对象,并设置多组对比实验,结果表明: 与传统ResNet34相比改进后ResNet34模型分类准确率提高3.4%,基于改进ResNet34并融合迁移学习和数据增强的模型验证准确率达到90.3%,测试准确率为88.4%,分类时间仅需3.39×10-3 s。为了保证实验数据集的样本独立性,进一步将奶牛个体数量按照3∶1∶1划分为训练集、验证集和测试集,测得模型测试准确率达到80.3%,证明所提出模型具有很好的鲁棒性。根据测试结果,计算出模型查准率为91.2%、查全率为91.6%、F1分数为91.4%,与前人所做实验相比准确率提高了5.1%,特异度提升5.3%。该研究方法可以为初期奶牛乳腺疾病筛选和医学诊断提供辅助和参考。     

基于可见光谱的鱼苗体长估测方法研究

在鱼苗养殖过程中,同一养殖池会出现个体大的鱼苗攻击个体小的鱼苗,个体小的鱼苗会出现伤病甚至死亡,造成经济损失,鱼苗分塘和售卖价格主要与其体长参数相关,因此需要对不同大小的鱼苗进行分离。鱼苗分类主要依赖于不同大小的网筛,费时费力,且容易对鱼苗造成损伤。针对传统人工分离方法效率低下并且缺乏科学指导的问题,本文提出了基于可见光谱的鱼苗体长估测方法研究,能够根据鱼苗图像计算鱼苗长度并进行分类。为了精确无损的获取鱼苗的体长,提出了基于迁移学习ResNet50模型的鱼苗体长估测方法。首先采集在同等高度条件下拍摄的不同长度鱼苗图像,同时手工测量鱼苗的实际长度作为数据集的标签,用四种迁移学习模型AlexNet, VGG16, GoogLeNet, ResNet50对鱼苗体长进行估算,通过验证集准确率,测试集准确率,以及不同方法的运行时间三个指标进行分析, AlexNet模型验证集准确率90.04%,测试集准确率89.82%,运行时间52 min 3 s; VGG16模型验证集准确率91.01%,测试集准确率91.17%,运行时间131 min 37 s; GoogLeNet模型验证集准确率88.02%,测试集准确率88.39%,运行时间45 min 2 s; ResNet50模型验证集准确率91.92%,测试集准确率91.09%,运行时间99 min 17 s;确定方法ResNet50。该模型具有50层的Residual Network架构,用迁移学习的方法将在ImageNet上训练得到的卷积层的参数传递到训练所使用的模型上,并调整softmax层适应本文问题。对来自10种不同长度的6 677个样本的鱼苗数据集上的实验结果表明该方法可以有效地用于鱼苗分类,通过对模型ResNet50的迁移学习的层数,迭代次数,学习率,最小批处理尺寸(Mini Batch Size)进行微调以优化模型。实验结果表明,当迁移学习模型的迁移层数为30,迭代次数为6,学习率为0.001, Mini Batch Size为10时,方法效果达到最优,模型的验证集准确率94.31%,测试集的准确率达到93.93%。该算法与传统的图像处理方法相比估算鱼苗体长准确率提高2%左右。在未来实际生产场景中,可以将该方法嵌套入鱼苗体长分离装置之中,真正的做到将科研落地,投入到实际的生产之中,减少鱼苗损伤,为未来的无人渔场奠定基础。     

八度卷积和双向门控循环单元结合的X光安检图像分类

针对主动视觉安检方法准确率低、速度慢,不适用于实时交通安检的问题,提出了八度卷积(OctConv)和注意力机制双向门控循环单元(GRU)神经网络相结合的X光安检图像分类方法。首先,利用八度卷积代替传统卷积,对输入的特征向量进行高低分频,并降低低频特征的分辨率,在有效提取X光安检图像特征的同时,减少了空间冗余。其次,通过注意力机制双向GRU,动态学习调整特征权重,提高危险品分类准确率。最后,在通用SIXRay数据集上的实验表明,对8 000幅测试样本的整体分类准确率(ACC)、特征曲线下方面积(AUC)、正类分类准确率(PRE)分别为98.73%、91.39%、85.44%,检测时间为36.80 s。相对于目前主流模型,本文方法有效提高了X光安检图像危险品分类的准确率和速度。     

基于卷积神经网络的烟叶近红外光谱分类建模方法研究

卷积神经网络(CNN)在图像分类识别领域应用广泛,但其在近红外光谱分类中的研究还未见报道,对基于CNN的近红外光谱分类建模方法进行了研究。针对近红外光谱数据的特点,提出了一种改进的卷积神经网络建模方法,对CNN经典模型LeNet-5所做改进：①将方形矩阵卷积核改为适用于一维近红外光谱的向量卷积核;②简化网络结构,将LeNet-5结构中C5,F6及输出层改为单层感知机。同时,采用隔点采样的方法对近红外光谱降维,加快收敛速度;并对卷积核尺寸对建模结果的影响进行了研究。以我国东北、黄淮、西南三大烤烟产区的600个中部烟叶样本的近红外光谱为实验对象,建立烟叶产区分类NIR-CNN模型。该模型对训练集和测试集的判别准确率为98.2%和95%。实验结果表明,应用卷积神经网络可对近红外光谱数据准确、可靠地判别分类;烟叶产区NIR-CNN建模方法可为卷烟企业烟叶原料科学合理利用提供指导,为维护卷烟产品的质量稳定有重要意义;基于卷积神经网络的近红外光谱判别方法也可推广到其他农产品的分类应用中。     

水下高分辨率声图中小目标的深度网络分类方法

针对声成像数据缺少条件下的水下沉底小目标分类问题,提出一种深度网络分类算法。首先,采用高斯混合模型对声影区统计特性进行建模并提取声图阴影,在此基础上构建仿真数据集和真实数据集。将仿真数据集输入卷积神经网络进行训练,保留其特征提取部分,用于对真实数据集进行特征提取.重建网络分类部分并采用真实数据集的特征向量进行训练。结果表明,所提出的方法分类正确率可达88.24%,与6种对照方法相比平均分类正确率分别提升8.67%,20.47%,19.78%,11.59%,9.01%,11.58%。验证了所提出方法在小样本条件下具有较好对水下沉底小目标的分类能力。其学习曲线收敛到96.25%,仅比验证曲线高5.14%,说明在一定程度上缓解了过拟合问题。将改进的卷积神经网络应用于融合分类器,通过与逻辑回归分类器、支持向量机对目标进行分类并融合决策,正确率为93.33%,可进一步提高算法的正确率和稳定性.     

Bearing-Fault Diagnosis with Signal-to-RGB Image Mapping and Multichannel Multiscale Convolutional Neural Network

Deep learning bearing-fault diagnosis has shown strong vitality in recent years. In industrial practice, the running state of bearings is monitored by collecting data from multiple sensors, for instance, the drive end, the fan end, and the base. Given the complexity of the operating conditions and the limited number of bearing-fault samples, obtaining complementary fault features using the traditional fault-diagnosis method, which uses statistical characteristic in time or frequency, is difficult and relies heavily on prior knowledge. In addition, intelligent bearing-fault diagnosis based on a convolutional neural network (CNN) has several deficiencies, such as single-scale fixed convolutional kernels, excessive dependence on experts’ experience, and a limited capacity for learning a small training dataset. Considering these drawbacks, a novel intelligent bearing-fault-diagnosis method based on signal-to-RGB image mapping (STRIM) and multichannel multiscale CNN (MCMS-CNN) is proposed. First, the signals from three different sensors are converted into RGB images by the STRIM method to achieve feature fusion. To extract RGB image features effectively, the proposed MCMS-CNN is established, which can automatically learn complementary and abundant features at different scales. By increasing the width and decreasing the depth of the network, the overfitting caused by the complex network for a small dataset is eliminated, and the fault classification capability is guaranteed simultaneously. The performance of the method is verified through the Case Western Reserve University’s (CWRU) bearing dataset. Compared with different DL approaches, the proposed approach can effectively realize fault diagnosis and substantially outperform other methods.     

利用高性能混合深度学习网络提升光谱分类性能研究

随着观测设备的不断完善,人们获得的光谱数量持续上升,如何进一步提高光谱自动分类的性能引起广泛关注.为此,以恒星光谱为研究对象,在近年来新出现的BERT和CNN等深度学习模型的基础上,试图融合了BERT模型和CNN模型在特征提取和智能分类方面的优势,提出高性能混合深度学习网络BERT-CNN,用以探讨该模型在提升光谱分类...     

一种基于2D-CNN的激光超声表面缺陷检测方法

激光超声表面缺陷检测的过程中,缺陷的定量表征通常依赖于操作者的判断,易受到人为因素干扰,致使检测结果不稳定.针对这一问题,提出一种基于图像识别的二维卷积神经网络(2D-CNN)的缺陷自动分类检测方法.利用有限元方法模拟激光超声检测过程,并采集超声信号数据用于训练分类模型;使用连续小变换(CWT)处理超声信号得到小波时频...     

Electromagnetic Modulation Signal Classification Using Dual-Modal Feature Fusion CNN

AMC (automatic modulation classification) plays a vital role in spectrum monitoring and electromagnetic abnormal signal detection. Up to now, few studies have focused on the complementarity between features of different modalities and the importance of the feature fusion mechanism in the AMC method. This paper proposes a dual-modal feature fusion convolutional neural network (DMFF-CNN) for AMC to use the complementarity between different modal features fully. DMFF-CNN uses the gram angular field (GAF) image coding and intelligence quotient (IQ) data combined with CNN. Firstly, the original signal is converted into images by GAF, and the GAF images are used as the input of ResNet50. Secondly, it is converted into IQ data and as the complex value network (CV-CNN) input to extract features. Furthermore, a dual-modal feature fusion mechanism (DMFF) is proposed to fuse the dual-modal features extracted by GAF-ResNet50 and CV-CNN. The fusion feature is used as the input of DMFF-CNN for model training to achieve AMC of multi-type signals. In the evaluation stage, the advantages of the DMFF mechanism proposed in this paper and the accuracy improvement compared with other feature fusion algorithms are discussed. The experiment shows that our method performs better than others, including some state-of-the-art methods, and has superior robustness at a low signal-to-noise ratio (SNR), and the average classification accuracy of the dataset signals reaches 92.1%. The DMFF-CNN proposed in this paper provides a new path for the AMC field.     

基于DCGAN的拉曼光谱样本扩充及应用研究

拉曼光谱检测方法依赖于化学计量学算法,深度学习是当下最炙手可热的方向,可应用于拉曼光谱进行建模.但是深度学习需要大样本进行训练,而拉曼光谱采集受制于器材和人力成本,获取大批量的样本需要更大成本,且易受荧光等因素干扰,这些问题都制约了将深度学习应用于拉曼光谱.针对以上问题,通过引入深度卷积生成对抗网络(DCGAN)提取拉...