基于多尺度特征与通道特征融合的脑肿瘤良恶性分类模型

针对脑肿瘤良恶性分类过程复杂、分类准确率不高等问题,提出了一种基于多尺度特征与通道特征融合的分类模型。该模型以ResNeXt网络为主干网络,首先,将基于空洞卷积的多尺度特征提取模块代替第一层卷积层,利用膨胀率获取不同感受野的图像信息,将全局特征与局部显著特征相结合;其次,添加通道注意力机制模块,融合特征通道信息,提高对肿瘤区域的关注度,降低对冗余信息的关注度;最后,采用学习率的线性衰减策略、图像的标签平滑策略以及基于医学图像的迁移学习策略的组合优化提高模型的学习能力和泛化能力。在BraTS2017和BraTS2019数据集中进行实验,准确率分别达到98.11%和98.72%。与经典模型和其他先进方法相比,该分类模型能够有效地减少分类过程的复杂度,提高脑肿瘤良恶性分类的准确率。     

基于多视角融合的夜间无人车三维目标检测

为了提高无人车在夜间情况下对周围环境的物体识别能力,提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想,在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式,与红外图像组成多视角通道,各通道信息之间融合互补,从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入,网络通过特征提取层、候选区域层和通道融合层准确地回归检测出目标的位置以及所属的类别。实验结果表明,该方法能够提高无人车在夜间的物体识别能力,在实验室的测试数据中准确率达到90%,速度0.43 s/帧,达到了实际应用要求。     

改进MobilenetV3-Small网络结构的药片定位识别方法

针对人工核药效率低的问题，提出了一种改进MobilenetV3-Small网络结构的药片定位识别方法。将获取的原始图片转换到LAB颜色空间，对LAB颜色空间下的L通道进行Canny边缘分割、形态学处理、图像填充、单一药片图像框选，实现对单一药片的定位；通过加载预训练权重，使用K-means聚类算法优化输入尺寸，根据特征图修改网络层等方法改进MobilenetV3-Small网络结构；结合图像处理的定位方法和改进MobilenetV3-Small网络的识别方法，实现对药片的快速准确检测。最终在处理得到的523张单一药片图像上，药片识别算法最终Loss值为0.000035,验证了算法的有效性。     

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.     

基于卷积神经网络的焊缝缺陷图像分类研究

为有效地对焊缝缺陷进行分类,从而判断焊接质量的等级,对传统卷积神经网络进行改进,提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率,并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响,采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理,并在该数据集上验证模型的有效性。与传统卷积神经网络相比,该模型具有良好的性能,在测试集上准确率达到96.77%,同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。     

改进的YOLO V3算法及其在小目标检测中的应用

针对图像中小目标检测率低、虚警率高等问题,提出了一种YOLO V3的改进方法,并将其应用于小目标的检测。由于小目标所占的像素少、特征不明显,提出对原网络输出的8倍降采样特征图进行2倍上采样,将2倍上采样特征图与第2个残差块输出的特征图进行拼接,建立输出为4倍降采样的特征融合目标检测层。为了获取更多的小目标特征信息,在YOLO V3网络结构Darknet53的第2个残差块中增加2个残差单元。利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析。用改进的YOLO V3算法和原YOLO V3算法在VEDAI数据集上进行对比实验,结果表明改进后的YOLO V3算法能有效检测小目标,对小目标的召回率和检测的平均准确率均值都有明显的提升。     

残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于改进Swin transformer的遥感图像融合方法

针对现有基于transformer的方法未能充分融合遥感图像多尺度特征的问题,提出一种多光谱-全色融合网络。在融合网络中嵌入一个基于改进Swin transformer的多尺度窗口自注意力模块,在关注全局空间特征的同时,充分融合不同尺寸的特征信息,从而最大程度地保留光谱和空间结构信息。通过不同层级特征的跳跃连接,解码网络预测出原始多光谱图像缺失的纹理部分,最终使用细节注入模型恢复出目标图像。为了提升融合效果,在损失函数中加入了光谱损失和空间结构损失。与其他方法相比,本文提出的方法在WorldView-4、QuickBird和WorldView-2三种卫星数据集的主观视觉效果最好,相比于性能第二的方法,本文方法在三种数据集的相对全局误差指标分别减小了11.99%、0.4%和3.43%。     

基于中心点的遥感图像多方向舰船目标检测

针对目前基于深度学习的舰船目标斜框检测方法存在计算量大、效率低的问题,提出一种基于目标中心点的单阶段检测模型.由于舰船中心点不受舰船分布方向影响,模型主要思想是以目标中心点检测为基础,回归中心点处目标斜框的尺度和方向.首先设计特征提取网络,将卷积神经网络细节信息丰富的底层特征与语义信息丰富的高层特征融合起来形成特征图;然后将特征图输入到三个检测分支,分别预测目标中心点、中心点偏移值以及斜框的尺度与方向;设计组合损失函数对网络进行训练,并改进非极大值抑制算法以适应目标斜框检测的需要.在公开的SAR图像舰船目标检测数据集与光学遥感图像上进行了实验,实验结果表明,测试集平均准确率达0.906,检测精度与速度均优于其它检测模型,充分验证了所提算法的有效性.     

水下高分辨率声图中小目标的深度网络分类方法

针对声成像数据缺少条件下的水下沉底小目标分类问题,提出一种深度网络分类算法。首先,采用高斯混合模型对声影区统计特性进行建模并提取声图阴影,在此基础上构建仿真数据集和真实数据集。将仿真数据集输入卷积神经网络进行训练,保留其特征提取部分,用于对真实数据集进行特征提取.重建网络分类部分并采用真实数据集的特征向量进行训练。结果表明,所提出的方法分类正确率可达88.24%,与6种对照方法相比平均分类正确率分别提升8.67%,20.47%,19.78%,11.59%,9.01%,11.58%。验证了所提出方法在小样本条件下具有较好对水下沉底小目标的分类能力。其学习曲线收敛到96.25%,仅比验证曲线高5.14%,说明在一定程度上缓解了过拟合问题。将改进的卷积神经网络应用于融合分类器,通过与逻辑回归分类器、支持向量机对目标进行分类并融合决策,正确率为93.33%,可进一步提高算法的正确率和稳定性.     

改进VGG网络的多聚焦图像的融合方法

为更好地保留原图像信息,提高图像融合性能,提出一种改进VGG卷积神经网络与边缘像素统计特征相结合的融合算法。首先,该算法将完整图像拆分成图像块,以图像块的预处理来获取较高的图像分类,精度达到0.985以上,以改进的VGG卷积神经网络来加快模型收敛速度,当图像块输入到网络当中,可以初步得到二分类的权值矩阵。其次,在高频细节部分,对于左聚焦图像和右聚焦图像的清晰模糊模块分别进行模糊化处理,根据像素点之间的统计特征经阈值分割后得到有明显边界的权值矩阵。最后,结合两次分割的权值矩阵,通过加权求和的融合策略,得到处处清晰的聚焦图像。为说明算法有效性,在实验部分展示其融合主观视觉效果图与信息熵等客观评价,该算法对比其他算法表现突出,可较好地保留原图像的信息。     

Wood species identification using feature-level fusion scheme

In this paper, we propose a robust wood species identification scheme by using a feature-level fusion scheme. First, a novel wood feature acquirement system is devised, which can get the curve of 1D wood spectral reflectance ratio and the 2D wood surface color image. Second, the 4 wood color features, the 4 principal texture features, the 4 secondary texture features and the 4 spectral features are established, respectively. Third, a fuzzy BP neural network is proposed to perform the classification work, which consists of 4 sub-networks based on the color feature, texture feature and spectral feature. We have experimentally proved that this scheme improves the mean recognition accuracy to approximately 90% for 5 wood species. Moreover, our feature-level fusion scheme is superior to the recognition schemes which use color feature and texture feature.     

Electromagnetic Modulation Signal Classification Using Dual-Modal Feature Fusion CNN

AMC (automatic modulation classification) plays a vital role in spectrum monitoring and electromagnetic abnormal signal detection. Up to now, few studies have focused on the complementarity between features of different modalities and the importance of the feature fusion mechanism in the AMC method. This paper proposes a dual-modal feature fusion convolutional neural network (DMFF-CNN) for AMC to use the complementarity between different modal features fully. DMFF-CNN uses the gram angular field (GAF) image coding and intelligence quotient (IQ) data combined with CNN. Firstly, the original signal is converted into images by GAF, and the GAF images are used as the input of ResNet50. Secondly, it is converted into IQ data and as the complex value network (CV-CNN) input to extract features. Furthermore, a dual-modal feature fusion mechanism (DMFF) is proposed to fuse the dual-modal features extracted by GAF-ResNet50 and CV-CNN. The fusion feature is used as the input of DMFF-CNN for model training to achieve AMC of multi-type signals. In the evaluation stage, the advantages of the DMFF mechanism proposed in this paper and the accuracy improvement compared with other feature fusion algorithms are discussed. The experiment shows that our method performs better than others, including some state-of-the-art methods, and has superior robustness at a low signal-to-noise ratio (SNR), and the average classification accuracy of the dataset signals reaches 92.1%. The DMFF-CNN proposed in this paper provides a new path for the AMC field.     

基于深度学习的铸件X射线图像分割研究

针对当前图像分割算法在实现工业铸件内部缺陷分割上精度低且算法不够轻量化的问题,提出一种基于改进DeepLabv3+的工业铸件内部缺陷检测算法Effi-DeepLab。该方法采用EfficientNet中的MBConv来代替原有的Xception模块进行特征提取,使特征提取网络更加高效与轻量化;针对工业铸件内部缺陷尺寸小的问题,重新设计空洞空间金字塔池化（ASPP）层中空洞卷积的扩张率,使得卷积块对小目标具有更高的鲁棒性;在解码端充分利用特征提取阶段的低阶语义信息进行多尺度特征融合,以提高小目标缺陷分割的精度。实验结果表明,在本文使用的汽车轮毂内部缺陷图像数据集中,Effi-DeepLab模型对缺陷的分割准确率和平均交并比（mIoU）分别为93.58%和89.39%,相比DeepLabv3+分别提升了2.65%和2.24%,具有更好的分割效果;此外,还通过实验验证了本文提出算法具有良好的泛化性。     

基于I-BGLAM纹理和光谱融合的高光谱显微成像木材树种分类

为了提高木材树种分类的正确率,提出了一种基于I-BGLAM纹理特征和光谱特征融合的高光谱图像的木材树种分类方法。实验数据是利用SOC710VP高光谱成像仪获取的可见光/近红外（372.53~1 038.57 nm）范围内的高光谱图像。首先,利用基于OIF的特征波段选择方法降低高光谱图像的维数,选择出含有信息量大的波段。其次,对选择出的波段图像使用NSCT及NSCT逆变换得到融合图像,对得到的融合图像使用I-BGLAM提取其纹理特征。与此同时,对高光谱图像的全波段求取平均光谱并进行S-G（Savitzky-Golay）平滑得到光谱特征。最后,将得到的纹理特征和光谱特征融合后送进极限学习机（ELM）中进行分类。此外,还和基于灰度共生矩阵（GLCM）的木材识别的传统方法以及近几年木材树种识别领域内被提出的主流方法进行了比较。该研究主要创新点有两个：一是将强纹理提取器I-BGLAM用于高光谱图像中提取其纹理特征;二是提出一种新的特征融合的模型用于高光谱图像的分类。针对8个树种的实验结果表明,单独使用I-BGLAM提取的纹理特征来进行分类的正确率最高可到达88.54%,而使用GLCM提取纹理特征的传统方法正确率最高只有76.04%,该结果可以得出本文使用I-BGLAM在纹理特征提取方面要优于GLCM,这为后面建立的融合模型打下很好的基础,单独使用平均光谱特征来分类的正确率最高可以达到92.71%,使用所提出的特征融合方法所得到的分类正确率最高可达到100%,这说明使用所提出的融合模型来分类要比以前单独使用某一种特征的分类模型要好。此外,使用所提出的方法得到的分类正确率要高于本领域内其他两种主流的识别方法。因此,所提出的基于I-BGLAM纹理特征和光谱特征融合的方法能够提高木材树种分类的正确率,该方法在木材树种分类方面有着一定的利用价值。     

基于MRI影像组学的BI-RADS 3-5类乳腺病变三分类

医生根据磁共振影像征象对患者的乳腺病变程度进行BI-RADS分类评估时存在一定的主观性,且 BI-RADS 3-5类病变的良恶性存在交叉,在临床诊断时极易发生因诊断类别较高而造成不必要的有创治疗．针对这些问题,本文应用影像组学技术对乳腺的T₁加权（T1W）和动态对比增强（DCE）磁共振图像进行特征提取和融合,采用最小绝对收缩和选择算子（LASSO）算法筛选出各特征集的最优特征集,并分别使用支持向量机（SVM）、随机森林（RF）、K最近邻（KNN）及逻辑回归（LR）算法进行BI-RADS 3-5类乳腺病变三分类,并且在此基础上实现乳腺良恶性分类．结果显示基于特征融合的四个影像组学模型对乳腺病变BI-RADS 3-5类的分类准确率分别为81.25%、87.50%、78.38%、81.25%;对乳腺病变良恶性鉴别的准确率分别为90.91%、93.55%、92.73%、94.55%. 这表明MRI影像组学结合机器学习的算法对乳腺病变BI-RADS分类效果及良恶性鉴别效果均较好,且特征融合可进一步提高分类预测的准确率．