基于深度注意力机制的多尺度红外行人检测

针对多尺度目标检测问题,提出一种基于深度注意力机制的多尺度红外行人检测方法。首先,选取较为轻量级的Darknet53作为深度卷积特征提取的主干网络,设计四尺度的特征金字塔网络负责目标的定位和分类,通过引入更低层高分辨率的特征图来改善对小尺度行人目标的检测性能。其次,利用注意力模块替代特征金字塔网络中传统的上采样模块,生成基于卷积特征的局部显著图,可以有效抑制不相关区域的特征响应,突出图像局部特性。最后,利用Caltech行人数据集和U-FOV红外行人数据集进行两次迁移训练,以提高模型的泛化能力,丰富行人的样本特征。实验结果表明,所提方法在U-FOV数据集上的识别平均准确率达到了93.45%,比YOLOv3高26.74个百分点,能检测到的最小行人像素为6×13。在LTIR数据集上的定性实验结果验证,所提模型具有良好的泛化能力,适用于多尺度红外行人的检测。     

基于小波变换和残差网络的磁共振影像分割方法

为了提高磁共振图像分割的准确度,提出一种基于残差网络和小波变换的磁共振图像分割方法.采用离散小波变换对核共振图像的不同序列进行融合,使融合图像包含更加丰富的纹理信息和结构信息;提出了包含通道注意力模块和空间注意力模块的残差网络模型,使网络重点关注于目标分割区域,并加入残差块来缓解深度神经网络的梯度消失问题.最终在公开的...     

基于特征重聚焦网络的多尺度近岸舰船检测

针对监控视频中的多尺度近岸舰船检测问题,提出了一种基于特征重聚焦网络的舰船目标检测算法,设计了由多维特征聚合模块(MFAM)与注意力特征重构模块(AFRM)组成的特征重聚焦策略.其中,MFAM基于输入的特征金字塔构建特征聚合块,进一步融合多尺度舰船不同层次特征的语义信息.AFRM基于多分支空洞卷积以及通道与空间注意力机制提升网络对目标非局部信息的表征和对背景干扰的抑制,并构建了用于目标检测的特征重聚焦金字塔.在Seaships7000舰船公开数据集上的实验结果表明,相比其他算法,本算法对监控视频中多尺度近岸舰船的检测效果更好.     

基于注意力融合的目标跟踪算法

针对基于孪生网络的目标跟踪算法存在抗干扰能力弱、鲁棒性差等问题,在SiamCAR基础上提出通道和空间注意力融合的目标跟踪算法。在特征提取子网络和分类回归子网络之间级联改进后的高效通道注意力和空间注意力模块,加强网络对互相关后响应图中重要通道特征和位置特征的关注,同时抑制不重要的特征信息。在OTB100上,所提算法在背景杂乱挑战下成功率和精度相比SiamCAR分别提高了3.1%和2.8%;在VOT2018上,所提算法的鲁棒性和期望平均重叠率相比SiamCAR分别提高了4.9%和2.2%。实验结果表明,所提算法增强了跟踪器的鲁棒性,提升了跟踪器在复杂场景下的跟踪效果。     

基于改进二阶段检测网络的长时跟踪重检测方法

为构建适用于长时跟踪的重检测模块,受改进二阶段检测网络的GlobalTrack方法的启发,提出了一种高效的对特定模板目标进行端到端重检测的深度网络：首先,为了在大尺度图像上更高效地融合模板特征,通过构造交叉信息增强模块改进深度互相关方法,利用交叉通道注意力信息编码搜索特征和模板特征;此外,采用动态实例交互模块替代传统二阶段网络的RPN(region proposal network)和RCNN(region-based convolutional neural networks)结构,根据模板信息指导检测网络的分类和回归阶段,构建了端到端的稀疏重检测结构。在LaSOT和OxUva长时跟踪数据集上进行对比实验,本文方法相较于原始方法性能提升3%,实时帧率提升173%。实验结果表明,改进后的方法可以在全图范围内更准确、快速地重新检测模板目标。     

基于广义中心差分卷积和空间分布机制的CG图像检测

针对数字取证和司法鉴定领域中计算机生成图像检测技术日益增长的现实需求,提出一种基于广义中心差分卷积和空间分布机制的计算机生成图像检测网络。首先,设计了一个包含三个并行独立分支的相关性特征提取模块;随后,将三个分支的输出经串接后输入到通道注意力机制子模块;最后,使用5个附带空间分布机制的深度卷积模块进一步学习图像的分层表示来进行最终决策。在SPL2018和DSToK两个公共数据集上的检测准确率可达94.76%和95.38%,相比最好的对比方法对生成图像的检测准确率提高了3.12%和3.23%。消融实验验证了网络中各模块对于模型整体检测效果的贡献。最后,验证了该网络对JPEG压缩和加性噪声的鲁棒性,即使对质量因子为60压缩后的图像,检测准确率仍可达84%以上。提高了模型的检测准确率及鲁棒性。     

基于全局感知孪生网络的红外目标跟踪

目前大多数热红外(TIR)目标跟踪算法都是基于相关滤波或者使用彩色跟踪器的模型进行特征提取。然而,两者都存在适用于彩色目标跟踪却对红外目标特征不敏感的缺陷,导致无法良好地应用到红外目标跟踪。为此,提出一种基于全局感知的孪生神经网络的红外目标跟踪器。将孪生神经网络的后三层特征进行融合优化,得到新的特征,同时加入了由空间转换网络和通道注意力组成的空间感知模块,以得到全局范围内的有效信息,通过引入自注意力机制,使算法更加专注于提取目标的判别信息,最后对结果进行响应融合得到最终的响应图。在PTB-TIR红外目标跟踪评估基准上的实验结果表明,本文算法能够适应多样的红外环境,同时能够保持良好的跟踪速度(20.2 frame/s),实现对红外目标有效且稳定的实时跟踪。     

增强小目标特征的多尺度光学遥感图像目标检测

针对光学遥感图像目标分布密集、尺度变化范围较大及小目标特征信息过少等造成目标检测精度不高、泛化能力差等问题,本文提出了一种增强小目标特征的多尺度神经网络（ESF-MNet）。首先在骨干网络中引入注意力模块构建出高效层注意力聚合结构,以增强特征提取能力;此外,在浅层特征图与颈部网络融合之前加入感受野增强模块,以捕获不同尺度的上下文信息。其次,使用GSConv构成颈部网络,减少网络层参数量,保持网络的特征提取能力,并通过基于内容感知的特征重组模块提高识别精度。最后,采用下采样率分别为4、8和16倍的三个下采样模块作为头部网络输入,来提高小目标的检测效果。为了证明该方法的有效性,在DOTA数据集和NWPU NHR-10数据集上进行实验,平均检测精度分别达78.6%和94.3%,计算复杂度为94.7 G,整体模型大小为26.2 M。该方法具备检测精度高、计算复杂度低、模型权重小等特点,能有效提高小目标的检测精度,进一步改善光学遥感图像小目标检测性能。     

结合注意力和残差聚合的图像超分辨率算法

为解决残差块间的层级特征利用不充分导致生成的图像结构扭曲、视觉模糊等问题,提出结合注意力和残差聚合的图像超分辨率重建算法。网络通过浅层特征聚合模块获取多尺度的特征并输入到残差聚合网络,采用渐进式融合策略从局部和全局两方面对各个残差块的特征进行聚合,以达到充分利用残差块层级特征的目的。为进一步增强特征表示,利用双重注意力机制分别从空间和通道来关注特征之间的相互依赖性。实验结果表明,与SRCNN、FSRCNN等方法相比,算法重建的图像结构清晰且细节信息丰富。     

改进YOLOv4的铁路沿线遥感影像地物检测方法

近年来,高分遥感影像技术的快速发展为铁路沿线地物检测提供了一种重要技术手段。基于回归的一阶段目标检测方法YOLOv4具有检测精度高、速度快等优点,但用于遥感影像检测时仍然存在部分细节特征信息丢失导致的小目标漏检,以及进行大面积地物检测时效率低的问题。为此,提出改进YOLOv4网络模型对遥感影像铁路沿线地物进行检测。首先,设计由卷积、批量归一化和Mish激活函数组成的CBM(convolution batch normalization mish)模块,并采用DCBM(double CBM)模块作为密集连接网络(DenseNet)的传输层用于YOLOv4网络特征提取以实现地物特征传递和信息重用,增强小目标地物的检测能力,降低漏检率;然后针对YOLOv4在大面积检测时效率不高和模型参数空间较大的缺陷,将压缩激励SE(squeeze excitation)通道注意机制用于骨干网中跨阶段局部单元(cross stage partial, CSP)的每个残差单元之后,减少SE注意模块的重复调用次数,使其能够在提高网络性能的同时降低模型参数量从而提高检测效率;最后,针对长条形状的铁路目标提取困难问题,在网络结果输出之前引入改进的通道空间注意力机制ICBAM(improved convolutional block attention module) 保留原始特征信息,解决铁路目标特征提取能力差的问题,提高铁路中大尺度目标的检测效率。为验证所提方法的有效性,选取2 048张分辨率为1 920×1 080的某段铁路沿线遥感影像地物样本数据,将其中的铁路、房屋、楼宇建筑、农田和水池作为检测目标进行实验,并与当前流行的目标检测方法进行对比。结果表明,改进方法不仅增强了对小目标地物的检测能力,提高了地物检测精度和速度,而且提高了大尺度目标的检测效率。与YOLOv4算法相比,mAP提高了2.11%,准确率提高了2.93%,召回率提高了3.79%,模型大小减少了8.53%。所提方法为当前应用高速铁路沿线遥感影像地物快速精准检测提供了有效方法。     

A Study on Railway Surface Defects Detection Based on Machine Vision

The detection of rail surface defects is an important tool to ensure the safe operation of rail transit. Due to the complex diversity of track surface defect features and the small size of the defect area, it is difficult to obtain satisfying detection results by traditional machine vision methods. The existing deep learning-based methods have the problems of large model sizes, excessive parameters, low accuracy and slow speed. Therefore, this paper proposes a new method based on an improved YOLOv4 (You Only Look Once, YOLO) for railway surface defect detection. In this method, MobileNetv3 is used as the backbone network of YOLOv4 to extract image features, and at the same time, deep separable convolution is applied on the PANet layer in YOLOv4, which realizes the lightweight network and real-time detection of the railway surface. The test results show that, compared with YOLOv4, the study can reduce the amount of the parameters by 78.04%, speed up the detection by 10.36 frames per second and decrease the model volume by 78%. Compared with other methods, the proposed method can achieve a higher detection accuracy, making it suitable for the fast and accurate detection of railway surface defects.     

融合数据增强与改进ResNet34的奶牛热红外图像乳腺炎检测

乳腺炎是奶牛生产养殖中最为严重的疾病之一,奶牛乳腺炎的早期检测可以为后续治疗提供依据,从而提高疾病治疗效率,降低养殖风险。为了对自然行走的奶牛实现快速、高精度的“一步式”乳腺炎疾病检测,提出了一种基于热红外图像,融合数据增强与改进ResNet34的奶牛乳腺炎疾病检测方法。相对于现有的“多步式”奶牛红外图像乳腺炎检测方法,该方法无需奶牛关键部分如乳房和眼睛的定位以及温度提取等,可有效避免“多步式”造成的误差累计,从而实现更高效的乳腺炎检测。首先,将包含奶牛关键部位的局部图片水平拼接成信息完整的整体图片,结合RandAugment数据增强方法扩增训练样本;其次,采用ResNet34残差网络作为实验的基础网络,并根据热红外图像特性对模型进行如下改进：（1）精简网络内部冗余层使得模型更轻量化;（2）中间层添加辅助分类器弥补由于模型精简带来的特征损失;（3）将改进的多融合池化层代替原有单一池化层,使得特征提取内容更丰富。随机选取3 298张热红外图像（66头奶牛）作为实验对象,并设置多组对比实验,结果表明: 与传统ResNet34相比改进后ResNet34模型分类准确率提高3.4%,基于改进ResNet34并融合迁移学习和数据增强的模型验证准确率达到90.3%,测试准确率为88.4%,分类时间仅需3.39×10-3 s。为了保证实验数据集的样本独立性,进一步将奶牛个体数量按照3∶1∶1划分为训练集、验证集和测试集,测得模型测试准确率达到80.3%,证明所提出模型具有很好的鲁棒性。根据测试结果,计算出模型查准率为91.2%、查全率为91.6%、F1分数为91.4%,与前人所做实验相比准确率提高了5.1%,特异度提升5.3%。该研究方法可以为初期奶牛乳腺疾病筛选和医学诊断提供辅助和参考。     

基于优化YOLOv4算法的行驶车辆要素检测方法北大核心CSCD

随着车辆数量的急剧增加,带来了一系列管理问题,智能交通系统是一种有效的解决方式。由于传统的目标识别方式受天气、距离、角度、光照等因素的影响较大,且基于原YOLOv4算法的驾驶员面部、手部等信息检测的准确率不高,提出一种基于优化YOLOv4算法的检测定位方法。在给原YOLOv4网络增加一个更小的检测尺度的同时,使用模糊ISODATA动态聚类算法对先验框数目进行优化,并使用真实十字路口数据集进行实验。实验证明,优化后的网络在训练集中的类间平均准确率为98.56%,检测帧频为41.43帧/s,均高于原网络。     

A Lightweight YOLOv4-Based Forestry Pest Detection Method Using Coordinate Attention and Feature Fusion

Traditional pest detection methods are challenging to use in complex forestry environments due to their low accuracy and speed. To address this issue, this paper proposes the YOLOv4_MF model. The YOLOv4_MF model utilizes MobileNetv2 as the feature extraction block and replaces the traditional convolution with depth-wise separated convolution to reduce the model parameters. In addition, the coordinate attention mechanism was embedded in MobileNetv2 to enhance feature information. A symmetric structure consisting of a three-layer spatial pyramid pool is presented, and an improved feature fusion structure was designed to fuse the target information. For the loss function, focal loss was used instead of cross-entropy loss to enhance the network’s learning of small targets. The experimental results showed that the YOLOv4_MF model has 4.24% higher mAP, 4.37% higher precision, and 6.68% higher recall than the YOLOv4 model. The size of the proposed model was reduced to 1/6 of that of YOLOv4. Moreover, the proposed algorithm achieved 38.62% mAP with respect to some state-of-the-art algorithms on the COCO dataset.     

A Crop Image Segmentation and Extraction Algorithm Based on Mask RCNN

The wide variety of crops in the image of agricultural products and the confusion with the surrounding environment information makes it difficult for traditional methods to extract crops accurately and efficiently. In this paper, an automatic extraction algorithm is proposed for crop images based on Mask RCNN. First, the Fruits 360 Dataset label is set with Labelme. Then, the Fruits 360 Dataset is preprocessed. Next, the data are divided into a training set and a test set. Additionally, an improved Mask RCNN network model structure is established using the PyTorch 1.8.1 deep learning framework, and path aggregation and features are added to the network design enhanced functions, optimized region extraction network, and feature pyramid network. The spatial information of the feature map is saved by the bilinear interpolation method in ROIAlign. Finally, the edge accuracy of the segmentation mask is further improved by adding a micro-fully connected layer to the mask branch of the ROI output, employing the Sobel operator to predict the target edge, and adding the edge loss to the loss function. Compared with FCN and Mask RCNN and other image extraction algorithms, the experimental results demonstrate that the improved Mask RCNN algorithm proposed in this paper is better in the precision, Recall, Average precision, Mean Average Precision, and F1 scores of crop image extraction results.     

针对口音识别中冗余特征及长尾效应的有效方法

口音识别是指在同一语种下识别不同的区域口音的过程。为了提高口音识别的准确率,我们采用了多种方法,取得了明显的效果。首先,为了解决声学特征中关键特征权重不突出的问题,引入了有效的注意力机制,并对多种注意力机制进行了比较和分析。通过模型自适应学习通道和空间维度的不同权重,提高了口音识别的性能。在Common Voice英语口音数据集上的实验结果表明,引入CBAM注意力模块是有效的,识别准确率相对提升了12.7%,精确度和F1分数相对提升了17.9%。之后,我们提出了一种树形分类方法来缓解数据集中的长尾效应,识别准确率最多相对提升了5.2%。受域对抗训练(DAT)的启发,我们尝试通过对抗学习方法剔除口音特征中的冗余信息,使得准确率最多相对提升了3.4%,召回率最多相对提升了16.9%。     

基于YOLOv3框架的高分辨电镜图像原子峰位置检测

高分辨电镜图像中原子峰位置的检测具有十分重要的现实意义,通过精确定量化原子峰位置可以分析物质在微观尺度上的结构形变、电极化矢量分布等重要信息.近年来深度学习技术在图像目标检测领域取得了巨大突破,这一技术可用在高分辨电镜图像处理上,因为原子位置的检测可以看作是一个目标检测问题.本文利用先进的机器学习方法,通过制作高质量原子图像样本集,使用YOLOv3目标识别框架对原子图像进行自动检测,达到预期效果,实现了深度学习技术在高分辨电镜图像处理领域的应用.该方法的运用有望突破自动处理动态、大量电镜图片的瓶颈问题.     

可见-近红外光谱的鸭梨黑心缺陷在线检测AdaBoost集成模型研究

黑心病是鸭梨贮藏期间发生的生理病害,其病变初期表现在内部果核处出现褐色斑块,而在果实外观上与正常果几乎没有任何差异,严重影响鸭梨的贮藏时间和品质,亟需一种快速无损的检测方法为鸭梨质量保驾护航。采用可见-近红外光谱法对鸭梨黑心缺陷进行在线检测和识别,结合平滑（Smoothing）、标准正态变量变换（SNV）、多元散射校正（MSC）、SG一阶导数（SG 1st-Der）以及小波变换（WT）预处理方法和主成分分析（PCA）、k近邻（kNN）、朴素贝叶斯（NBC）、支持向量机（SVM）以及基于Adaboost的集成学习等方法对鸭梨黑心病进行判别研究。Adaboost集成了kNN、NBC和SVM三个独立学习器。将120个健康鸭梨和165个黑心鸭梨共计285个样品划分为训练集和测试集进行模型的构建和评价,采用训练集的查准率/查全率的调和平均值（F-measure）和正确识别率（Accuracy）对分类模型进行优化和评价。研究结果表明：不同属性（正常和黑心）鸭梨样品光谱的前三主成分分布图相互交错,很难直观地对黑心鸭梨进行区分。样品光谱经小波变换（小波基为“Haar”）预处理的kNN模型训练集的F-measure和Accuracy分别为78.98%和82.62%;经过SG一阶导数预处理后的NBC模型训练集的F-measure和Accuracy分别为80.90%和82.11%;经过小波变换预处理后的SVM模型训练集的F-measure和Accuracy分别为90.24%和91.58%;经小波变换预处理的AdaBoost模型训练集的F-measure和Accuracy分别为91.46%和92.63%。通过测试集对模型进行验证可知：光谱经小波变换预处理后建立的Adaboost分类模型最优,分类的F-measure达到90.91%,较WT-kNN,SG 1st-Der-NBC和WT-SVM模型分别提高了11.39%,15.23%和2.30%;Accuracy达到92.63 ％,分别提高了10.52%,11.58%和2.10%;模型对测试集样品预测时的计算时间约为0.12s,满足在线分选要求。可见-近红外光谱结合AdaBoost分类方法,可以为鸭梨黑心病的在线检测提供一种快速简便的分析方法。     

自动发音错误检测中基于F1值最大化的声学模型训练方法

摘要为了提高计算机辅助语言学习中自动发音错误检测系统的性能,提出一种声学模型的区分性训练方法。该方法将经过正确度标注的非母语语音数据库上的发音错误检测的F₁值的最大化作为模型参数的训练准则。采用Sigmoid 函数对F₁值函数进行平滑构造目标函数,并利用构造弱意义辅助函数的方法以及扩展Baum-Welch 形式的参数更新公式进行优化。提出在模型参数更新与音素门限同时优化的策略保证目标函数增长的单调性。发音错误检测实验表明该方法能够有效地增大训练和测试数据检错的F₁值。同时训练数据和测试数据上的精确度、召回率以及检测正确度都有明显改进。