基于改进YOLOv4的低慢小无人机实时探测算法（英文）

针对低慢小无人机探测任务中精度不高、在嵌入式平台上部署实时性能差的问题,提出了一种基于改进YOLOv4的小型无人机目标检测算法。通过增加浅层特征图、改进锚框、增强小目标,提高网络对小目标的检测性能,通过稀疏训练和模型修剪,大大缩短了模型运行时间。在1080Ti上平均精度（mAP）达到85.8%,帧率(FPS)达75 frame/s,实现了网络轻量化。该模型部署在Xavier边缘计算平台上,可实现60 frame/s的无人机目标检测速度。实验结果表明：与YOLOv4和YOLOv4-tiny相比,该算法实现了运行速度和检测精度的平衡,能够有效解决嵌入式平台上的无人机目标检测问题。     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

基于深度多分支特征融合网络的光学遥感场景分类

针对遥感图像背景复杂且存在某场景图像中关键物体小且尺度变化较大,需提升模型表征能力来准确辨别各类场景的问题,提出了一种深度多分支特征融合网络的方法进行遥感图像场景分类.利用多分支网络结构提取高、中、低三个层次的特征信息,将三个层次的特征进行基于拆分-融合-聚合的分组融合,最后为了关注难辨别样本和标签位置损失,提出一种损失函数.试验结果证明,本文所提出的方法对于提高分类准确率十分有效,在UCM、AID和OPTIMAL三个数据集上的准确率超过其他算法.在数据集UCM上80%样本训练,准确率达到了99.29%,与ARCNet-VGG16算法相比分类准确率提高了1.35%.在数据集AID上50%样本训练,准确率达到了95.56%,与Two-Stream算法相比提高了0.98%.在数据集OPTIMAL上80%样本训练,准确率达到95.43%,与ARCNet-VGG16算法相比提升2.73%.     

面向嵌入式平台的轻量级目标检测网络

基于深度可分离卷积,提出了一种适用于嵌入式平台的小型目标检测网络MTYOLO(MobileNet Tiny-Yolo),它将待检测的图片平均分割成多个单元格,并采用深度可分离卷积代替传统卷积,减少了参数量和计算量。采用点卷积和特征图融合的方法来提高检测精度。实验结果表明,所提MTYOLO网络模型大小为41 MB,约为Tiny-Yolo模型的67%,其在PASCAL VOC 2007数据集上的检测准确率可达到57.25%,检测效果优于Tiny-Yolo模型,更适合应用于嵌入式系统。     

基于关键点的快速红外目标检测方法

针对红外探测系统对目标检测的实时性要求,提出了一种基于关键点的快速红外目标检测方法。以目标中心作为目标检测关键点,首先设计了轻量化的特征提取网络,之后结合红外目标较小的特点,利用不同层次特征的空间信息和语义信息设计了相应的特征融合网络,并最终实现目标类别、位置和尺寸信息的预测。在自建空中红外目标数据集上对模型进行了对比测试,与YOLOv3等经典检测模型相比,检测速度大幅提高,检测精度仅略有下降;与同类型快速检测模型Tiny-YOLOv3相比,在模型尺寸压缩至Tiny-YOLOv3尺寸的23.39%的情况下,检测精度提高了8.9%,在中央处理器(CPU)上运行的检测速度亦提高了13.9 ms/frame,检测性能显著提升,验证了方法的有效性。     

基于改进YOLOv5的无人机检测方法

针对小尺寸无人机目标检测精度低,且深层网络的参数量大、内存占用高等问题,提出一种基于改进YOLOv5的无人机检测方法。首先,调整了YOLOv5多尺度预测层的个数,裁剪掉冗余网络层,有效减少网络参数量,提高无人机检测速度;其次,通过在特征提取阶段引入多个不同采样率的空洞卷积,增强小目标的多尺度细节特征提取能力;最后,在多尺度特征融合阶段引入注意力机制,将深层特征进行通道加权后再与浅层特征进行高效融合,增强小目标特征表达能力。实验表明,改进的YOLOv5模型在自制数据集上mAP达到了99.02%,对于小尺寸的无人机目标,具有更好的检测效果。相较于改进前网络,检测速度提高了10.3%,内存开销节约了65%,降低了对设备计算和存储能力的要求,更加有利于无人机检测系统的工程部署和实际应用。     

基于边缘线分析与聚合通道特征的港口舰船检测

针对可见光学遥感图像港口舰船检测过程中,人造目标造成检测结果准确率低、虚警率高的问题,提出了一种基于边缘线梯度特征定位和聚合通道特征的舰船检测方法。基于多尺度多结构元素形态学滤波实现海陆分割;并结合遥感图像中港口的矩形形状特点,定义边缘梯度正切角和港口凹凸度特征以对港口进行定位,获取港口感兴趣区域集合。提取舰船目标的聚合通道特征,并通过聚合通道特征构建的样本训练库和AdaBoost算法完成分类器的训练,利用训练完成后的分类器完成舰船目标的最终判别确认。实验结果表明该算法相较于传统的HOG特征和Haar特征,检测效果良好,准确率和召回率得到较大的提升。     

用于空中红外目标检测的增强单发多框检测器方法

提出了一种用于空中红外目标检测的增强单发多框检测器(SSD)方法。分析了感受野与特征图层数的关系,同时采用池化和转置卷积操作的特征图双向融合机制,从整体上增强了特征的表达能力。通过引入浅层特征图的语义增强分支,并在高分辨率特征图上增加预测框,可提升小尺寸目标的定位精度。在VOC2007小目标和空中红外目标数据集上进行了对比测试,平均精度分别提高了7.1%和8.7%,此时检测速度略有下降。结果表明,增强SSD可在空中红外目标检测中获得较好的性能。     

基于深度学习的铸件X射线图像分割研究

针对当前图像分割算法在实现工业铸件内部缺陷分割上精度低且算法不够轻量化的问题,提出一种基于改进DeepLabv3+的工业铸件内部缺陷检测算法Effi-DeepLab。该方法采用EfficientNet中的MBConv来代替原有的Xception模块进行特征提取,使特征提取网络更加高效与轻量化;针对工业铸件内部缺陷尺寸小的问题,重新设计空洞空间金字塔池化（ASPP）层中空洞卷积的扩张率,使得卷积块对小目标具有更高的鲁棒性;在解码端充分利用特征提取阶段的低阶语义信息进行多尺度特征融合,以提高小目标缺陷分割的精度。实验结果表明,在本文使用的汽车轮毂内部缺陷图像数据集中,Effi-DeepLab模型对缺陷的分割准确率和平均交并比（mIoU）分别为93.58%和89.39%,相比DeepLabv3+分别提升了2.65%和2.24%,具有更好的分割效果;此外,还通过实验验证了本文提出算法具有良好的泛化性。     

基于加权特征融合的多尺度遥感影像分类

针对普通的三维卷积神经网络（3D CNN）从一个尺度上提取特征,会丢失部分细节信息,且对小样本任务表现一般的问题,本文提出了一种三支路的3D CNN,从不同尺度上提取特征后进行加权特征融合,从而获取了更为全面的特征;并引入数据增强技术,从而改善了小样本情形下的分类性能。现有特征融合方法通常对各个支路直接进行拼接,本文采用加权拼接的特征融合方法,将各特征分别乘以一个加权系数后再进行拼接,该系数通过模拟退火算法求取。本文方法在公开数据集Indian Pines,Pavia University,Salinas等上采用10%的数据进行训练,分别得到了98.60%、99.83%、99.97%的总体准确率,与各类对比方法相比,提升了高光谱遥感影像分类问题的准确率。     

彩色图像边缘检测及其在图像融合中的应用

提出了一种新的基于小波变换的彩色图像边缘检测方法,运用噪声和微弱边缘的识别以及动态双域值的选取,使得检测出来的边缘定位精度高,抑制噪声性能好。利用基于区域特征的信息融合策略,比较待融合图像的边缘点的值和区域能量特征值,选择特征突出者对应的原始图像区域组成融合结果。实验结果表明,该算法可以良好地保留两幅图像的细节信息,得到高质量的融合图像。     

基于多模态MRI与深度学习的乳腺病变良恶性鉴别

为提高基于动态增强磁共振成像（DCE-MRI）的计算机辅助（CAD）方法对乳腺病变良恶性鉴别的精度,本文基于多模态特征融合,提出一种联合非对称卷积和超轻子空间注意模块的卷积神经网络AC_Ulsam_CNN.首先,采用迁移学习方法预训练模型,筛选出对乳腺病变良恶性鉴别最为有效的DCE-MRI扫描时序.而后,基于最优扫描时序图像,搭建基于AC_Ulsam_CNN网络的模型,以增强分类模型的特征表达能力和鲁棒性.最后,将影像特征与乳腺影像数据报告和数据系统（BI-RADS）分级、表观扩散系数（ADC）和时间-信号强度曲线（TIC）类型等多模态信息进行特征融合,以进一步提高模型对病灶的预测性能.采用五折交叉验证方法进行模型验证,本文方法获得了0.826的准确率（ACC）和0.877的受试者工作曲线下面积（AUC）.这表明该算法在小样本量数据下可较好区分乳腺病变的良恶性,而基于多模态数据的融合模型也进一步丰富了特征信息,从而提高病灶的检出精度,为乳腺病灶良恶性的自动鉴别诊断提供了新方法.     

Night vision dense crowd counting based on mid-term fusion of thermal imaging features北大核心CSCD

为了提高人群计数模型对尺度和光噪声的鲁棒性,设计了一种多模态图像融合网络。提出了一种针对夜间人群统计模型,并设计了一个子网络Rgb-T-net,网络融合了热成像特征和可见光图像的特征,增强了网络对热成像和夜间人群特征的判断能力。模型采用自适应高斯核对密度图进行回归,在Rgb-T-CC数据集上完成了夜视训练和测试。经验证网络平均绝对误差为18.16,均方误差为32.14,目标检测召回率为97.65%,计数性能和检测表现优于当前最先进的双峰融合方法。实验结果表明,所提出的多模态特征融合网络能够解决夜视环境下的计数与检测问题,消融实验进一步证明了融合模型各部分参数的有效性。     

基于NPU的实时深度学习跟踪算法实现北大核心CSCD

深度学习在检测领域高速发展,但受限于训练数据和计算效率,在基于嵌入式平台的边缘计算领域,尤其是实时跟踪应用中深度学习的智能化算法应用并不广泛。针对这一现象,同时为满足现阶段国产化、智能化的技术需求,提出了一种改进的孪生网络深度学习跟踪算法。在特征网络加入微调网络,解决了网络模型无法在线更新的问题,提升了跟踪的准确性;在IoUNet损失函数中加入中心距离惩罚项,解决了IoUNet当IoU相同时位置跳跃,存在收敛盲区和收敛速度慢的问题;将训练后的网络通过通道剪枝,缩减网络模型尺寸,提升了模型加载和运行的速度。在华为Atlas200NPU平台上实现了实时运行,算法准确率高达0.90(IoU>0.7),帧率达到66 Hz。     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

复杂背景下红外图像弱小目标检测

红外弱小目标检测是安防监控、侦察探测、精确制导等领域的关键技术。为了提高复杂背景条件下红外弱小目标检测的准确性和实时性,提出了一种基于深度学习的红外弱小目标检测算法YOLO-FCSP。根据红外图像中弱小目标的特点,在YOLO检测框架的基础上,通过减少下采样次数,结合跨阶段局部模块、Focus结构和空间金字塔池化结构设计了特征提取网络。借鉴多路径聚合的思路优化特征融合网络,同时调整检测输出层数量,通过信息复用提高特征利用效率。实验结果表明,本文提出的算法在检测红外弱小目标时具有较高的准确率和检测速度,精度和召回率分别为91.9%和94.6%,平均准确率(AP)值达到92.6%,检测速度达到170 f/s,满足实际应用中实时检测的需求。     

Computer Vision Based Automatic Recognition of Pointer Instruments: Data Set Optimization and Reading

With the promotion of intelligent substations, more and more robots have been used in industrial sites. However, most of the meter reading methods are interfered with by the complex background environment, which makes it difficult to extract the meter area and pointer centerline, which is difficult to meet the actual needs of the substation. To solve the current problems of pointer meter reading for industrial use, this paper studies the automatic reading method of pointer instruments by putting forward the Faster Region-based Convolutional Network (Faster-RCNN) based object detection integrating with traditional computer vision. Firstly, the Faster-RCNN is used to detect the target instrument panel region. At the same time, the Poisson fusion method is proposed to expand the data set. The K-fold verification algorithm is used to optimize the quality of the data set, which solves the lack of quantity and low quality of the data set, and the accuracy of target detection is improved. Then, through some image processing methods, the image is preprocessed. Finally, the position of the centerline of the pointer is detected by the Hough transform, and the reading can be obtained. The evaluation of the algorithm performance shows that the method proposed in this paper is suitable for automatic reading of pointer meters in the substation environment, and provides a feasible idea for the target detection and reading of pointer meters.     

复杂背景下目标检测的级联分类器算法研究

目标检测与跟踪一直是图像处理与计算机视觉领域的热门研究方向之一,其对军事上的成像制导、跟踪军事目标等以及民事方面的安防监控、智能人机交互等方面均有着重要的研究价值.将特征匹配问题看成是一种更普遍的二分类问题,将这种难解的高维计算变成二分类问题,使计算复杂度大大减小,这类方法以大数定律和贝叶斯法则为理论依据,本文提出一种非树形结构的分类器,并从理论上推导出其实现公式,将1bitBP特征应用到分类器中,同时采用计算量由小到大的三个分类器进行级联从而实现鲁棒精确的目标检测.从实验结果来看,本文算法能够对目标的尺度变化、旋转、部分遮挡、形变、模糊、背景变化等复杂情况有较好鲁棒性,并且检测精度相对较高,而本文算法的计算复杂度低、计算量小,有较高的应用价值.     

Convergence of S3C empowered distributed cooperative optimization for multi-unmanned surface vehicles

With the progress and development of modern marine science and technology, Unmanned Surface Vehicles (USVs) have been applied in various maritime scenes, for instance, target information search of marine environment, port patrol, etc. However, communication is different at maritime from on land, facing bad weather and uncontrollable factors, which leads to errors in the fusion of target position and velocity information of USVs, and it is difficult to achieve optimal path planning of USVs cluster. In this paper, S3C (intelligent sensor, communication, computing and control) fusion network method for USVs is studied for the model of USVs cluster with uncertain model parameters and unknown marine environmental disturbances, so as to optimize the tracking trajectory of USVs cluster center with a reasonable and efficient scheme. Firstly, a cloud–edge–end communication network architecture is constructed to ensure that USVs cluster communicates within a safe distance. Secondly, the brain-inspired sensing module is established to combine the positions detected by the vision sensors, radar and other intelligent sensors carried by each USV with integrated algorithms to solve the problem of target detection and location in USVs cluster. Finally, a computing module based on distributed cooperative optimization algorithm, and a control module combining the Extended State Observer (ESO) and the Controller are constructed to settle USVs’ cluster’s control. The simulation results verify that S3C fusion framework for USVs proposed is reasonable and effective.