基于NPU的实时深度学习跟踪算法实现北大核心CSCD

深度学习在检测领域高速发展,但受限于训练数据和计算效率,在基于嵌入式平台的边缘计算领域,尤其是实时跟踪应用中深度学习的智能化算法应用并不广泛。针对这一现象,同时为满足现阶段国产化、智能化的技术需求,提出了一种改进的孪生网络深度学习跟踪算法。在特征网络加入微调网络,解决了网络模型无法在线更新的问题,提升了跟踪的准确性;在IoUNet损失函数中加入中心距离惩罚项,解决了IoUNet当IoU相同时位置跳跃,存在收敛盲区和收敛速度慢的问题;将训练后的网络通过通道剪枝,缩减网络模型尺寸,提升了模型加载和运行的速度。在华为Atlas200NPU平台上实现了实时运行,算法准确率高达0.90(IoU>0.7),帧率达到66 Hz。     

基于无人机载的光电与SAR图像融合技术研究

为了提高无人机侦察识别能力,提出基于小波变换方法的无人机载光电与SAR的图像融合技术。经时间配准算法生成图像配准源,采用SIFT算法提取图像特征点,BBF算法计算生成匹配点集,依据匹配点集计算图像间透视变换模型完成图像配准,利用小波变换算法实现配准图像融合。经实验验证以及利用Matlab分析图像灰度直方图和计算信息量,结果表明:融合图像保留了光电图像95.7%的细节(熵),相比于光电图像平均梯度提高了1.52倍,增强了光电图像目标区对比度,降低了随机性噪点;融合图像相比于SAR图像信息量提高了1.44倍。