基于多核异构的异源图像融合抗晕光系统设计

针对异源图像融合抗晕光算法复杂,应用于视频实时处理困难,设计了基于嵌入式多核异构架构的异源图像融合抗晕光系统。将系统控制和图像融合抗晕光算法分别在ARM和FPGA中实现,解决了数据串行和任务顺序执行导致的系统实时性问题,消除了融合图像中的晕光痕迹。经实验验证,多核异构的抗晕光系统晕光消除度和系统实时性均满足系统需求。     

基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于深度学习的激光干扰成像评估方法

可见光主动成像系统被广泛应用于成像侦察领域,激光压制干扰是一种可以利用的反制手段。合理地对激光干扰效果进行评估,对于干扰一方具有重要意义。为了更客观地评价激光干扰对成像侦察的影响,从可见光成像侦察的特点出发,对激光干扰可见光成像效果进行划分,确定了干扰效果评估需求。建立了可见光图像的激光干扰效果评估模型,结合基于YOLOv4的目标检测置信度及WFSIM算法的三个图像特征表征指标,形成了对应的评估体系。构建了一套参数可调的激光干扰图像采集及评估分析实验系统,对人体目标进行图像采集,验证了提出的评估体系及方法。     

基于三维激光扫描仪的无序工件精准定位北大核心CSCD

为了获取生产线上无序且被遮挡的工件的准确位姿,为后续机械臂对工件特定部位的抓取提供支持,本文使用高精度三维激光扫描仪扫描生产线上无序摆放的工件,然后对原始点云先后采用Voxel-Grid降采样、平面分割和DBSCAN聚类,分割出单个工件点云,再用K-4PCS粗配准和kd-tree加速的GICP精配准方法,将工件实际点云与标准的点云模板(由工件的机械设计图转化而来)进行配准,最终得到了两者之间精确的位姿变换矩阵,进而获得工件摆放的准确位姿。为了验证论文提出方法的有效性,对生产线上3组形状不同工件的摆放位姿进行了测试。结果表明,该方法对于不同形状的工件摆放位姿都有很好的求解精度(误差≤3 mm)。     

基于规范图像的光电成像系统采样响应研究北大核心CSCD

为了研究采样响应对光电成像系统生成图像的质量的影响,本文提出了将规范图像作为输入建立封闭的模型来分析采样响应的方法。首先给出了规范图像的定义并得到了USAF 1951规范图像的数学模型,然后分析了光电成像系统的采样响应过程和采样响应函数,最后讨论了USAF 1951规范图像在不同条件下的采样响应结果。研究结果表明:当采样前MTF截止频率、采样频率与采样后MTF截止频率之间的关系不同时,采样响应对像质的影响不同;当采样频率与采样前MTF截止频率满足一定的条件时,可在图像模糊与混叠之间取得平衡。     

基于Transformer的实时语义分割网络及应用北大核心CSCD

为提升机器人对电缆隧道场景的环境感知能力,提出了一种适用于电缆隧道场景的实时语义分割网络。使用Transformer结构提取图像全局语义信息,同时使用卷积神经网络捕获图像局部细节信息,将二者结合增强图像分割精度。同时,针对机器人以及隧道特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明,所提出的网络在公共数据集Cityscapes、CamVid上平均交叉联合度量分别为77.2%、76.8%,相比BiSeNet分别提高了8.8%、8.1%,并能较好地适应于实际电缆隧道环境中,提供有效的场景感知信息,实现自主避障。     

融合注意力分支特征的甲烷泄漏红外图像分割

甲烷是现代化工业生产和社会生活的重要能源之一,实现其有效探测与分割对于及时发现甲烷泄漏事故并识别其扩散范围具有重要意义。针对红外成像条件下甲烷气体图像的轮廓模糊、泄漏的甲烷气体与背景对比度较低、形状易受大气流动因素影响等问题,本文提出一种融合注意力分支特征的红外图像分割网络（Attention Branch Feature Network,ABFNet）实现甲烷气体泄漏探测。首先,为增强模型对红外甲烷气体图像的特征提取能力,设计分支特征融合模块将残差模块1和残差模块2的输出特征与残差模块3以逐像素相加的方法融合,获取红外甲烷气体图像丰富细致的特征表达以提高模型识别精度。其次,为进一步加快模型的推理速度,将标准瓶颈单元中的3×3卷积替换为深度可分离卷积,大幅度减少参数量达到实时检测甲烷气体泄漏。最后,将scSE注意力机制嵌入到分支特征融合模块,更多地关注扩散区域边缘和中心语义信息以克服红外甲烷气体轮廓模糊对比度低等问题提高模型的泛化能力。实验结果表明,本文提出的ABFNet模型AP50@95、AP50、AP60定量分割精度分别达到38.23%、89.63%和75.33%,相比于原始YOL...     

基于改进YOLOv3的避雷器红外图像故障检测方法

针对现有的金属氧化物避雷器（Metal Oxide Arrester,MOA）红外图像故障检测方法存在识别精度低、检测速度较慢的问题,提出一种基于改进YOLOv3的MOA红外图像故障检测方法。首先,以Darknet19网络代替YOLOv3原始的Darknet53网络,并在特征学习时针对样本中不同MOA长宽比例,通过K-means聚类算法对MOA图像中的目标帧进行分析,重新聚类样本中心锚点框,得到合适的锚框数目和大小。最后,利用改进YOLOv3模型完成MOA红外图像故障检测。实验结果表明,改进的YOLOv3模型识别精度达到96.3%,识别速度为6.75 ms。     

可见光与红外图像分区融合的夜视抗晕光方法

针对夜视晕光图像区域特征差异大,导致融合图像视觉效果不理想的问题,提出一种可见光与红外图像分区融合的夜视抗晕光方法。先采用自适应阈值迭代法确定低频系数的晕光阈值,将低频系数划分为晕光与非晕光区域,在晕光区域采用非线性红外系数权值调节策略,依据图像晕光程度合理消除晕光;在非晕光区域采用灰度均值先验权值调节策略,提高较亮图像参与融合的权值,增强暗处区域的可见度。实验结果表明,本文方法对不同程度的夜视晕光场景均具有良好的适用性,能合理且有效地消除晕光,提高夜视融合图像的质量。     

基于sMLD特征的远红外航空图像配准算法

航空场景下的远红外图像迫切需要准确、鲁棒、快速的特征描述与自动配准方法。由于已有的多重线型描述符MLD特征存在“特征孤岛”和“尺度变换受限”的问题,因此针对远红外航空图像的配准问题,文章提出了一种聚合特征点以及线型描述符分段统计的特征描述方式,即sMLD特征。结合sMLD特征相互连接构成网状拓扑结构的特性,还提出了一种由粗到细的分支加速匹配算法RF-BA。其中,RF-BA粗匹配充分利用拓扑图的结构,通过局部寻优算法提高匹配的效率。RF-BA精匹配利用最小外接凸四边形原则和GMS校验原则,提升配准精度。实验结果表明,与已有的几种代表性配准方法相比,所提方法在配准精度和时间开销方面均具有更好的性能。