基于改进Faster R-CNN的红外目标检测算法

为提升红外目标的检测精度,提出了一种引入频域注意力机制的Faster R-CNN红外目标检测算法。首先,针对红外图像边缘模糊和噪声问题,设计了一种并行的图像增强预处理结构;其次,在Faster R-CNN中引入频域注意力机制,设计了一种新型红外目标检测主干网络;最后,引入路径增强金字塔结构,融合多尺度特征进行预测,利用底层网络丰富的位置信息,提升检测精度。在红外飞机的数据集上进行实验,结果表明,改进后的Faster R-CNN目标检测框架比以ResNet50为主干的算法的AP提升了7.6%。此外,与目前主流算法对比,本文算法提高了红外目标的检测精度,验证了算法改进的有效性。     

多尺度特征融合的目标检测算法研究

针对Faster R-CNN在多尺度目标检测时易出现小目标漏检和误检的问题,提出一种改进的多尺度目标检测算法。将利于小目标检测的低层网络和利于大尺度目标检测的高层网络进行多尺度特征融合;在训练阶段,采用在线难例样本挖掘算法维护难例样本分类池,加速神经网络模型迭代收敛,解决训练样本不均衡、训练效率低下的问题;计算并统计待检测目标的尺度大小,合理控制用于生成候选区域的锚框尺寸,提高模型泛化能力。采用PASCAL VOC2012公开数据集和类人足球机器人自建数据集进行算法验证,实验结果表明,相比Faster R-CNN算法,本算法的平均检测精度在上述数据集下分别提高了8.61和5.47个百分点。     

基于改进Faster RCNN的零件识别方法研究北大核心CSCD

针对传统机器视觉检测识别方法受到装配零件之间相互遮挡、零件不同位姿、外部光照强度、小目标漏检影响,检测准确率不高的问题,提出了一种改进的Faster RCNN(region-based convolutional neural networks)零件识别方法。首先使用提取特征更好的ResNet101网络代替原始Faster RCNN模型中的VGG16特征提取网络;其次针对原始候选区域网络,增加2个新的锚点并重新设置候选框的纵横比,以得到15种尺寸不同的锚点;然后针对传统非极大值抑制(non-maximum suppression,NMS)方法因删除交并比大于阈值的候选框而出现漏检问题,使用Soft-NMS方法替换传统的NMS方法,从而减少密集区域漏检的情况;最后在训练模型阶段采用多尺度训练策略,降低漏检率,提高模型准确率。对零件的识别实验结果表明:改进后的Faster RCNN模型能够达到96.1%的精度,较原始模型提升了4.6%,可以满足光照较强、存在水渍干扰等较为复杂环境中零件的识别检测。     

基于改进旋转区域生成网络的遥感图像目标检测

为了实现遥感图像中目标的快速准确检测,解决遥感图像目标带有旋转角度的问题,在卷积神经网络理论的基础上,将旋转区域网络生成融入到Faster R-CNN网络中,提出了一种基于Faster R-CNN改进的遥感图像目标检测方法。相对于主流目标检测方法,本文算法针对遥感图像中的大多数目标都具有方向性不定且相对聚集的特点,在区域候选网络中加入了旋转因子,以便能够生成任意方向的候选区域;同时,在网络的全连接层之前增加一个卷积层,以降低其特征图参数,增强分类器的性能,避免出现过拟合。将本文算法与几种主流目标检测方法进行对比分析后可知,本文算法因融合了多尺度特征及旋转区域网络的卷积神经网络所提取的特征,能得到更好的检测结果。     

基于改进Faster R-CNN的空中目标检测

相比传统图像目标检测算法,基于大数据和深度学习的检测算法无须人工设计特征,且检测性能更稳健。在防空应用背景下,自建了空中目标静态和视频图像数据集用于训练和测试,改进了基于深度学习的目标检测框架Faster R-CNN,将其专用于空中目标检测。结合空中目标检测任务的特点和需求,提出膨胀积累、区域放大、局部标注、自适应阈值、时空上下文等改进策略,弥补了Faster R-CNN对弱小目标和被遮挡目标不敏感的缺陷,提高了检测速度和精度。实验表明,改进后的Faster R-CNN在应对弱小目标、多目标、杂乱背景、光照变化、模糊、大面积遮挡等检测难度较大的情况时,均能获得很好的效果。数据集上测试结果的平局准确率均值较改进之前提高了16.7%,检测速度提高了3倍。     

基于双流融合网络的单兵伪装偏振成像检测

单兵伪装目标与背景之间在颜色上有高度的相似性,目标具有高度复杂的姿态,而且存在遮挡问题,这些问题使得单兵伪装目标检测较传统目标检测有很大的挑战性。针对上述问题,提出基于偏振信息和RGB(Red, Green, Blue)信息的深度学习算法,同时构建单兵伪装目标偏振图像数据集CIP3K(Multicam型迷彩伪装数据集和Woodland型迷彩伪装数据集)。基于Faster R-CNN(Faster Region-Convolutional Neural Network)提出一种双流特征融合网络TSF-Net,其能够融合目标偏振特征信息和RGB特征信息。在CIP3K数据集上进行大量实验,用来测试TSF-Net模型与其他检测模型的性能。实验结果表明,相较于Faster R-CNN,TSF-Net模型在两个数据集上的平均检测精度分别提高了8.2个百分点和8.8个百分点,且优于一些主流目标检测模型。     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

基于改进的Mask R-CNN的乳腺肿瘤目标检测研究

乳腺癌是全球女性死亡率最高的恶性肿瘤之一,早期发现有助于提升患者的存活率.本文利用深度学习中的目标检测网络对乳腺X线图像中的肿瘤病变区域进行定位和分类;然后选取Mask R-CNN网络作为目标检测模型,对Mask R-CNN的基准网络D-ShuffleNet进行改进,提出了一种新的网络——Mask R-CNN-II网络...     

基于背景抑制和分类校正的小样本目标检测方法

为进一步提升小样本条件下对空中来袭目标的检测识别成功率,提出一种基于背景抑制和分类校正的小样本目标检测方法。首先,针对空中来袭目标背景前景易混淆问题,在区域候选网络前端引入背景抑制模块,通过抑制背景特征和增强前景特征来减轻目标背景对检测的影响;其次,在背景抑制模块后插入特征聚合模块,聚焦目标特征,通过缓解小样本条件导致目标特征难提取、不明显的问题,校正网络模型的分类参数;最后,在检测头网络中引入对比分支,增强了类别内相似性和类别间独特性,缓解来袭目标“类间相似性高,类内差异性大”的问题,实现了对网络分类的进一步校正。实验结果表明,所提出的算法在1、2、3、5、10 shot实验中均表现最佳,平均精度分别达到28.3%、32.8%、39.9%、42.9%和56.2%,提升了小样本空中来袭目标的检测性能。     

基于可见光光谱和YOLOv2的生猪饮食行为识别

猪的进食、饮水行为是评价生猪健康程度最直接的依据,利用计算机视觉技术实时监控生猪的进食、饮水等状况对提高生猪养殖福利有重要的意义。提出一种基于可见光光谱和改进YOLOv2神经网络的生猪进食、饮水行为识别方法,该方法在生猪可见光图像序列上构建头颈模型,结合改进的YOLOv2神经网络实现真实养殖场景中的生猪目标检测,并利用位置信息对生猪的进食、饮水行为进行预判断,对符合判断的图像使用图像处理方法精准判断生猪进食、饮水行为。首先在生猪图像序列上构建头颈模型,利用未被遮挡的头颈作为检测目标,该模型能有效改善生猪目标检测过程的遮挡问题,且能够精准定位生猪的头部,为后续识别进食饮水行为提供辅助。然后采用国际主流神经网络YOLOv2作为目标检测的基础网络模型,改进其激活函数,实现快速精准地生猪目标检测。在使用网络训练前,对生猪数据集使用K-means算法进行聚类候选边框,其mAP值和Recall值相比于最初YOLOv2提高了3.94%和5.3%。为了增加网络对输入变化或噪声的鲁棒性,对比使用ReLU, Leaky-ReLU和ELU三个激活函数的性能,可以发现使用ELU的性能比前两者有明显提高。将改进后的网络与原YOLOv2, SSD模型以及Faster R-CNN相比,该模型的mAP值达到90.24%, Recall值达到84.56%,均优于后三者。最后利用目标检测得到的生猪头颈位置信息,对生猪的进食、饮水行为进行预判断。当图像中进食、饮水区域出现生猪时,对该图进行背景差分法、形态学运算等处理,并结合饮水区域停留时间等对生猪的进食、饮水行为进行更精准判断。实验表明:利用该方法判断生猪的进食、饮水行为,准确率分别达到94.59%和96.49%,均优于直接使用传统方法判断的结果,可应用于实际养殖过程中辅助养殖人员进行生猪管理。     

基于改进SSD的交通大场景多目标检测

现有目标检测算法在复杂大场景下多目标检测的精度和实时性难以平衡,为此,受深度神经网络卷积核形态启发,模仿了人眼视觉机理,改进了基于深度学习的目标检测框架,即单向多框检测器(SSD),提出了多目标检测框架——自适应感知SSD,将其专用于复杂大交通场景多目标检测。设计了由多形态、彩色Gabor构成的特征卷积核库,训练筛选最优特征提取卷积核组替换原有网络的低级卷积核组,从而提高检测精度;将单图像检测框架与卷积长短期记忆网络结合,通过瓶颈-长短期记忆层提炼传播帧间的特征映射,实现网络帧级信息的时序关联,降低计算成本,从而实现对视频中受强干扰影响目标的追踪识别;同时加入自适应阈值策略,降低漏警率和虚警率。实验结果表明,相比于其他基于深度学习的目标检测框架,各类目标识别的平均准确率提高了9%～16%,平均准确率均值提高了14%～21%,多目标检测率提高了21%～36%,检测帧率达到32frame·s-1,实现了算法精度与实时性的平衡,取得较好的检测识别效果。     

改进的YOLO V3算法及其在小目标检测中的应用

针对图像中小目标检测率低、虚警率高等问题,提出了一种YOLO V3的改进方法,并将其应用于小目标的检测。由于小目标所占的像素少、特征不明显,提出对原网络输出的8倍降采样特征图进行2倍上采样,将2倍上采样特征图与第2个残差块输出的特征图进行拼接,建立输出为4倍降采样的特征融合目标检测层。为了获取更多的小目标特征信息,在YOLO V3网络结构Darknet53的第2个残差块中增加2个残差单元。利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析。用改进的YOLO V3算法和原YOLO V3算法在VEDAI数据集上进行对比实验,结果表明改进后的YOLO V3算法能有效检测小目标,对小目标的召回率和检测的平均准确率均值都有明显的提升。     

改进YOLOv4的铁路沿线遥感影像地物检测方法

近年来,高分遥感影像技术的快速发展为铁路沿线地物检测提供了一种重要技术手段。基于回归的一阶段目标检测方法YOLOv4具有检测精度高、速度快等优点,但用于遥感影像检测时仍然存在部分细节特征信息丢失导致的小目标漏检,以及进行大面积地物检测时效率低的问题。为此,提出改进YOLOv4网络模型对遥感影像铁路沿线地物进行检测。首先,设计由卷积、批量归一化和Mish激活函数组成的CBM(convolution batch normalization mish)模块,并采用DCBM(double CBM)模块作为密集连接网络(DenseNet)的传输层用于YOLOv4网络特征提取以实现地物特征传递和信息重用,增强小目标地物的检测能力,降低漏检率;然后针对YOLOv4在大面积检测时效率不高和模型参数空间较大的缺陷,将压缩激励SE(squeeze excitation)通道注意机制用于骨干网中跨阶段局部单元(cross stage partial, CSP)的每个残差单元之后,减少SE注意模块的重复调用次数,使其能够在提高网络性能的同时降低模型参数量从而提高检测效率;最后,针对长条形状的铁路目标提取困难问题,在网络结果输出之前引入改进的通道空间注意力机制ICBAM(improved convolutional block attention module) 保留原始特征信息,解决铁路目标特征提取能力差的问题,提高铁路中大尺度目标的检测效率。为验证所提方法的有效性,选取2 048张分辨率为1 920×1 080的某段铁路沿线遥感影像地物样本数据,将其中的铁路、房屋、楼宇建筑、农田和水池作为检测目标进行实验,并与当前流行的目标检测方法进行对比。结果表明,改进方法不仅增强了对小目标地物的检测能力,提高了地物检测精度和速度,而且提高了大尺度目标的检测效率。与YOLOv4算法相比,mAP提高了2.11%,准确率提高了2.93%,召回率提高了3.79%,模型大小减少了8.53%。所提方法为当前应用高速铁路沿线遥感影像地物快速精准检测提供了有效方法。     

基于动态感受野的航拍图像目标检测算法

针对现有基于平视图像目标检测算法在航拍图像上检测精度不高的问题,提出一种具有动态感受野的单阶段目标检测算法。该算法采用SE-ResNeXt作为特征提取网络,在RetinaNet结构中添加bottom-up短连接通路和全局上下文上采样模块,增强了检测层特征的结构性和语义性。构造具有动态感受野的检测子网络,动态选取适当尺度的感受野特征进行目标检测。在实景航拍数据集上进行实验评测,并与相关算法作对比,结果表明改进算法在数据集上表现良好,性能指标具有明显提升,即使在光线昏暗、下视视角、斜下视视角和密集目标等场景图像中,也具有较好的检测效果。     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

一种多尺度相似性学习的目标跟踪算法研究

基于深度学习的目标跟踪算法由于其良好的性能已经成为目标跟踪领域的主流算法之一。其核心思想是进行前后帧的相似性学习从而完成模板帧与搜索帧的匹配。其中,相似性学习是影响跟踪算法性能的关键一环。以孪生网络的相似性学习为切入点,对现有的深度互相关(DW-XCorr)的相似性学习方式进行改进,提出了一种多尺度相似性学习的目标跟踪算法。该算法在SiamRPN的基础网络框架下,构造多尺度互相关(Multi-Scale Cross Correlation,MS-XCorr)模块,对原有的互相关操作进行多尺度的改进,从而增加学习特征尺度的多样性,提高了跟踪网络相似性学习的效率,最终使得算法跟踪性能有进一步提升。在实验部分,将改进后的算法与其基线进行了对比实验,该算法在成功率(Success Rate)、精度(Precision)及平均精度(Norm Precision)上均有提升,成功率提高了4.3%,精度提高了4.4%,平均精度提高了4.0%。实验表明,多尺度互相关模块相较于深度互相关模块具有更强的相似性学习能力,提出的多尺度相似性学习的目标跟踪算法在目标光照、形态变化、遮挡以及干扰等复杂场景下具有更...     

面向多模态遥感影像旋转差异的智能匹配方法

遥感影像配准是图像处理技术领域的重要研究内容,影像间的大旋转差异严重影响匹配精度的提高。针对这个问题,提出基于双分支神经网络的旋转差异校正方法。利用相位一致性信息特征值与方向角提取影像的旋转特征向量(RVPC);构建并训练用于预测影像间旋转差异角的双分支神经网络R-FCN;将RVPC输入网络并预测旋转差异角,最后基于预测角对影像进行仿射校正。R-FCN网络在SEN1-2数据集上,5°(±2.5°)精度训练准确率达98.17%。     

用于空中红外目标检测的增强单发多框检测器方法

提出了一种用于空中红外目标检测的增强单发多框检测器(SSD)方法。分析了感受野与特征图层数的关系,同时采用池化和转置卷积操作的特征图双向融合机制,从整体上增强了特征的表达能力。通过引入浅层特征图的语义增强分支,并在高分辨率特征图上增加预测框,可提升小尺寸目标的定位精度。在VOC2007小目标和空中红外目标数据集上进行了对比测试,平均精度分别提高了7.1%和8.7%,此时检测速度略有下降。结果表明,增强SSD可在空中红外目标检测中获得较好的性能。     

融合结构重参数化变换的气体泄漏红外检测

针对常规工业气体泄漏检测装置需泄漏扩散到一定范围并与传感器接触时才能响应的不足,提出一种融合结构重参数化变换的红外非接触式检测网络模型GRNet。GRNet模型采用Mosaic-Gamma变换的预处理方法增加泄漏样本数量并提高图像对比度以增强模型的鲁棒性;通过K-means聚类分析出适用于气体泄漏红外检测的候选框以预置模型参数;优化定位损失函数以提高模型对泄漏区域的定位准确性;采用改进后的轻量化网络RepVGG模块重构特征提取网络增强模型的特征提取能力,以实现轻量化并提高检测精度。实验结果表明,GRNet模型对氨气泄漏的平均检测精度达到94.90%,单张图像平均检测时间达到3.40 ms。采用伪色彩映射实现泄漏浓度的视觉感知效果,采用PyQt5将GRNet模型进行封装实现气体泄漏红外检测系统界面的可视化并在Jetson Nano B01嵌入式实验平台部署该模型,验证了实际工程应用的可行性和有效性,为开发气体泄漏非接触探测装置以保障涉气企业的安全生产和稳定运行提供一种有效的检测算法。     

一种基于GAN和自适应迁移学习的样本生成方法

研究了基于生成式对抗网络(GAN)和跨域自适应迁移学习的样本生成和自动标注方法。该方法利用自适应迁移学习网络,基于已有的少量可见光图像样本集,挖掘目标在红外和可见光图像中特征内在相关性,构建自适应的转换迁移学习网络模型,生成标注好的目标图像。提出的方法解决了红外图像样本数量少且标注费时的问题,为后续多频段协同目标检测和识别获得了足够的样本数据。实验结果表明:自动标注算法对实际采集的装甲目标图像和生成的装甲目标图像各1 000张进行自动标注测试,对实际装甲目标图像的标注准确率达到95%以上,对生成的装甲目标标注准确率达到83%以上;利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。