一种基于GAN和自适应迁移学习的样本生成方法

研究了基于生成式对抗网络(GAN)和跨域自适应迁移学习的样本生成和自动标注方法。该方法利用自适应迁移学习网络，基于已有的少量可见光图像样本集，挖掘目标在红外和可见光图像中特征内在相关性，构建自适应的转换迁移学习网络模型，生成标注好的目标图像。提出的方法解决了红外图像样本数量少且标注费时的问题，为后续多频段协同目标检测和识别获得了足够的样本数据。实验结果表明:自动标注算法对实际采集的装甲目标图像和生成的装甲目标图像各1 000张进行自动标注测试，对实际装甲目标图像的标注准确率达到95%以上，对生成的装甲目标标注准确率达到83%以上；利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。     

基于长短期记忆网络与特征融合的微表情识别算法

为了提高视频识别领域中微表情识别的准确率,提出了一种基于长短期记忆网络与特征融合的微表情识别算法。提取微表情图像的颜色特征和纹理特征,将所提取的空间特征传入卷积神经网络进行融合。设计了学习时域相关性的长短期记忆网络结构,将融合的特征集传入长短期记忆网络学习微表情的时域特征,将长短期记忆网络接入分类器网络识别出微表情的类标签。在两个公开的微表情识别数据集上完成了验证实验,结果显示算法实现了较好的微表情识别性能,在SMIC数据集和CASMEⅡ数据集上的准确率分别达到64.7%和65.8%.     

基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测

提出一种迁移学习与深度学习相结合的钢板裂纹缺陷检测方法。首先,通过非负矩阵分解（NMF）建立红外缺陷数据集的目标域特征空间,以余弦相似度为衡量指标选取可见光缺陷数据集的源域样本,对深度学习模型进行预训练,并将模型权重参数迁移至目标域,实现相似领域的知识迁移;然后,在YOLO v5算法基础上引入自适应空间特征融合（ASFF）模块,提高缺陷检测精度。实验结果表明：所提方法对钢板脉冲涡流热成像裂纹缺陷的检测精度达到98.6%,可实现不同长度裂纹的准确识别与定位。     

基于纹理特征的挠性印制电路板焊盘缺陷检测

纹理特征反应了物体表面微观几何形貌与颜色的波动程度。针对挠性印制电路(FPC)焊盘纹理特征的提取与检测,本文提出基于灰度与纹理梯度二维分布特征的方法建立描述纹理特征的熵统计量,该统计量能够灵敏地反映、量化焊盘金面正常或异常情况下的不同表面视觉特征,当用于缺陷检测时,可准确地识别出焊盘缺陷,检测准确率高达96.7%,50个焊盘的平均检测时间为300ms,满足在线检测的要求。     

基于可见光谱的鱼苗体长估测方法研究

在鱼苗养殖过程中,同一养殖池会出现个体大的鱼苗攻击个体小的鱼苗,个体小的鱼苗会出现伤病甚至死亡,造成经济损失,鱼苗分塘和售卖价格主要与其体长参数相关,因此需要对不同大小的鱼苗进行分离。鱼苗分类主要依赖于不同大小的网筛,费时费力,且容易对鱼苗造成损伤。针对传统人工分离方法效率低下并且缺乏科学指导的问题,本文提出了基于可见光谱的鱼苗体长估测方法研究,能够根据鱼苗图像计算鱼苗长度并进行分类。为了精确无损的获取鱼苗的体长,提出了基于迁移学习ResNet50模型的鱼苗体长估测方法。首先采集在同等高度条件下拍摄的不同长度鱼苗图像,同时手工测量鱼苗的实际长度作为数据集的标签,用四种迁移学习模型AlexNet, VGG16, GoogLeNet, ResNet50对鱼苗体长进行估算,通过验证集准确率,测试集准确率,以及不同方法的运行时间三个指标进行分析, AlexNet模型验证集准确率90.04%,测试集准确率89.82%,运行时间52 min 3 s; VGG16模型验证集准确率91.01%,测试集准确率91.17%,运行时间131 min 37 s; GoogLeNet模型验证集准确率88.02%,测试集准确率88.39%,运行时间45 min 2 s; ResNet50模型验证集准确率91.92%,测试集准确率91.09%,运行时间99 min 17 s;确定方法ResNet50。该模型具有50层的Residual Network架构,用迁移学习的方法将在ImageNet上训练得到的卷积层的参数传递到训练所使用的模型上,并调整softmax层适应本文问题。对来自10种不同长度的6 677个样本的鱼苗数据集上的实验结果表明该方法可以有效地用于鱼苗分类,通过对模型ResNet50的迁移学习的层数,迭代次数,学习率,最小批处理尺寸(Mini Batch Size)进行微调以优化模型。实验结果表明,当迁移学习模型的迁移层数为30,迭代次数为6,学习率为0.001, Mini Batch Size为10时,方法效果达到最优,模型的验证集准确率94.31%,测试集的准确率达到93.93%。该算法与传统的图像处理方法相比估算鱼苗体长准确率提高2%左右。在未来实际生产场景中,可以将该方法嵌套入鱼苗体长分离装置之中,真正的做到将科研落地,投入到实际的生产之中,减少鱼苗损伤,为未来的无人渔场奠定基础。     

基于多特征融合和软投票的遥感图像河流检测

河流是遥感图像中一种非常典型且重要的地理目标,对河流的自动检测在水资源调查及水利规划等方面有重大意义。在此提出了一种基于多特征融合和软投票方法的河流目标检测算法,该算法首先将图像分割成胞元,提取胞元的局部熵、纹理、光谱和颜色等特征,利用随机森林训练和分类,并利用基于形态学运算结合多判据投票法优化机器学习的粗检测结果,对优化后的粗检测结果利用水平集活动轮廓逼近河岸线。实验表明,该算法检测效果良好,对测试集的检测准确率达97.44%,在复杂背景下可以有效检测出河流。     

基于深度学习的光学元件表面疵病识别北大核心CSCD

精密光学元件表面疵病的人工检测分类方法效率低,且准确率易受疲劳等人工因素影响,而基于传统机器学习方法的分类准确率有待进一步提高。提出了一种基于深度学习卷积神经网络的光学大尺寸元件表面疵病识别方法。首先,通过现场实验采集并整理了大尺寸镜面疵病样本;接着,基于单通道灰度图像构建融合梯度的三通道图像,挖掘更深入的特征表达;最后,基于经典的LeNet网络,提出了面向激光惯性约束聚变(ICF)的光学元件表面疵病识别网络ICFNet,该网络不需要复杂的手工特征设计和提取,仅使用原始灰度图像就实现高效的疵病识别。实验结果表明:针对包含麻点、划痕和灰尘的三类疵病数据,ICFNet相较于使用多项特征和支持向量机的传统方法拥有较好的分类准确率。     

近红外光谱分析的实木板材节子形态反演

节子影响着实木板材力学性能,如何准确刻画出节子在实木板材内部的形态,进而计算出实木板材力学性能是一个具有应用价值的科学问题。目前,基于机器视觉的缺陷检测方法实现了实木板材表面缺陷检测与识别,超声波检测方法可以判断出实木板材中缺陷的存在,X-ray虽然可以全面的掌握实木信息,但其检测成本较高。近红外光谱分析具有结构丰富,测试方便、无损快速的特点,但是,光谱中存在的冗余与非线性信息影响建模精准度,提出一种基于Isomap和小波神经网络融合的节子倾角辨识方法,利用Isomap完成光谱信息非线性降维,运用小波神经网络建立节子边缘的物质成分与倾角间的非线性关联,通过边缘多点倾角反演出节子在实木板材内部的形态。首先,采用Pablo提出的节子斜圆锥模型,并结合图像处理提取实木板材表面的节子缺陷区域,计算出相应中心位置;提取节子边缘的多点位置,采集光谱信息并完成基线漂移和去噪处理;然后,利用K-S划分校正样本集,运用主成分与马氏距离结合剔除异常光谱;接着,运用Isomap方法设定降维数和邻近数,通过PLS完成不同光谱维度的快速建模,进而迭代出理想光谱特征;最后,应用具有局部信息优化能力的小波神经网络建立节子边缘光谱与该点倾角间的非线性关系,构建出1个12输入、1输出的网络模型,并运用梯度修正网络参数;将节子倾角预测结果输入Solidworks软件完成节子椎体形态的三维呈现。实验采用落叶松实木板材作为对象,选取并采集了40个节子的160组光谱数据,通过测量上、下表面节子的相对空间位置,计算出边缘点倾斜角数值并进行建模分析,实验结果表明：采用S-G平滑与一阶导数进行光谱预处理,得到的光谱轮廓更清晰、吸收峰更明显;采用Isomap特征降维方法,选取非线性降维数d=12、近邻数k=19时,SECV最小,可以消除光谱信息的冗余数据;采用小波神经网络建立的节子倾角非线性模型,其预测相关系数为0.88,预测标准差为7.65,相对分析误差为2.14;可以实现节子在实木板材内部的形态反演,可以为力学性能预测提供定量化分析手段。     

基于深度注意力机制的多尺度红外行人检测

针对多尺度目标检测问题,提出一种基于深度注意力机制的多尺度红外行人检测方法。首先,选取较为轻量级的Darknet53作为深度卷积特征提取的主干网络,设计四尺度的特征金字塔网络负责目标的定位和分类,通过引入更低层高分辨率的特征图来改善对小尺度行人目标的检测性能。其次,利用注意力模块替代特征金字塔网络中传统的上采样模块,生成基于卷积特征的局部显著图,可以有效抑制不相关区域的特征响应,突出图像局部特性。最后,利用Caltech行人数据集和U-FOV红外行人数据集进行两次迁移训练,以提高模型的泛化能力,丰富行人的样本特征。实验结果表明,所提方法在U-FOV数据集上的识别平均准确率达到了93.45%,比YOLOv3高26.74个百分点,能检测到的最小行人像素为6×13。在LTIR数据集上的定性实验结果验证,所提模型具有良好的泛化能力,适用于多尺度红外行人的检测。     

纹理高阶分形特征在海面舰船目标检测中的应用

针对复杂海面环境下的舰船目标检测，分析了高阶分形特征缝隙在纹理分类中的应用，提出了一种基于分形维与缝隙的目标检测新方法，并利用该方法对海面舰船目标进行了检测。实验结果表明利用纹理分形维与缝隙特征进行海面舰船目标检测，可以取得较单一分形维检测更高的准确率。     

基于神经网络的零件缺陷机器视觉识别系统

零件缺陷检测是保证零件使用安全的重要手段。传统的零件缺陷检测法需要有操作人员参与其中,易受主观因素影响,检测的效率及精度得不到良好的保证。而采用机器视觉技术的检测法可实现实时在线的自动检测,无需人工参与,这就极大的提高了生产效率。本文以小轴承表面为研究对象,针对微小轴承的表面结构、尺寸、检测精度和缺陷特征,设计了基于BP神经网络的零件缺陷机器视觉在线自动检测系统,其采用机器视觉技术,构建了BP神经网络检测识别模型,采用进行图像特征提取的间接识别方法,对微小轴承缺陷进行实时检测。实验结果证明了人工神经网络模型的检测能力的可靠性。     

基于频域变换的MEMS声学薄膜缺陷检测算法

The micro-electro-mechanical system (MEMS) acoustic film has extremely high requirements for tape-out, storage and packaging environments, and its surface defects will affect the quality and performance of MEMS devices. The image defects detection is an effective non-contact optical detection means that can effectively improve the yield rate of MEMS production. However, the periodic structure texture of the MEMS devices surface will interfere with defect detection. A acoustic film defect detection algorithm based on frequency domain transformation was proposed. By calculating the gradient distribution of spectrogram and establishing the Boolean mask, the dominant frequency components corresponding to the periodic structure texture were eliminated. The residual spectrograms were subjected to a Fourier inversion to reconstruct the defect images. The reconstructed images were decomposed by single-layer Haar wavelet to obtain the low-frequency sub-band image and the defect information was extracted by simple threshold segmentation. The defect detection effects of different types of MEMS acoustic film were showed. The experimental results show that it is reasonable to set the zoom constant in the range of 0.7~1.0.     

An artificial immune approach for optical image based vision inspection

This paper presents a novel approach of visual inspection for texture surface defects. The approach uses artificial immune theory in learning the detection of texture defects. In this paper, texture defects are regards as non-self, and normal textures are regarded as self. Defect filters and segmentation thresholds used for defect detection are regarded as antibodies. The clonal selection algorithm stemmed from the natural immune system is employed to learn antibodies. Experimental results on textile image inspection are presented to illustrate the merit and feasibility of the proposed method.     

基于频域纹理消除的结构性纹理缺陷检测方法

针对金属加工表面等结构纹理表面图像缺陷检测问题，结构纹理的存在会对缺陷（比如划痕）检测带来干扰，该文开展在频率域中消除背景纹理的方法来进行缺陷检测的研究。首先基于傅里叶变换的图像复原技术，空间域图像中的结构性纹理对应傅里叶域中高能频率分量，使用最小二乘法直线拟合操作去除，并将这些能量设置为零，经傅里叶逆变换为空间域图像。在复原的图像中，原始图像中的结构纹理区域将变为近似的均匀灰度级，但其中缺陷部分将被保留下来。再使用统计过程控制来设置阈值的方法就能从复原图像中分离出缺陷。最后在一系列的结构性纹理图像上的实验证实了所提方法可行且有效。     

带钢表面质量在线检测系统研究与设计

为了提高现有带钢表面质量检测技术在缺陷检测精度与识别率上存在的问题,设计了基于机器视觉技术的带钢表面质量自动检测系统,从系统整体构成、视觉传感系统、软件开发及检测与分类算法等方面进行了深入地研究,实现了包括图像的采集、传输、缺陷的实时检测和定位,缺陷的分类以及缺陷的存储与报警等功能。实验结果表明,本系统可以对带钢表面常见的边裂、氧化、结疤等几十种不同类型的缺陷进行精确地检测。与现有的缺陷检测技术相比,本系统中设计的算法在检测精度和实时吞吐量上都具有很大优势。     

基于机器视觉的布匹瑕疵在线检测

为实现图案布匹瑕疵在编织过程中的实时检测,提出一种通过区域差影自动分割瑕疵区域的检测方法。通过求取水平和竖直两方向距离叠加函数极值,并对极值做权重分析,精确求取纹理基元周期;根据所求纹理基元周期确定区域差影的区域大小,并对区域差影图像求取梯度,再进行标记分水岭分割,能够快速准确地分割出纹理瑕疵区域。实验结果表明:该算法能够准确地检测出纹理布匹瑕疵的位置,检测一帧用时200 ms,准确率均达98%以上,实时性强,检测精度高,满足工业现场要求。     

一种基于2D-CNN的激光超声表面缺陷检测方法

激光超声表面缺陷检测的过程中,缺陷的定量表征通常依赖于操作者的判断,易受到人为因素干扰,致使检测结果不稳定。针对这一问题,提出一种基于图像识别的二维卷积神经网络（2D-CNN）的缺陷自动分类检测方法。利用有限元方法模拟激光超声检测过程,并采集超声信号数据用于训练分类模型;使用连续小变换（CWT）处理超声信号得到小波时频图,以小波时频图作为输入训练卷积神经网络（CNN）分类模型,实现对表面缺陷深度的自动分类。验证结果表明:提出的检测方法能够对不同深度的缺陷准确分类,测试的平均准确率达到97.3%;构建的CNN分类模型能够自主学习输入图像的缺陷特征并完成分类,提高了检测结果稳定性,为激光超声缺陷检测的自动化分析处理提供了新的思路。     

基于机器视觉的圆锥滚子外观缺陷检测系统研究

回顾了近年来国内外工业生产中圆锥滚子外观缺陷分割领域的研究进展,为了实现更加简单高效的滚子外观缺陷检测,设计了一套合适的光学成像系统用于图像采集,提出了最大类间方差法和局部阈值算法的缺陷分割,对分割后图像进行特征提取并进行SVM分类。实验结果表明,该算法有较高的准确率和较好的适应性,优于传统的滚子外观缺陷分割算法,可以满足工业生产中的实际需求。     

基于空耦超声Lamb波的金属板状结构内部缺陷检测方法

针对接触式超声检测方法在金属板结构内部缺陷实际工程检测中存在的环境要求高、效率低、操作难度高等问题,提出了空耦超声Lamb波检测方法,该方法能更好地适应现场应用环境,提高检测效率,减少传感器数量。通过有限元仿真和实验分析比较了空耦超声检测与接触式超声检测两种方法接收到的信号和成像效果。结果表明:有限元仿真和实验中,空耦超声检测方法对缺陷位置的定位误差分别为2 mm和3.6 mm,接触式检测方法对缺陷位置的定位误差分别为2 mm和11.3 mm,空耦检测具有较高的定位精度;单侧激励条件下,适合采用A0模态Lamb波对板内缺陷进行检测;空耦超声检测可以通过调整信号接收角度接收单一模态Lamb波,避免伪像产生。该方法为后续金属板状结构内部缺陷的空耦超声检测提供参考。     

基于分布式超声无损检测方法的零件内部缺陷检测

超声检测广泛应用于工业检测,比如超声相控阵检测法和超声A扫应用于零件内部缺陷检测。然而,这些方法可以检测出缺陷位置却很难精确地检测缺陷尺寸,缺陷定量成了急需解决并且很有意义的问题。本文提出了一种分布式超声无损检测方法,将超声探头均匀布置在检测表面,每一个超声探头可以同时发射和接收超声信号,通过对接收到的信号进行处理来重构缺陷轮廓。基于分布式超声无损检测方法,重构零件的人造缺陷并建立相应的声学仿真模型。通过多项式拟合法和聚类法分别处理实验和仿真所获得的数据并重构缺陷轮廓。实验结果和仿真结果显示重构的椭圆形缺陷和正方形缺陷具有一定的精度。结果表明分布式超声无损检测方法有潜在的应用价值和理论意义。