基于空间分离表征GAN的遥感图像模式互转

针对合成孔径雷达图像与光学遥感图像模式差异大、相互转换困难的问题,基于现有空间分离图像转换框架,提出了一种基于空间分离表征的循环一致性生成对抗网络(GAN)。以更深的网络层和跳跃连接完成图像风格和内容分离,通过学习内容映射关系,完成内容特征转换,而后组合目标风格特性实现图像转换。利用PatchGAN判别器,强化模型的图像细节信息生成能力,并新增目标误差损失和生成重建损失将转换任务限制为一对一映射,减少信息添加,约束生成网络。在SEN1-2、SARptical、WHU-SEN-City数据集上进行实验验证,相较于其他图像转换算法,所提方法能够有效实现两类遥感图像互转,生成图像清晰度高、细节特征完整、真实感强。     

一种基于GAN和自适应迁移学习的样本生成方法

研究了基于生成式对抗网络(GAN)和跨域自适应迁移学习的样本生成和自动标注方法。该方法利用自适应迁移学习网络，基于已有的少量可见光图像样本集，挖掘目标在红外和可见光图像中特征内在相关性，构建自适应的转换迁移学习网络模型，生成标注好的目标图像。提出的方法解决了红外图像样本数量少且标注费时的问题，为后续多频段协同目标检测和识别获得了足够的样本数据。实验结果表明:自动标注算法对实际采集的装甲目标图像和生成的装甲目标图像各1 000张进行自动标注测试，对实际装甲目标图像的标注准确率达到95%以上，对生成的装甲目标标注准确率达到83%以上；利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

基于条件生成对抗网络的图像去雾算法

为了提高雾天图像的去雾效果,提出了一种基于条件生成对抗网络的图像去雾算法.通过端到端可训练的神经网络对合成的室内和室外数据集进行训练,为了捕捉图像中更多的有用信息,在生成网络中设计了生成器和判别器架构,利用预训练的视觉几何组特征模型和L_1-正则化梯度对损失函数进行修正,并在判别器的最后一层引入Sigmoid函数用于特征映射,以便进行概率分析可归一化.利用合成数据集对损失函数进行训练,得到新的损失函数的参数,然后利用室外自然有雾图像数据集对训练得到的新的损失函数进行测试.实验结果表明:所提算法有效解决了去雾图像的颜色失真、过饱和、视觉伪像等问题,生成效果更好的去雾图像.     

基于声发射和GAN-CNN的铝合金管道法兰 连接松动泄漏检测*

面向管道法兰连接松动引起的泄漏检测需求,为解决数据样本不足和减少特征指标手动选取的繁琐环节。本文,考虑到生成性对抗网络（GAN）作为数据扩充工具,已被证明能够生成与真实数据相似的样本数据。同时,卷积神经网络（CNN）作为一种深度学习方法,为自动提取数据的特征提供了一种有效的方法。开展了基于GAN和CNN的铝合金管道法兰连接松动泄漏检测研究。首先,搭建管道泄漏标定和数据采集实验台,利用声发射技术获取不同等级的原始泄漏信号。其次,采用GAN生成样本数据扩充原始数据。同时,为了评估生成模型的性能,引入统计特评估生成质量。最后,将生成的样本数据与原始数据设置为不同训练集,基于卷积神经网络构建智能分类检测模型,应用于管道泄漏检测。同时,分类检测结果与小样本智能分类方法SVM进行了比较,实验结果表明,基于GAN和CNN构建的智能分类模型可显著提高管道法兰连接松动泄漏检测精度。     

基于半监督生成对抗网络X光图像分类算法

利用半监督学习体系结构中的生成对抗性网络,围绕标注数据稀缺性的问题进行研究,在传统无监督生成对抗网络的基础上用softmax替代最后的输出层,使其扩展为半监督生成对抗网络。对生成样本定义额外的类别标签,用于引导训练,采用半监督训练方式对网络参数进行优化,并将训练得到的判别网络运用于X光图像分类中。对于胸部X光图像,结合自动化分类诊断选取了6种肺部疾病的X光前视图进行实验,结果表明:所提算法提高了利用标注数据的监督学习性能,与其他半监督分类方法相比具有优越的性能。     

基于图像衍生的红外无人机图像仿真方法研究

对无人机群的红外视频进行监视是安防和军事领域的新热点。由于复杂背景下无人机图像获取难度大,图像数量难以满足相关算法的模型训练和验证等需求,因此提出一种基于图像衍生的红外无人机图像仿真方法。采用该方法对红外无人机模板图像与红外背景图像进行混合,从而生成大量不同背景下的无人机目标图像。针对图像混合技术受背景噪声影响严重、无人机目标边缘模糊和合成图像调和度低等问题,采用一种无监督的生成式对抗网络来生成调和度较高的灰度约束图像,将其与目标梯度图像作为联合约束来求解高斯-泊松方程,得到与真实图像特征一致性较高的混合图像。实验结果表明,所提方法生成的混合图像具有较高的图像调和度和视觉真实性,说明所得图像作为扩充样本可有效提高机器学习算法的性能。     

一种基于图像融合和卷积神经网络的相位恢复方法

相位恢复法利用光波传输中某一(或某些)截面上的光强分布来传感系统波前,其结构简单,不易受震动及环境干扰,被广泛应用于光学遥感和像差检测等领域.传统相位恢复法采用迭代计算,很难满足实时性要求,且在一定程度上依赖于迭代转换或迭代优化初值.为克服上述问题,本文提出了一种基于卷积神经网络的相位恢复方法,该方法采用基于小波变换的图像融合技术对焦面和离焦面图像进行融合处理,可在不损失图像信息的同时简化卷积神经网络的输入.网络模型训练完成后可依据输入的融合图像直接输出表征波前相位的4-9阶Zernike系数,且波前传感精度均方根(root-mean-square,RMS)可达0.015λ,λ=632.8 nm.研究了噪声、离焦量误差和图像采样分辨率等因素对波前传感精度的影响,验证了该方法对噪声具有一定鲁棒性,相对离焦量误差在7.5%内时,波前传感精度RMS仍可达0.05λ,且随着图像采样分辨率的提升,波前传感精度有所改善,但训练时间成本随之增加.此外,分析了实际应用中,当系统像差阶数与网络训练阶数略有差异时,本方法所能实现的传感精度,并给出了解决方案.     

基于空间光调制器的多层图像的构建与可视化研究

 为解决实时直观地观察多层再现图像的问题,提出利用发光材料实现其可视化.针对由沿光轴方向的二维图层组成的空间图像,利用高效、快速的三维Gerchberg-Saxton算法,得到位相型计算全息图,并通过计算机进行了数字模拟再现.阐述了三维Gerchberg-Saxton算法的流程,并搭建了基于液晶空间光调制器的位相全息图光学再现与可视化光路.利用液晶空间光调制器的灰度-位相曲线把计算全息图转换为灰度图,加载在液晶空间光调制器上,再现出高质量的三维光场,同时利用量子点材料的荧光特性实现了图像的可视化.实验结果表明,光学再现与计算机模拟结果较吻合.该技术在医学、军事、三维显示、微加工以及显微技术等领域有重要应用价值.     

基于循环生成对抗网络的大视场显微成像方法

提出了一种利用循环生成对抗网络实现由大视场、低分辨率染色图像生成与之相匹配的高分辨率虚拟染色图像的方法,在完成了对细胞虚拟染色的同时,解决了传统光学显微镜的大视场与高分辨率两个目标无法同时满足的问题。首先,进行了理论验证,通过对选定图像的分辨率分级缩放模拟实际分辨率变化,训练对应的算法模型并与真实图像相比较,结果在主观与客观上均符合设想预期。在完成理论验证的基础上,分别进行了由10倍、4倍低分辨率真实染色图像生成25倍高分辨率虚拟染色图像的实验。通过主观视觉与客观评价指标进行评价,得到结构相似性、峰值信噪比和归一化均方根误差三个指标的具体数据。结果显示,通过循环生成对抗网络生成的虚拟染色图像与真实染色图像间的相似度较高,虚拟生成效果很好。     

High quality and fast compressed sensing MRI reconstruction via edge-enhanced dual discriminator generative adversarial network

Generative adversarial networks (GAN) are widely used for fast compressed sensing magnetic resonance imaging (CSMRI) reconstruction. However, most existing methods are difficult to make an effective trade-off between abstract global high-level features and edge features. It easily causes problems, such as significant remaining aliasing artifacts and clearly over-smoothed reconstruction details. To tackle these issues, we propose a novel edge-enhanced dual discriminator generative adversarial network architecture called EDDGAN for CSMRI reconstruction with high quality. In this model, we extract effective edge features by fusing edge information from different depths. Then, leveraging the relationship between abstract global high-level features and edge features, a three-player game is introduced to control the hallucination of details and stabilize the training process. The resulting EDDGAN can offer more focus on edge restoration and de-aliasing. Extensive experimental results demonstrate that our method consistently outperforms state-of-the-art methods and obtains reconstructed images with rich edge details. In addition, our method also shows remarkable generalization, and its time consumption for each 256 × 256 image reconstruction is approximately 8.39 ms.     

基于深度反向投影的感知增强超分辨率重建模型

以SRCNN（super-resolution convolutional neural network）模型为代表的超分辨率重建模型通常都有很高的PSNR（peak signal to noise ratio）和SSIM（structural similarity）值，但其在视觉感知上并不令人满意，而以SRGAN为代表的拥有高感知质量的GAN（generative adversarial networks）模型却很容易产生大量的伪细节，这表现在其PSNR和SSIM值通常都较低。针对上述问题，提出了一种基于深度反向投影的感知增强超分辨率重建模型。该模型采用双尺度自适应加权融合特征提取模块进行特征提取，然后通过深度反向投影进行上采样，最终由增强模块增强后得到最终输出。模型采用残差连接与稠密连接，有助于特征的共享以及模型的有效训练。在指标评价上，引入了基于学习的LPIPS（learned perceptual image patch similarity）度量作为新的图像感知质量评价指标，与PSNR、SSIM一起作为模型评价指标。实验结果表明，模型在测试数据集上PSNR、SSIM、LPIPS的平均值分别为27.84、0.7320、0.1258，各项指标均优于对比算法。     

Real Sample Consistency Regularization for GANs

Mode collapse has always been a fundamental problem in generative adversarial networks. The recently proposed Zero Gradient Penalty (0GP) regularization can alleviate the mode collapse, but it will exacerbate a discriminator’s misjudgment problem, that is the discriminator judges that some generated samples are more real than real samples. In actual training, the discriminator will direct the generated samples to point to samples with higher discriminator outputs. The serious misjudgment problem of the discriminator will cause the generator to generate unnatural images and reduce the quality of the generation. This paper proposes Real Sample Consistency (RSC) regularization. In the training process, we randomly divided the samples into two parts and minimized the loss of the discriminator’s outputs corresponding to these two parts, forcing the discriminator to output the same value for all real samples. We analyzed the effectiveness of our method. The experimental results showed that our method can alleviate the discriminator’s misjudgment and perform better with a more stable training process than 0GP regularization. Our real sample consistency regularization improved the FID score for the conditional generation of Fake-As-Real GAN (FARGAN) from 14.28 to 9.8 on CIFAR-10. Our RSC regularization improved the FID score from 23.42 to 17.14 on CIFAR-100 and from 53.79 to 46.92 on ImageNet2012. Our RSC regularization improved the average distance between the generated and real samples from 0.028 to 0.025 on synthetic data. The loss of the generator and discriminator in standard GAN with our regularization was close to the theoretical loss and kept stable during the training process.     

Using physics-informed enhanced super-resolution generative adversarial networks for subfilter modeling in turbulent reactive flows

Turbulence is still one of the main challenges in accurate prediction of reactive flows. Therefore, the development of new turbulence closures that can be applied to combustion problems is essential. Over the last few years, data-driven modeling has become popular in many fields as large, often extensively labeled datasets are now available and training of large neural networks has become possible on graphics processing units (GPUs) that speed up the learning process tremendously. However, the successful application of deep neural networks in fluid dynamics, such as in subfilter modeling in the context of large-eddy simulations (LESs), is still challenging. Reasons for this are the large number of degrees of freedom in natural flows, high requirements of accuracy and error robustness, and open questions, for example, regarding the generalization capability of trained neural networks in such high-dimensional, physics-constrained scenarios. This work presents a novel subfilter modeling approach based on a generative adversarial network (GAN), which is trained with unsupervised deep learning (DL) using adversarial and physics-informed losses. A two-step training method is employed to improve the generalization capability, especially extrapolation, of the network. The novel approach gives good results in a priori and a posteriori tests with decaying turbulence including turbulent mixing, and the importance of the physics-informed continuity loss term is demonstrated. The applicability of the network in complex combustion scenarios is furthermore discussed by employing it in reactive and inert LESs of the Spray A case defined by the Engine Combustion Network (ECN).     

A Noisy SAR Image Fusion Method Based on NLM and GAN

The unavoidable noise often present in synthetic aperture radar (SAR) images, such as speckle noise, negatively impacts the subsequent processing of SAR images. Further, it is not easy to find an appropriate application for SAR images, given that the human visual system is sensitive to color and SAR images are gray. As a result, a noisy SAR image fusion method based on nonlocal matching and generative adversarial networks is presented in this paper. A nonlocal matching method is applied to processing source images into similar block groups in the pre-processing step. Then, adversarial networks are employed to generate a final noise-free fused SAR image block, where the generator aims to generate a noise-free SAR image block with color information, and the discriminator tries to increase the spatial resolution of the generated image block. This step ensures that the fused image block contains high resolution and color information at the same time. Finally, a fused image can be obtained by aggregating all the image blocks. By extensive comparative experiments on the SEN1–2 datasets and source images, it can be found that the proposed method not only has better fusion results but is also robust to image noise, indicating the superiority of the proposed noisy SAR image fusion method over the state-of-the-art methods.     

基于层的平动军事目标图像识别及运动估计

根据平动物体的运动学特征采用层的图像处理方法,实现自然环境中平动军事目标的识别和运动估计。在彩色图像的组成层上,进行图像恢复、背景噪音消除和轮廓提取等灰度图像处理。依据军事目标的特点,在各个图像组成层上采用独立的参数控制以实现最佳彩色图像处理效果。在已知目标模型的情况下,根据连续帧的处理识别确定模型的运动状态,结合平动的特点,实现目标模型的运动估计。在层上的图像处理效果优于灰度处理,利用目标模型模板,能较准确地判断目标模型运动状态。     

新型组合式X射线影像增强器

将X射线成像技术和微光成像技术相结合, 设计了组合新型X射线影像增强器。不同于常用的进口真空型X射线影像增强管,组合新型X射线影像增强器是由X射线屏和亮度增强器经过透镜耦合而成的非真空型组合器件。文章详细分析了组合新型X射线影像增强器的结构特点、成像原理和成像性能;并在结构特点、成像原理和成像性等方面对组合新型X射线影像增强器和常用的进口X射线影像增强管进行了详细的对比,比较的结果表明组合新型X射线影像增强器的成像性能略低于进口的医用X射线影像增强管,但是组合新型X射线影像增强器的性价比非常高,而且成像性能令人满意,正在向进口管不断靠近。它满足很多科研领域对X射线成像的要求,易于被广大用户接受,可以被广泛的应用在工业探伤,无损检测,机场安检等领域。     

生成式对抗网络的土壤有机质高光谱估测模型

已有的土壤有机质含量估测模型大多以光谱特征波段、线性和非线性模型为基础,较少考虑通过拓展样本数据建模集来提高模型的估测能力。为进一步提高土壤有机质高光谱反演模型估测精度,提出利用生成式对抗网络(GAN)合成伪高光谱数据和有机质含量的动态估测模型。选取湖南省长沙市及周边区域的水稻田为研究对象,采集土样和实测高光谱数据(350~2 500 nm),室内化学测定有机质含量。以高光谱数据和有机质含量为基础,利用生成式对抗网络生成等量新数据, 结合原始数据建模集组成增强建模集。在GAN正式训练中,每轮训练完成后,设置4个观测点(对应增强建模集中含50,100,150和239个生成样本),动态构建交叉验证岭回归(RCV)、偏最小二乘回归(PLSR)和BP神经网络(BPNN)土壤有机质含量估测模型(分别简称GAN-RCV,GAN-PLSR和GAN-BPNN),并在相同测试集上实施模型评估。实验结果表明：(1)原始数据建模集上拟合的估测模型中,交叉验证岭回归表现最佳,决定系数(R2)和均方根误差(RMSE)分别为0.831 1和0.189 6;(2)GAN的150轮正式训练中,增强建模集上动态构建的GAN-RCV,GAN-PLSR和GAN-BPNN模型性能显著提高,具体表现为：GAN-RCV的R2取得最大值0.890 9(RMSE 0.153 7)、最小值0.850 5 (RMSE 0.18)与平均值0.868 7(RMSE 0.168 6),最大R2比建模集上拟合的RCV提高了7.2%(RMSE降低了18.9%),GAN-PLSR获得R2最大值0.855 4(RMSE 0.176 9)、最小值0.727 0 (RMSE 0.243 2)与平均值0.780 1 (RMSE 0.217 7),最大R2比建模集上拟合的PLSR提高了20.6%(RMSE降低了29.5%),GAN-BPNN表现最佳,R2取得最大值0.905 2(RMSE 0.143 3)、最小值0.801 7(RMSE 0.207 3)与平均值0.868 1(RMSE 0.168 6),最大R2比建模集上拟合的BPNN提高了30.8%(RMSE降低了44.5%);(3)随着增强建模集中生成样本数量增加,模型精度提升效果呈先升后降趋势,4个观测点中第3个观测点的模型性能提升最显著。充分的实验表明：基于GAN动态构建的有机质含量估测模型显著改善了模型预测性能。依据测试集上的评估结果,可择优使用最佳模型进行后续土壤有机质含量估测。     

扫频光学相干层析视网膜图像配准去噪算法

多帧叠加平均处理是去除扫频光学相干层析系统散斑噪声、获得较为清晰结构信息的有效方法,但眼睛的震颤、漂移、微眼跳等生理特性和系统光路特性会使图像之间存在错位,导致叠加效果不佳、结构稳定性差,为此本文提出一种基于灰度分布信息和目标几何信息相结合的配准算法。该方法根据图像平均灰度分布提取包含目标信息的感兴趣区域,通过相位相关算法和基于分段拟合的灰度投影算法的双重作用校正图像的平移变换;通过拟合视网膜上边界作为特征点迭代确定最佳旋转参数,并再次重新估计平移参数,实现图像的刚性配准;最后通过轴向扫描一对一映射法以能量函数为约束条件实现图像的非刚性配准。对活体兔眼进行实验,结果表明,本文算法配准后的叠加图像边界清晰,结构信息增强,信噪比和对比度平均有效提高一倍多。本算法适用于强噪声视网膜B-Scans图像的配准,能满足多种类型OCT系统的叠加成像需要,具有较高的鲁棒性和图像配准精度。