基于多尺度空洞卷积的对抗去雾网络

雾天拍摄的图像存在颜色失真、图像细节模糊的问题，对成像设备采集到的图像质量造成了负面印象。针对雾天搜集图像存在的降质问题，提出了一种基于多尺度空洞卷积的对抗去雾网络。去雾网络的生成器由不同空洞率的卷积模块组成，结合多尺度的策略增加感受野并增强去雾效果；判别器采用多个卷积模块构成，用于区分生成的去雾图像与真实无雾图像；通过计算去雾图像和真实无雾图像之间的感知距离，优化图像的纹理结构并减少噪声信号。实验结果显示，提出算法在公开数据集上获得的峰值信噪比值为22.410 dB，结构相似性值为0.844，色差值为10.545。定量和定性评估表明，采用空洞卷积和感知损失技术设计的去雾网络能够有效地恢复图像的颜色信息和纹理结构。     

可见光与红外彩色融合图像感知清晰度评价模型

提出了感知清晰度评价模型,来评价人眼对红外与可见光彩色融合图像细节和边缘的可辨识度。首先,利用人眼对比度敏感函数模型,抑制在特定观察条件下图像中人眼不敏感的频率成分。之后,在局部频带对比度模型基础上,结合人眼亮度掩模特性构造了感知对比度模型。最后,计算融合图像人眼兴趣区域(细节和边缘区域)的感知对比度,进而评价融合图像的感知清晰度。实验结果表明,与现有的五种彩色图像清晰(模糊)度的客观评价模型相比,考虑人眼视觉特性感知清晰度模型的计算结果与人眼主观感受具有较好的一致性,可以有效地对彩色融合图像清晰度进行客观评价。     

基于SIFT特征的彩色图像拼接方法研究

针对传统特征提取拼接算法在复杂图像中配准过程中出现的过多误匹配,导致拼接后图像出现鬼影、模糊等问题,从而影响拼接图像的质量,提出一种改进的SIFT配准算法。在对目标图像提取SIFT特征后,利用SIFT描述子的尺度以及梯度方向信息建立最小邻域匹配剔除误匹配点,之后利用局部均方根误差(RMSE)评价映射矩阵与RANSAC算法相结合,迭代出精确变换模型。在对图像进行几何矫正后,提出一种自适应的混合线性算法对重合区域图像变换至HIS颜色空间进行图像拼接,最后得到平滑无缝的完整彩色全景拼接图像。实验结果证明,该算法在拼接复杂场景并且重合区域不多时仍有较好的准确性及稳定性。     

基于变换域PCNN的近红外与彩色可见光融合

针对近红外与彩色可见光图像融合后对比度低、细节丢失和颜色失真等问题,提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network,PCNN)的红外与彩色可见光图像融合的新算法。首先将彩色可见光图像转换到HSI（hue saturation intensity)空间,HSI色彩空间包含亮度、色度和饱和度三个分量,并且这三个分量互不相关,因此利用这个特点可对三个分量分别进行处理。将其亮度分量与近红外图像分别进行多尺度变换,变换方法选择Tetrolet变换。变换后分别得到低频和高频分量,针对图像低频分量,提出一种期望最大的低频分量融合规则;针对图像高频分量,采用高斯差分算子调节PCNN模型的阈值,提出一种自适应的PCNN模型作为融合规则。处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间,得到融合后的彩色图像。为了解决融合带来的图像平滑化和原始图像光照不均的问题,引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。为了验证方法的有效性,选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验,并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。实验结果表明,同其他图像融合算法进行对比分析,该方法在有无CSC颜色的情况下均能保留最多的细节和纹理,可见度均大大提高,同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理,均具有更好的对比度和良好的色彩再现性。在信息保留度、颜色恢复、图像对比度和结构相似性等客观指标上均具有较大优势。     

近红外与可见光双通道传感器信息融合的去雾技术

为了对雾霾天气下的图像进行去雾处理,多幅图像去雾算法是常用的方法之一。多幅图像去雾算法也有多种形式,部分算法面临硬件实现困难、获取途径受限或者可实施性弱等问题,而且多幅图像比对处理时常常涉及图像配准,造成算法的实时性差、计算复杂度高等问题。针对以上问题,提出的算法为多幅图像去雾提供了新的思路,基于双目传感器硬件架构能够同时捕获近红外和可见光图像,将近红外传感器图像作为新的数据源,近红外传感器能够在一定程度上穿透雾霾,在雾天捕获可见光传感器无法捕获的图像细节,而且硬件实现简单。可见光图像的颜色信息较丰富,近红外传感器图像对近处场景细节的描述能力较好,捕获的图像稍加校正就能实现完全配准,将近红外图像与可见光图像进行融合,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,得到边缘、轮廓等细节信息更加丰富的去雾图像。基于上述思路,借助近红外传感器对边缘细节的描述能力和可见光传感器对颜色信息的反映能力,提出了一种基于近红外与可见光双通道传感器图像融合的去雾算法。首先,将彩色可见光图像转换到HIS彩色空间,分别得到亮度通道图像、色调通道图像和饱和度通道图像。先将其亮度通道图与近红外图像进行融合去雾处理。采用非下采样Shearlet变换（NSST）进行分解,对得到的高频系数进行双指数边缘平滑滤波器保边滤波处理,对低频系数进行反锐化掩蔽处理,通过融合规则和反向变换得到新的亮度通道图像。然后,在对可见光图像的色彩处理中,建立饱和度图的退化模型,采用暗原色原理对参数进行估计,得到估计的饱和度图。最后,将新的亮度通道图像,估计的饱和度图像和原色调图像反映射到RGB空间得到去雾图像。为了验证新算法的有效性,特选取四组雾天拍摄的真实近红外图像与可见光图像进行融合去雾处理,将融合结果与其他两种去雾方法对于彩色可见光图像的去雾效果进行比较。实验结果表明,该算法在提高图像的边缘对比度和视觉清晰度上有较好的效果。并提出将近红外传感器图像作为新的数据源,采用双通道图像融合方法进行去雾处理,为图像去雾提供的新的技术思路是可行的。该算法的优势在于：首先提出将图像融合方法与去雾算法相结合,得到了新的去雾算法的思路。将彩色可见光图像转换到HSI色彩空间,将其亮度通道图与近红外图像采用非下采样Shearlet变换方法进行融合处理,在去雾的同时,可以将近红外传感器图像中的原始细节提取融合到彩色可见光传感器图像中,使得去雾图像中的边缘、轮廓等细节信息更加丰富。其次,提出了在图像去雾算法中采用新的数据源--近红外传感器图像,从图像处理的角度,近红外传感器能够在一定程度上穿透雾霾,对于近处场景细节的描述能力较好,而且硬件实现简单,捕获的图像稍加校正就能实现完全配准,为后续的融合去雾算法带来了便利,为图像去雾提供了新的技术途径和路线。再次,采用的是多幅图像去雾算法,该算法基于双目传感器获取图像,可见光图像的颜色信息较丰富,近红外图像对于近处场景细节的描述能力较好,相对于单幅图像去雾算法,有更好的效果。最后,将可见光传感器图像映射到其他色彩空间,对于每个通道的图像根据其特征有针对性地进行处理。可见光图像的亮度通道图和近红外图像的处理采用了图像融合和增强处理,对于可见光图像饱和度通道的处理采用了图像复原算法,可以从整体上提升去雾效果,对细节特征有了进一步增强。该算法为图像去雾提供了新的技术途径和路线。     

基于去模糊空间变换RCNN的毫米波图像目标检测（英文）

提出一种包含去模糊的空间变换区域卷积神经网络的目标检测算法.首先,基于主动毫米波圆柱扫描成像原理对人体进行三维成像(频率24~30 GHz),建立毫米波图像数据集.然后,估计毫米波图像的模糊核,通过卷积去噪网络获得图像先验知识,将其集成到半二次分裂的优化方法中,以实现非盲目去模糊.最后,由定位网络、网格生成器和采样网络三部分组成空间变换网络,将它融入到特征提取网络中,在去模糊后实现目标检测.通过该非盲目去模糊算法得到的图像的峰值信噪比可达27.49 dB,目标检测算法的平均精度可达80.9%.实验结果表明,与现有的先进方法相比,该方法可以有效地提高图像质量和检测精度,为毫米波图像中隐藏危险品的目标检测提供了新的技术支持.     

基于条件生成对抗网络的图像去雾算法

为了提高雾天图像的去雾效果,提出了一种基于条件生成对抗网络的图像去雾算法.通过端到端可训练的神经网络对合成的室内和室外数据集进行训练,为了捕捉图像中更多的有用信息,在生成网络中设计了生成器和判别器架构,利用预训练的视觉几何组特征模型和L_1-正则化梯度对损失函数进行修正,并在判别器的最后一层引入Sigmoid函数用于特征映射,以便进行概率分析可归一化.利用合成数据集对损失函数进行训练,得到新的损失函数的参数,然后利用室外自然有雾图像数据集对训练得到的新的损失函数进行测试.实验结果表明:所提算法有效解决了去雾图像的颜色失真、过饱和、视觉伪像等问题,生成效果更好的去雾图像.     

基于色彩权值和树形动态规划的立体匹配算

针对立体匹配算法在图像非遮挡区域,特别是弱纹理区域误匹配率较高的问题,提出一种基于十字交叉窗口下自适应色彩权值和树形动态规划的立体匹配算法。首先结合颜色、梯度信息及Census变换作为相似性测度函数构建代价计算函数;然后以图像的距离和色彩信息构建自适应十字交叉窗口,并提出基于色彩权值的代价聚集方式;将树形结构动态规划算法的思想引入到视差计算,代替单独采用赢者通吃策略的方法,对视差进行全局优化;最后通过视差求精得到稠密视差图。实验结果表明,本文算法在Middlebury测试平台4幅标准图像上非遮挡区域的平均误匹配率为2.45%,同时对其他10组图像进行了对比评估,本文算法有效地提高了图像非遮挡区域匹配的准确率。     

基于去模糊空间变换RCNN的毫米波图像目标检测（英文）

提出一种包含去模糊的空间变换区域卷积神经网络的目标检测算法.首先,基于主动毫米波圆柱扫描成像原理对人体进行三维成像(频率24～30GHz),建立毫米波图像数据集.然后,估计毫米波图像的模糊核,通过卷积去噪网络获得图像先验知识,将其集成到半二次分裂的优化方法中,以实现非盲目去模糊.最后,由定位网络、网格生成器和采样网络三部分组成空间变换网络,将它融入到特征提取网络中,在去模糊后实现目标检测.通过该非盲目去模糊算法得到的图像的峰值信噪比可达27.49dB,目标检测算法的平均精度可达80.9%.实验结果表明,与现有的先进方法相比,该方法可以有效地提高图像质量和检测精度,为毫米波图像中隐藏危险品的目标检测提供了新的技术支持     

红外伪彩色图像的去彩化研究

为适应人眼的感知能力,伪彩色编码技术常被用于处理红外探测系统输出的灰度图像。较于灰度图像,计算机对彩色图像处理所需的存储量与计算量较大。鉴于某些红外设备只提供伪红外图像的输出,因此伪红外图像的去彩色化算法成为该文的主要研究目标。除利用最大值分解、平均值与光亮度法3种常见灰度化算法对伪红外图像的处理外,直接对伪彩色图像进行解码的方式也在文中被用于红外图像的去彩色化。实验基于上述两类方法,对线性与正弦非线性彩虹伪彩色图像的去彩色化进行了研究,并对处理后图像的质量进行了比较。实验结果表明,常规灰度算法处理后的伪彩色图像质量较差,而线性伪彩色图像经解码处理后可完全恢复出原图,实现0均方差;对于正弦非线性算法,虽然存在由量化误差引起的损失,但与原图像比仍有非常低的均方差（0.309 4）与高的峰值信噪比（101.356 0）。     

基于轮廓跟踪的车载红外视频彩色化方法

提出一种车载红外视频快速彩色化方法,利用轮廓特征点跟踪获取每帧物体类别的轮廓区域,采用类别特征色彩对各区域传递色彩。构建各景物样本特征色彩集,以各类景物在自然彩色图像中表现出来的特征色彩作为红外图像中对应景物的色彩;利用改进的高效K Means方法对红外关键帧进行聚类,得到分割区域,提取轮廓特征点;通过KLT算法跟踪特征点,得到其在下一帧中的位置并同时修正,采用B样条插值进行轮廓复原,得到该帧的各类别轮廓区域;最后将特征色彩按类别赋予各区域,从而给各帧图像着上合适的颜色,实现红外视频序列的快速彩色化。实验结果表明, 该方法与基于运动估计的算法相比可提高近5倍的处理速度,并且能够得到与自然景物色彩较接近的彩色化视觉效果。     

基于密集梯度生成对抗网络的偏振图像融合算法北大核心CSCD

针对单幅偏振图像在一定场景下无法提供充足信息的问题,结合强度图像和线偏振度图像的优势特征,提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块,并将该模块应用在生成器中,用以增强融合图像的纹理细节;构造多尺度结构相似度和L1范数相结合的损失函数,用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析,实验结果表明,所提算法具有更好的主观视觉感受,同时各项评价指标均得到明显提升。     

光谱成像的图像颜色恒常性计算方法

光谱成像可以记录拍摄场景的光谱信息,从而实现颜色的高保真复现,图像的光谱信息通常同时混合了物体的光谱信息和光源信息,所以现有的光谱成像颜色还原需要通过提前放置的标定板或已知光谱特性的物体获取拍摄环境的光源信息,再进行图像的颜色恒常性校正。但光谱相机在实际使用过程中,通常难以满足上述条件,从而对图像高保真颜色还原提出挑战。针对此问题,提出一种光谱成像的图像颜色恒常性计算方法,将光谱成像系统获得光谱数据转换到XYZ颜色空间,并将图像分区域进行统计得到图像的统计点,通过大量常见光源的分布规律,给统计点施加位置权重和色温权重,同时设置亮度权重去除图像中过暗和过饱和的统计点,利用加权平均获得环境光的色度参数,根据需求将图像的XYZ颜色空间数据转换到RGB颜色空间,根据环境光的色度参数计算图像不同通道的增益,从而完成光谱图像的颜色恒常性计算。为了验证所提出算法的有效性,对140张光谱图像进行处理,计算算法得到的环境光色度参数和真实光源色度之间的再现角误差,对校正结果进行评价,结果表明提出的算法明显优于光谱图像不做处理和灰度世界法。为进一步分析算法校正结果与人眼感知之间的联系,设计颜色心理物理学实验...     

面向真彩色EMCCD的深度特征融合的正交色彩传递

采用近红外(NIR)波段高透的红(R)、绿(G)、蓝(B)滤光(即R+NIR、G+NIR、B+ NIR),是电子倍增CCD(EMCCD)实现真彩色成像且保持低照度下高灵敏度的常见手段,然而,近红外成分的引入会带来颜色失真和颜色分布压缩.本文通过约束已配准的源图像和参考图像在标准正交颜色空间中具有相同的坐标表示,构建正交的色彩传递模型.在此基础上通过卷积神经网络引入特征维度,设计了端到端的色彩传递网络,改善偏色和颜色分布压缩导致的一对多颜色映射问题.色彩传递网络由预训练的前端网络和可训练的后端网络组成,前端网络根据EMCCD图像的纹理和语义将像素点分散到不同的特征通道上,后端网络根据各特征图内像素点的编码统计特征进行色彩传递.本文方法经大量图像验证具有一定普适性,在不同场景和照度下均取得较自然的色彩效果.相对于真实彩色图像,本文结果与颜色失真图像相比,峰值信噪比平均提高了75.78％,结构相似性相对提高了103.74％,色差相对降低了67.48％.     

基于中心点的遥感图像多方向舰船目标检测

针对目前基于深度学习的舰船目标斜框检测方法存在计算量大、效率低的问题,提出一种基于目标中心点的单阶段检测模型.由于舰船中心点不受舰船分布方向影响,模型主要思想是以目标中心点检测为基础,回归中心点处目标斜框的尺度和方向.首先设计特征提取网络,将卷积神经网络细节信息丰富的底层特征与语义信息丰富的高层特征融合起来形成特征图;然后将特征图输入到三个检测分支,分别预测目标中心点、中心点偏移值以及斜框的尺度与方向;设计组合损失函数对网络进行训练,并改进非极大值抑制算法以适应目标斜框检测的需要.在公开的SAR图像舰船目标检测数据集与光学遥感图像上进行了实验,实验结果表明,测试集平均准确率达0.906,检测精度与速度均优于其它检测模型,充分验证了所提算法的有效性.     

基于图像分割和局部亮度调整的微光图像颜色传递算法

为提高微光夜视图像质量，提出一种基于图像分割和局部亮度调整的颜色传递算法。用简单线性迭代聚类结合K均值聚类对微光图像进行分割，在YCbCr颜色空间中利用子区域与参考图像每一个像素点上亮度的一致性，将匹配参考图像的颜色分量传递到目标图像的子区域，以目标图像纹理特征中对比度的值作为系数，调整目标图像子区域的亮度值，进行颜色空间转换并显示颜色传递结果。搭建了微光图像成像系统，进行了微光图像分割及完成了微光图像的颜色传递。结果表明，改进的分割算法将图像中不同的景物分割出来，得到的彩色微光图像的峰值信噪均值达到12.048 dB，比Welsh算法平均提高2.63 dB。     

基于区域检测与非下采样轮廓波变换的红外与彩色可见光图像融合

针对灰度图像融合的分辨率低及现有的彩色图像融合方法融合的图像色彩不自然、不符合人的视觉感受的特点,在此提出一种基于Snake模型的区域检测和非下采样轮廓波变换(NSCT)的红外与彩色可见光图像融合的方法。首先对彩色可见光图像进行亮度、色度和饱和度(IHS)颜色空间变换提取亮度分量,并用Snake模型对红外图像的目标区域进行检测;然后对亮度分量和目标替换的红外图像应用NSCT分解,对所得到的高频系数采用像素点"绝对值和取大"、低频系数采用基于"亮度重映射技术"的加权融合规则进行融合;通过对融合系数进行NSCT逆变换获得融合图像的亮度分量,最后运用颜色空间逆变换得到融合图像。实验结果表明,所提出的融合方法既能保持可见光图像的高分辨率和自然色彩,又能准确保留红外图像中检测出的目标信息,获得视觉效果较好、综合指标较优的融合图像。     

改进的SURF彩色遥感图像配准算法

为了进一步提高彩色遥感图像的配准精度,针对遥感图像配准过程中色彩信息利用率低以及误匹配率高的问题,提出一种改进的SURF(Speeded Up Robust Feature)彩色遥感图像配准算法。该算法首先在对彩色遥感图像进行特征点检测基础上,对特征点描述算子进行改进,以使颜色空间变换后得到的特征点色彩信息添加到原描述算子中,并对特征点描述算子进行归一化处理,以增加算子的独特性和对旋转、尺度、光照的鲁棒性;其次,结合单向匹配和双向匹配的比值,提出了一种最优化阈值选择准则,如果欧氏距离比率小于最优化阈值,完成特征点匹配,得到正确匹配点对,再通过变换矩阵得到配准图像。实验结果表明,在保证实时性的条件下,该算法相比于原SURF算法,准确性和稳定性都有一定提高,具有一定的理论和应用价值。     

特征融合的尺度自适应相关滤波跟踪算法

为提高相关滤波(CF)跟踪算法的稳健性,并克服传统CF方法无法处理目标尺度变化以及未利用图像颜色特征等问题,提出了一种基于融合颜色特征的尺度自适应相关滤波改进跟踪算法。首先,将目标搜索区域从3原色(RGB)颜色空间转换到Lab颜色空间,提取搜索区域的Lab 3通道颜色特征;然后,融合Lab颜色特征与方向梯度直方图(HOG)特征得到多通道特征,利用核相关滤波(KCF)计算输出响应图并寻找图中最大响应位置即目标位置;最后,基于Lab颜色特征建立尺度模型,从当前帧的目标位置处截取不同尺度图像块,通过将其与尺度模型比较得到目标尺度最优估计。实验选取35段公开彩色视频序列进行测试,并将所提算法与其他5种跟踪性能较好的跟踪方法进行对比。实验结果表明,所提方法对彩色视频序列中的目标遮挡、变形、尺度变化等现象具有良好的适应性,其平均性能优于对比方法,同时具有76frame·s~(-1)的实时跟踪速度。     

基于动态感受野的航拍图像目标检测算法

针对现有基于平视图像目标检测算法在航拍图像上检测精度不高的问题,提出一种具有动态感受野的单阶段目标检测算法。该算法采用SE-ResNeXt作为特征提取网络,在RetinaNet结构中添加bottom-up短连接通路和全局上下文上采样模块,增强了检测层特征的结构性和语义性。构造具有动态感受野的检测子网络,动态选取适当尺度的感受野特征进行目标检测。在实景航拍数据集上进行实验评测,并与相关算法作对比,结果表明改进算法在数据集上表现良好,性能指标具有明显提升,即使在光线昏暗、下视视角、斜下视视角和密集目标等场景图像中,也具有较好的检测效果。