关键点引导相位测量的三维人脸表情获取

三维人脸表情捕获在影视、游戏、医学、社交等领域有广泛的应用。为了实现无标记自由运动中的人脸表情三维信息高精度采集,提出了基于人脸关键点检测与匹配的条纹投影三维人脸测量方法。首先,采用三频外差法获取待测对象准静态三维信息作为参考模型,并利用基于深度学习的人脸关键点检测算法从调制度图中得到初始关键点及对应的三维坐标。然后,在动态测量过程中,仅投影两幅或三幅具有相移的条纹。利用改进的傅里叶变换轮廓术或相位测量轮廓术获得变形条纹截断相位及调制度。在调制度图中检测人脸关键点并将其与初始关键点匹配得到其与参考模型中关键点坐标对应关系。计算该时刻人脸相对于参考模型的运动参数并进一步利用参考模型计算近似相位图。最终,利用近似相位图展开截断相位并实现三维形貌的重建,获得该时刻人脸三维表情。利用DLP投影仪及高速摄像机搭建了三维人脸表情捕获系统,实现了130万像素,100 fps三维数据采集。实验结果表明,该系统能够进行正脸偏转±45°内,俯仰±30°内,侧倾±45°内,大幅度变化的无标记三维表情正确捕获。     

基于平面估计的三维测量相位展开新方法

工业自动化生产中微米级的三维测量大多采用相位测量轮廓术,但其中现有的包裹相位展开方法容易受图像噪声和相位突变的干扰;在电路板贴片安装的锡膏三维测量中,利用电路板的平面区域包裹相位信息进行平面估计,然后全局相位展开向拟合平面靠拢,根据统计信息确定参数,得到连续相位;利用展开后的相位再进行电路板平面的二次曲面拟合,提高基平面的拟合精度和相对高度;对比实验证明了该方法的鲁棒性和快速性,处理时间短,不受噪声、相位突变、阴影等干扰。     

基于分支设置的质量导引相位展开算法

二维相位展开方法是近年来较为活跃、引起关注的一个研究课题,它在许多测量应用中有着重要的作用。尽管掩膜阻断算法在多个领域都有成功应用实例,该算法存在着固有的缺陷。为了克服掩膜阻断算法的缺陷,综合分支阻断方法和质量导引方法的优点,提出一种基于分支设置的质量导引相位展开新算法。它先以一个初始质量图来引导分支的设置,然后把分支对应的相位质量设置为最低,从而产生一个新的质量图,最后按新质量图来引导相位展开,并使用几个包裹相位图来验证此方法的有效性。计算机模拟相位图和实际相位图的相位展开结果表明,在存在复杂轮廓不连续和高噪声的情况下,该算法优于模板阻断算法,能得到较好的相位展开结果。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

基于格雷码的分区间相位展开方法

格雷码因具有良好的鲁棒性和抗噪性,被广泛应用到结构光投影三维成像方法中。在三维测量过程中,由于设备以及其他环境噪声的影响,格雷码方法解码条纹级次边沿和截断相位边沿通常无法处于理想的对齐状况,使得展开的相位出现跳变现象。为了更好地避免级次跳变误差,使得边沿跳变区域的容错宽度更大,提出基于格雷码的分区间相位展开方法。在互补格雷码基础上增加一幅格雷码图像,利用所有格雷码解得附加码字,通过对附加码字进行不同位移量的条纹级次映射,得到2个辅助条纹级次。利用所有条纹级次,对截断相位进行分区间相位展开,在边沿跳变区域错误大于半个周期时,仍能获取到无跳变现象的展开相位。实验结果表明,当边沿错误区域宽度小于3/4个条纹周期宽度时,可以有效避免级次跳变产生的误差。     

基于互补型光栅编码的相位展开

为了解决在运用相移技术和二元光栅编码结构光进行相位展丌时存在的误码问题,提出了一种新的互补型二元光栅编码.通过多投一幅格雷码图案,并利用格雷码相邻码字之间Hamming距离为1的特点,没计出互补的两种编解码方式.利用两种编码出现误码位置的不同,并结合相移技术解决了去包裹过程中的误码问题.论述了互补型二元光栅编码的设计方法及特点,并详细分析了基于互补型二元光栅编码的相位展开过程.计算机模拟和三维重建实验清楚地表明,提出的互补型光栅编码能很好地解决了误码问题且具有很高的可靠性.     

基于多尺度特征与通道特征融合的脑肿瘤良恶性分类模型

针对脑肿瘤良恶性分类过程复杂、分类准确率不高等问题,提出了一种基于多尺度特征与通道特征融合的分类模型。该模型以ResNeXt网络为主干网络,首先,将基于空洞卷积的多尺度特征提取模块代替第一层卷积层,利用膨胀率获取不同感受野的图像信息,将全局特征与局部显著特征相结合;其次,添加通道注意力机制模块,融合特征通道信息,提高对肿瘤区域的关注度,降低对冗余信息的关注度;最后,采用学习率的线性衰减策略、图像的标签平滑策略以及基于医学图像的迁移学习策略的组合优化提高模型的学习能力和泛化能力。在BraTS2017和BraTS2019数据集中进行实验,准确率分别达到98.11%和98.72%。与经典模型和其他先进方法相比,该分类模型能够有效地减少分类过程的复杂度,提高脑肿瘤良恶性分类的准确率。     

基于条纹级次编码与调制的结构光相位展开算法

利用相位级次的编码和调制方法将相位级次信息叠加到相移图像中,提出了一种直接利用相移图像进行相位解包裹的方法。在投影端,提出了一种邻接不重复德布鲁因序列,并用该序列对相位级次进行编码,然后将该周期级次编码序列调制、叠加到多步相移图像中。相应地,在解码阶段,从拍摄到的相移图像中同时解调、分解出包裹相位和周期级次编码序列,通过序列的匹配还原真实周期级次信息,并最终准确地解包裹出绝对相位。以四步相移法为例,本文方法相比传统的时间相位解包裹算法,投影图片从10张(64个相位周期)缩减到了4张,提高了测量效率。     

基于多尺度特征增强的合成孔径光学图像复原

受物理孔径大小和光线散射等影响,合成孔径光学系统成像因通光面积不足和相位失真而出现降质模糊.传统合成孔径光学系统成像复原算法对噪声敏感,过于依赖退化模型,自适应性差.对此提出一种基于生成对抗网络的光学图像复原方法,采用U-Net结构获取图像多级尺度特征,利用基于自注意力的混合域注意力提高网络在空间、通道上的特征提取能力,构造多尺度特征融合模块和特征增强模块,融合不同尺度特征间的信息,优化了编解码层的信息交互方式,增强了整体网络对原始图像真实结构的关注力,避免在复原过程中被振铃现象产生的伪影干扰.实验结果表明,与其他现有方法相比,该方法在峰值信噪比、结构相似性和感知相似度评估指标上分别提高了1.51%, 4.42%和5.22%,有效解决合成孔径光学系统成像结果模糊退化的问题.     

基于相位辅助的三维数字成像与测量

综述了基于相位辅助的三维数字成像与测量的核心技术.以相机模型为基础,建立了三维数字成像系统模型和三维测量网模型,并介绍了相关的标定技术.在主动立体视觉的理论框架下,综述了相位提取、相位展开、对应点搜索等单视点深度像重建的关键技术.介绍了深度数据后处理技术,其中包括多视点深度像的匹配、融合和简化的代表性算法.同时,对系统...     

一种可以同步结合时间相位展开的2+1相移算法

传统的2+1相移算法在抑制运动误差方面具有良好的性能.针对在展开传统2+1相移算法的截断相位时常有相位展开错误的问题,提出了一种可同步结合时间相位展开的2+1相移算法.该算法中,在传统2+1相移算法的基础上增加了一帧低频辅助正弦光栅条纹,然后结合希尔伯特变换计算出该低频变形条纹的截断相位,之后利用几何约束法对该截断相位...     

基于多频外差原理的相位校正及匹配方法研究

利用多频外差原理推导四频光栅条纹相位解包裹过程,同时,为了减小相位解包裹误差,提出一种相位校正的方法,并分析了相位校正对匹配结果的影响;通过将校正后的绝对相位值作为匹配的依据,利用极线对上基于相位的亚像素匹配方法;利用三维重建技术获取物体的三维点云数据。实验结果表明:平面测量的匹配率提高了4.97%,测量精度达到0.189 5 mm。     

基于多光谱图像融合的掌纹识别方法

生物特征识别在信息安全领域发挥着重要作用,掌纹识别作为一种新型生物特征识别方式,具有低失真、非侵入性和高唯一性等优势。传统掌纹研究大多使用自然光成像系统以灰度格式获取,识别精度很难进一步提升。为了获得更多的身份鉴别信息,提出利用多光谱掌纹图像代替自然光掌纹图像。针对现有掌纹识别算法由于没有考虑到不同光谱的特性而导致纹理细节丢失,识别精准率低的问题,提出了一种基于多光谱图像融合的掌纹识别算法。该方法通过对不同光谱下的掌纹图像进行快速自适应二维经验模式分解（FABEMD）,将多光谱掌纹图像分解成一系列频率由高到低的二维固有模态函数(BIMF)和一个残余分量,残余分量可被视为该光谱图像低频信息的初步估计。图像采集过程中光照条件很难保持稳定,而近红外光谱图像在进行FABEMD分解时对光照变换敏感,容易导致分解后的BIMF背景信息过于冗余;因此对分解后的近红外掌纹图像进行背景重建及特征细化,在对背景冗余信息进行平滑处理的同时可以有效增强高频信息的特征表达。为避免直接融合处理后引发的图像过度曝光问题,提出对近红外特征压缩后再融合。此外,提出了一种结合了注意力机制的改进残差网络（IRCANet）,用于融合后的掌纹图像分类,在网络中引入分阶段残差结构,缓解了网络的退化问题,在学习过程中有效地减少信息丢失,对于融合后的多光谱掌纹图像,分阶段残差结构能够稳定地将图像信息在网络间传输,但对图像中的高低频信息区分效果不够显著,为了使网络关注更多区分性特征,利用特征通道间的相互依赖性,在分阶段残差结构中结合了通道注意力(Channel Attention)机制。最终,在香港理工大学（PolyU）多光谱掌纹数据集上进行的综合实验表明,该方法可以取得良好的效果,算法识别准确率能达到99.67%且具有良好的实时性。     

基于小波变换的多尺度图像融合增强算法

为解决原始单源图像缺乏多尺度细节信息和图像融合后出现的噪声问题,提出了一种基于小波变换的多尺度图像融合增强算法,根据不同频率子带分量采用不同融合规则的思想,对高频子带提出了三种融合方法,同时构建了一种新颖的多尺度残差金字塔空间并将其参与融合过程,以减少融合噪声.多种小波分解和对比实验结果表明,提出的小波多尺度融合增强算...     

基于注意力机制的多曝光图像融合算法

针对多曝光图像任务缺乏真值图像,以及现有多曝光图像融合算法存在的边缘特征丢失、细节模糊等问题,本文提出了一种基于注意力机制的多曝光图像融合算法.该算法建立权重独立的双通道Unet网络,对目标场景不同曝光图像分别进行特征提取,生成不同曝光图像的高维多尺度特征图;通过视觉注意力机制凸显目标场景在不同曝光下对融合有利的特征,...     

基于指数尺度间隔连续小波变换的相位提取算法

只需要一幅调制图像的光栅投影测量方法主要有傅里叶变换轮廓术(FTP)、小波变换轮廓术(WTP)等。采用基于指数尺度间隔的连续小波变换与重构方法,提取调制图像的瞬时相位。针对指数尺度间隔连续小波变换,指出了足够大的噪声能够改变小波变换脊的位置,并且该脊向上移动的概率最大。因此,为了重构载频信号,选择脊及其紧邻的较大的那个尺度所对应的小波系数,采用灰度图像阈值分割中最大类间方差法(OTSU),剔除掉幅值较小的系数;针对斑点噪声的影响,对OTSU算法的结果进行了修正;使用修正后的系数集合重构载频信号,并计算该信号的瞬时相位。理论分析和实验结果表明算法有效且具有稳健性。     

基于SURF算法的在线三维测量方法

提出了一种采用加速鲁棒特征算法匹配运动物体的特征点,实现在线三维测量的方法.该方法只需投影一固定的正弦光栅到在线运动中的被测物体表面上,使投影光栅线垂直运动方向,当物体每移动相同的距离,由CCD采集到相应的变形条纹图,从中提出对应的背景光场,借助SURF算法对各帧背景光场的物体进行特征匹配,即可获得一组具有等步相移量的等效相移条纹图,从而采用等步相移算法可重构出在线运动物体的三维面形.实验验证了该方法的有效性和可行性,并与在线FTP方法进行了比较,所提方法的平均绝对误差小于在线FTP方法的二分之一,均方根误差小于在线FTP方法的四分之一.     

基于注意力机制的多目标优化高光谱波段选择

神经网络的注意力机制可以从数据中提取关键信息,将这一特性运用在高光谱波段选择上有助于充分学习波段之间的相互依赖和非线性关系,提取更重要的波段。提出了一种基于注意力机制的多目标优化高光谱波段选择算法。首先,利用注意力模块和自编码器构建网络;然后,将一维光谱数据作为网络输入,采用两种损失函数并结合多目标优化方法对输入数据进行训练,使嵌入在网络中的注意力模块充分学习各波段之间的非线性关系,对信息量大和易于分类的波段赋予更大的权重,以实现波段选择;最后,利用支持向量机分类器和平均光谱散度验证波段子集的性能。实验结果表明:相比于其他算法,所提算法在Botswana与Indian Pines数据集上提取的波段子集的分类精度更高,信息量更大,由此证明了所提算法对高光谱波段选择的有效性。     

基于调制度层析的在线三维测量方法

调制度反映相位展开可靠性的程度,与物体本身灰度和形状有着紧密的关系,因此可作为测量的特征标记。提出了一种采用调制度层析实现在线三维测量的方法。通过投影一固定的正弦条纹到待测运动物体上,借助物体运动可产生等效的相移变形条纹。利用基于傅里叶变换轮廓术调制度模型计算各帧等效的相移变形条纹的调制度,并采用层析方法从各帧调制度分离出反映待测物体的调制度层析特征,以该层析信息作为特征模板,实现像素匹配,从而获取各帧具有一致像素坐标的等效相移变形条纹,实现在线移动物体的三维面形测量。实验证明了该方法的可行性和实用性。     

基于多尺度形态学滤波器的图像融合新方法

提出了一种保持图像细节和高抗噪性的图像融合新方法。这种方法首先对源图像进行多尺度形态学开闭滤波,得到源图像的低频平滑图像;然后应用多尺度Top-hat变换和Bottom-hat变换来提取小于相应尺度的图像细节特征。因为在较小的尺度特征中包含噪声颗粒的可能性较大,据此修正了Top-hat变换和Bottom-hat变换的相应系数;最后对以上两步骤得到的低频平滑图像和多尺度高频细节图像分别进行图像融合,应用形态学重建过程生成融合图像。实验表明,这种融合方法具有图像细节保持完整和噪声消除效果好的优点,处理效果优于传统的图像融合方法。