基于光场成像的表面三维重构

传统的成像方式单次曝光只能获取物空间二维横向分辨率信息,无法获取纵向深度信息,导致单次拍摄过程中物空间的深度信息丢失, 无法对物空间的目标物进行三维重构。光场相机内部采用光场传感器,不同于传统成像系统单次采集只能获取二维信息而造成的信息缺失,光场传感器可获取物空间的多维光场信息,同时其还具有便携等优点。采用光场相机进行拍摄,利用数字重聚焦以及散焦测距和相关计算的方法,实现密集深度图像的获取,基于matlab软件平台,对所获取的图像深度数据矩阵进行处理,最终实现物空间的三维重构。得到物空间的相对深度的归一化结果。本实验中,在深度范围为100 mm~1 500 mm范围内,实现平均误差为5.47%深度信息的表面三维重构,最大重构误差为8.30%。     

一种基于光场图像的聚焦光场相机标定方法

基于光场成像技术的场景三维深度重建,需标定光场相机的几何参数。本文提出一种基于原始光场图像的聚焦光场相机的标定方法。拍摄标定板不同旋转角度的原始光场图像;根据图像上像点与虚拟像点(像点关于微透镜的共轭点)的共轭关系,计算得到虚拟像点的坐标;根据标定板上角点与虚拟像点的共轭关系,建立聚焦光场相机标定模型;利用Levenberg-Marquardt算法求解标定模型,进行标定实验;比较所提方法与基于全聚焦图像的标定方法的标定参数。结果表明,原始光场图像与全聚焦图像对应的虚拟像点(角点关于主透镜的共轭点)之间的误差小于21pixel,角点的标定误差小于3%,基于原始光场图像和全聚焦图像方法获得的结构参数和外部参数具有较好的一致性,表明基于原始光场图像的标定方法的可行性。     

基于光场成像的三维粒子追踪测速技术

将光场成像理论与三维颗粒追踪测速(PTV)技术相结合,实现了单相机三维流场的测量。结合高斯光学和相似原理,推导出了深度与最优重聚焦系数的关系。搭建了光场标定与流场测量系统,提出基于光场成像理论模型的深度标定方法,并与泰勒多项式拟合方法进行对比,证明了其具有较高的稳健性。利用清晰度最大原理,获得原始光场图像的全聚焦图,采用最小特征值角点检测算法对全聚焦图上的颗粒进行定位,结合三维粒子追踪技术,得到颗粒的三维速度。形成了光场PTV的图像处理流程,并对后向台阶流场进行了实测,结果表明光场PTV技术能够较好地测量三维流场。     

利用光轴可移动液晶透镜的立体图像采集系统

针对传统双目视觉系统体积大、成本高等缺点，提出了一种利用光轴可移动液晶透镜的单相机立体图像采集系统。该系统由一个固定的相机模块和一个贴有偏振片的液晶透镜构成。通过改变电压的方式移动光轴并采集图像，利用光流法获取图像视差。研究了液晶透镜光轴变化对系统整体光轴的影响，推导了视差与深度的关系。通过验证所采集的图像存在视差来说明所设计系统的可行性，并进行了近距离物体的深度获取。实验结果表明，利用液晶透镜的光轴移动功能可以使系统的整体光轴产生移动，实现立体视觉。所设计系统无需机械移动，具有结构简单紧凑和成本低廉的优点，为立体图像的采集提供了新的方法。     

基于光场极平面图像测距的三点式光笔空间坐标测量

为克服测量端的几何约束条件,需对现有的光笔系统布置多个测量光点,这会导致测量终端结构复杂,不利于光笔系统应用于测量空间受限的场合。针对这一问题,将光场成像方法引入到光笔式测量系统中,利用光场成像原理获取光笔上光点的极平面图像(EPI),并采用旋转平行四边形算子(SPO)计算EPI中斜线的斜率,从而估计出发光点的深度信息,排除了PNP(perspective-n-points)算法的错误解,得到被测点的准确三维坐标。最后通过实验对所提方法进行了验证。所提方法仅需单目光场相机,并结合三点式光笔即可完成三维坐标值的测量,极大地简化了光笔测量系统。     

基于聚合物分散液晶薄膜的高分辨率光场显示研究

基于聚合物分散液晶薄膜提出了一种新型高分辨率光场显示方法。首先，搭建虚拟相机阵列，用来对目标物体的光场信息进行采集，从而获得其元素图像阵列；然后，根据聚合物分散液晶的光电特性，通过调节聚合物分散液晶薄膜的外加电压以及利用人眼的暂留/余晖效应，可获得高分辨率的光场显示结果。实验结果表明，相较于传统方法，所提出的方法较为简便，并拥有较高的显示质量，所呈现图像的峰值信噪比提高了约11%。另外，所提出方法搭建的系统难度小，实用性强。     

基于图正则化的高分辨率光场显微成像研究

针对光场显微成像中空间分辨率较低的问题,提出了一种基于图正则化的方法,并进行了光场超分辨率重建,得到了光场的高分辨率视图。首先,通过非周期性提取的方法,获得了光场的视角图;然后,将光场的超分辨率问题,转化为一个全局优化问题,利用光场视图之间的互补信息,进行正则化平滑处理;最后,用最速下降迭代算法,对目标函数最小化求解,重构出高分辨率视图。实验中,采用显微物镜、微透镜阵列以及CCD相机,搭建光场显微镜采集数据,使用图正则化的方法进行光场高分辨率重建;相较于传统方法,所提方法视差估计计算量较小,成像质量较高,并有效保留了原始光场结构。     

用于等离子体三维重建的光场反卷积方法

目前常用的光学诊断大部分局限于二维成像,而基于层析成像的三维重建方法受限于空间和时间分辨率,无法实现等离子体边界的三维实时重建。提出一种基于光学分层理论的光场反卷积算法,利用光场重聚焦特性,结合聚焦测距法和刃边法,建立了光场深度与现实深度的关系,计算出点扩散函数,实现了单相机零调焦情况下的等离子体边界重建。为验证所提方法的可行性,以火焰为成像对象进行实验,其结果表明所提方法能够去除火焰分层图像中的离焦模糊,复原分层图像的原始结构。     

基于邻域像素注意力机制的光场深度估计方法

通过发掘深度信息与子孔径图像邻域像素间的高度相关性,提出了一种基于邻域像素注意力机制的光场深度估计方法。首先根据光场图像的数据特性提出了一种邻域像素注意力机制,该注意力机制考虑了不同子孔径图像在同一邻域间的极几何关系,能够增强网络对遮挡像素的感知能力。其次基于注意力机制设计了一个光场子孔径图像序列特征提取模块,该模块通过三维卷积将相邻序列图像上的特征编码到特征图上,并通过注意力机制增强网络对光场图像极几何特征的学习能力。最后联合邻域像素注意力机制和特征提取模块设计了一个多分支的全卷积神经网络,该网络使用部分光场子孔径图像序列即可估计图像的深度特征。实验结果表明,所提方法在均方误差（MSE）和平均坏像素率（BP）指标上总体表现优于其他先进方法,同时得益于高效注意力机制的加入,与其他先进方法相比所提方法运行速度最快。     

利用光场合成与弥散圆渲染的单幅图像重聚焦

提出一种单幅图像动态重聚焦方法,结合基于深度学习的光场合成与基于几何结构的弥散圆渲染方法,模拟出光场重聚焦效果。该方法仅输入单幅图像,首先进行深度估计,然后将深度图转换为视差,最后在不同深度确定弥散圆直径以进行像素重采样。设计两种神经网络结构,分别以光场相机的多视角子图和重聚焦图像为样本进行有监督的深度学习。在多个数据集和实际场景中的实验结果表明,本文方法在可接受的计算成本下能获得优于其他方法的视觉效果与评价指标,峰值信噪比达到了34.55,结构相似度达到了0.937。     

基于多视差函数拟合的集成成像深度提取方法

集成成像系统采用微透镜阵列记录空间场景信息,只有一次成像过程,在获取场景深度时,不存在相机的参数设置和校准问题,简化了深度测量过程,具有很大优势。但是由于该系统采集的元素图像分辨率低,容易受记录噪声影响,元素图像之间匹配困难。基于集成成像系统能够计算重构出多幅视图的优势,充分利用多幅视图提供的冗余信息来改善立体匹配情况。采用颜色相似性的自适应窗口在参考视图与其他视图之间进行立体匹配,得到参考视图与其他视图之间的视差信息,利用视差与视图对之间的抽样距离满足正比函数关系的性质,对多个视差值进行函数拟合,减少了由于记录噪声等因素产生的误匹配,物体深度层次的分辨更加准确。     

基于光场相机的四维光场图像水印及质量评价

光场相机通过在主镜组和传感器间特定位置设置微透镜阵列,在采集物方光强的同时可记录光线方向。提出一种在频域内对光场相机获取的四维光场图像加密的图像数字水印方法。植入信息经Base64编码后生成二维图像,并通过Aronld迭代对此图像进行均匀化处理,建立与原始光场坐标系匹配的虚拟计算光场,在四维傅里叶域内以切片替换的方式将加密信息植入原始光场中,实现光场图像加密,然后,基于二者坐标对应关系,应用傅里叶逆变换提取加密光场图像中的植入信息。搭建光场采集系统,应用本文方法对采集的原始光场图像进行加密处理。实验结果表明,加密光场图像信噪比高,与原始光场图像相关性强,加密光场图像无明显伪迹和失真,算法简便快捷,稳定可靠。     

基于多视差函数拟合的集成成像深度提取方法EI北大核心CSCD

集成成像系统采用微透镜阵列记录空间场景信息,只有一次成像过程,在获取场景深度时,不存在相机的参数设置和校准问题,简化了深度测量过程,具有很大优势。但是由于该系统采集的元素图像分辨率低,容易受记录噪声影响,元素图像之间匹配困难。基于集成成像系统能够计算重构出多幅视图的优势,充分利用多幅视图提供的冗余信息来改善立体匹配情况。采用颜色相似性的自适应窗口在参考视图与其他视图之间进行立体匹配,得到参考视图与其他视图之间的视差信息,利用视差与视图对之间的抽样距离满足正比函数关系的性质,对多个视差值进行函数拟合,减少了由于记录噪声等因素产生的误匹配,物体深度层次的分辨更加准确。     

基于聚焦型光场相机的火焰温度场重建

光场成像技术可以在一次曝光中,同时记录下入射光线的空间分布信息和传播方向信息,能够得到更丰富的热辐射信号。本文利用聚焦型光场相机对三维火焰进行了光场采集,并利用这些光场信息通过截断奇异值分解(TSVD)重建了不同火焰的三维温度场分布,在重建过程中考虑了光场相机白图像的特点,剔除了对重建不利的无效像素,并且分别对均匀分布、轴对称分布和非轴对称分布的火焰进行了温度场重建,重建结果表明均匀温度分布的重建结果最佳,轴对称分布的重建结果次之,非轴对称分布的重建结果最差。最后考察了不同测量误差下重建结果,重建结果表明在一定的测量误差范围内,TSVD方法的重建效果对测量误差不敏感。     

水平光场三维显示单目聚焦特性研究

水平光场三维(3D)显示可以在保证较好立体显示效果的同时,显著压缩需处理的海量光线信息,因此是一种重要的三维显示方法。由于缺少竖直方向的光场变化,水平光场的显示清晰度表现力与单目聚焦能力都与理想的光场形式不同。基于扫描型光场显示技术,分析了水平光场的点扩展函数(PSF);基于人眼和相机的自动聚焦原理,对不同显示参数下所重构的水平光场进行聚焦仿真,得出光线横向散射角以及每圈更新图像数对水平光场单目聚焦能力的影响;通过扫描型水平光场显示样机对所得结论进行验证。结果表明,水平光场的最大可聚焦高度随光线横向散射角的增加而减小,随每圈更新图像数的增加而增加。该分析方法及结论可以为单目聚焦水平光场显示系统提供设计依据。     

基于相机阵列的红外光场成像

光场成像作为一种应用广泛的计算成像方法,其研究仍局限于电磁波谱中的可见光波段。因此,提出基于相机阵列的红外光场成像方法。首先利用单台被动红外相机移动到同一平面的不同位置分别对同一静态目标场景成像,获取原始红外图像序列,经平移视差校正后生成红外光场数据库;然后基于光场渲染理论,获得重采样图像。与只记录二维位置信息的传统红外成像比较,红外光场成像能够记录包含位置和方向的四维信息。实验结果表明,该法能够融合多幅低信噪比的图像获得一幅信噪比提高的重采样图像,通过孔径叠加平均可实现穿透遮挡物成像,通过选取不同深度值进行重采样可实现红外场景不同深度的数字重聚焦,使红外成像在军事和民用领域更有应用价值。     

基于共轭透视相关相机的光场图像渲染与显示

为提升光场图像的渲染效率,提出一种基于共轭透视相关相机的光场图像渲染算法并搭建了相应的光场显示系统。利用共轭透视相机实现了深度正确的光场图像的一步渲染,从而省去了图像编码过程。同时利用相邻共轭相机之间的透视相关性减少重复计算,加速了渲染过程。对比传统算法,该算法并行处理能力强,非常适合利用图形处理硬件进行加速处理。利用中央处理器和图形处理器混合编程技术搭建了获取光场图像的渲染管线。对比测试结果表明,算法对视点数目不敏感,尤其适合高密度视点的光场图像的渲染。而且所渲染的视点越多,效率提升越明显。该算法还可以有效地兼容计算机图形学中的纹理贴图、光照等技术实现逼真场景的渲染。为验证算法的正确性,搭建了一套光场显示系统,利用所渲染的光场图像实现了虚拟场景的3D显示,获得了良好的3D立体效果。     

基于微透镜阵列型光场相机的多目标快速测距方法

以LYTRO相机为例,提出一种基于微透镜阵列型(MLA)光场相机的多目标快速测距方法。该方法的研究过程分为三个部分:第一部分,通过对原始数据进行点扩展函数计算及色彩恢复,并对数据进行超分辨处理,获取重聚焦序列图像,完成对待测目标的预处理过程;第二部分,利用三角形定理,通过贴片的方法,提出一种直接测距法;第三部分,对现有的相对测距法进行超分辨处理,大幅提高算法精度,同时利用改进型的拉普拉斯算子验证算法的正确性。最后将这两种算法结合,即得到一种MLA光场相机的多目标快速测距算法。实验证明,对于少量待测物体,直接测距法精度高,速度快;对于数量较多的待测物体,将直接测距法与相对测距法相结合,不但能够保证精度,还可以提高时效性。该方法为光场相机深度获取、三维重建等方面的研究提供了重要的数据参考及较为精准的评价依据。     

基于超分辨率图像重建的在线相位测量轮廓术

在线物体运动速度过快时会导致采集的变形条纹出现运动模糊,从而丢失相位信息。通过调节相机的图像采集模式可以提高相机的采集帧率,但势必会牺牲相机的分辨率。为了获得高分辨率变形条纹,采用基于最大后验概率的超分辨图像重建方法,使用高斯模型和马尔可夫-吉布斯随机场模型构建高分辨率变形条纹图的后验概率模型,通过目标函数最小化得到高分辨率变形条纹图的最优估计,实现超分辨率条纹图像提纯,最后将所有提纯后的等效相移变形条纹图用相位测量轮廓实现在线三维轮廓重构。实验结果证明了该方法的有效性。所提方法在高精度快速在线三维测量中具有很好的应用前景。     

紧凑型纯相位全息近眼三维显示

提出了一种紧凑型纯相位全息近眼显示方法，避免了4f系统的使用且通过滤波可消除零级光和高级衍射光的干扰，能够实现近眼虚拟现实（VR）和增强现实（AR）三维显示。在进行全息图计算时，三维物体被分割成多层图像，利用每一层图像相对于投影透镜焦平面的距离和投影透镜的焦距获得该深度对应的补偿相位因子，采用迭代优化算法获得三维物体的纯相位全息图并在所提系统中进行显示。通过数值模拟和光学实验，证明了所提方法的有效性。