面向头戴式三维显示的图像质量测评方法和系统

头戴式三维显示设备是虚拟现实、增强现实和元宇宙等领域人机交互界面的常用呈现载体,当前,面向头戴式三维显示图像质量测评的方法和系统依然较为缺乏。提出了基于人眼视觉特性的三维显示质量评价理论,设计了基于人眼视觉特性的三维显示质量测评方法和系统,实现了对头戴式三维显示深度表达能力、畸变、极限可分辨能力和视场角等参量的定量化测评。利用双目视觉原理测试深度表达能力,利用像点弯曲程度和多项式变换关系表示畸变程度,利用条纹MTF值和曲线谷峰比评价极限可分辨能力,利用小孔成像原理拟合视场角。针对两款待测试头戴式显示设备,测得的深度相对误差小于3.5%,畸变程度小于3%,视场角分别为77°1′44″和86°56′26″。测评结果与人眼主观感受具有高度的一致性,相关方法和系统具有较高的工程适用性,有望在头戴式三维显示质量测评与设计改进方面发挥重要的作用。     

基于光场重构的空间三维显示技术

真实空间三维显示可以通过精确再现三维物体的空间光场分布来实现.依据三维景物空间光场分布特性,提出并介绍基于光场重构的真实空间三维场景显示的基本原理与方法.实验表明,利用光场重构原理,可以运用现有的光学空间光调制器构造出比全息再现更为优越的真实三维显示.     

增强现实显示技术综述

增强现实显示技术近年来发展迅速,已成为全球信息技术及产业的研究热点和发展重点,有望彻底改变人们感知和处理各种数字信息的方式。同时,微显示技术和光学技术的最新进展为增强现实显示技术的进一步发展指明了方向。本文分析了人眼视觉系统对增强现实头戴式显示器的光学性能要求,将目前增强现实头戴式显示器可实现的规格与之进行比较,说明了现阶段增强现实显示技术的发展水平和面临的主要挑战;重点阐述了增强现实显示技术中各种微显示器和光学组合器的基本原理和所能达到的参数指标,说明了它们的技术先进性和可实现性,同时对它们的发展前景进行了展望。     

光场显微镜实现裸眼三维实时显示

提出了一种将光场显微镜与裸眼三维显示技术相结合的方法,实现了利用光场显微镜对微观样品进行三维裸眼实时观察的技术。该技术将光场显微镜得到的子图像阵列直接投影在微透镜阵列的焦平面上,在空间一定区域内双眼可分别观看到两幅不同视角图像,使观察者产生立体视觉。该系统具有结构简单,无需相干光源,无需佩戴特殊眼镜,可多人同时观看等优点,应用前景广泛。     

基于光场相机的全视差三维显示

针对光场相机采集的三维信息在显示时只能呈现非常窄的视差问题,对光场相机信息记录过程进行了分析,提出一种将光场数据转化为元素图像阵列(EIA),并对EIA中的物体进行重新采样以调整深度的全视差三维显示方法。为了验证该方法的有效性,使用光场相机采集真实三维物体,利用所提方法对光场图像进行处理后,将其在深度优先集成成像(DPII)系统中进行显示。实验结果表明,利用所提方法可以实现光场数据的全视差三维显示。     

水平光场三维显示单目聚焦特性研究

水平光场三维(3D)显示可以在保证较好立体显示效果的同时,显著压缩需处理的海量光线信息,因此是一种重要的三维显示方法。由于缺少竖直方向的光场变化,水平光场的显示清晰度表现力与单目聚焦能力都与理想的光场形式不同。基于扫描型光场显示技术,分析了水平光场的点扩展函数(PSF);基于人眼和相机的自动聚焦原理,对不同显示参数下所重构的水平光场进行聚焦仿真,得出光线横向散射角以及每圈更新图像数对水平光场单目聚焦能力的影响;通过扫描型水平光场显示样机对所得结论进行验证。结果表明,水平光场的最大可聚焦高度随光线横向散射角的增加而减小,随每圈更新图像数的增加而增加。该分析方法及结论可以为单目聚焦水平光场显示系统提供设计依据。     

基于人眼视觉特性的硅基OLED微显示器系统

针对头戴式虚拟现实应用中数据带宽传输过高的问题,设计了一种基于人眼视觉特性的硅基OLED微显示器系统.研究人眼视觉系统,采用纹理金字塔的Foveation滤波算法模拟人眼的动态凝视效果,在输出图像上实现多层级纹理金字塔的多分辨图像融合;在FPGA平台上利用Verilog HDL语言完成了各模块的结构设计,实现了从视频信号解码到驱动1 600×1 600分辨率的全彩硅基OLED微显示器的整个过程.实验结果表明,基于人眼视觉特性的多分辨图像融合压缩算法,具有良好的数据压缩比,可有效减小硅基OLED微显示器的数据传输带宽,且符合人的视觉直观感受,渲染质量良好,能够满足虚拟现实嵌入式环境下对硅基OELD微显示器实时渲染数据传输需求.     

基于共轭透视相关相机的光场图像渲染与显示

为提升光场图像的渲染效率,提出一种基于共轭透视相关相机的光场图像渲染算法并搭建了相应的光场显示系统。利用共轭透视相机实现了深度正确的光场图像的一步渲染,从而省去了图像编码过程。同时利用相邻共轭相机之间的透视相关性减少重复计算,加速了渲染过程。对比传统算法,该算法并行处理能力强,非常适合利用图形处理硬件进行加速处理。利用中央处理器和图形处理器混合编程技术搭建了获取光场图像的渲染管线。对比测试结果表明,算法对视点数目不敏感,尤其适合高密度视点的光场图像的渲染。而且所渲染的视点越多,效率提升越明显。该算法还可以有效地兼容计算机图形学中的纹理贴图、光照等技术实现逼真场景的渲染。为验证算法的正确性,搭建了一套光场显示系统,利用所渲染的光场图像实现了虚拟场景的3D显示,获得了良好的3D立体效果。     

平行摄像机阵列移位法获取视差图像的研究

平行摄像机阵列移位法是一种摄像机阵列获取三维场景的视差图像的新方法.该方法在平行摄像机阵列法的基础上,将获取的视差图像进行平移处理,获得了立体显示所需的具有正、负水平视差的视差图像,且这些视差图像没有楔形失真和垂直视差.该方法集中了会聚摄像机阵列法和平行摄像机阵列法两种常规方法各自的优点并摒弃了其缺点.实验证实,所获取的视差图像在光栅式自由立体显示器上得到了三维场景的清晰逼真再现显示效果.     

基于体感检测器件的悬浮真三维显示力触觉交互

三维(3D)显示以其自然直观的方式受到广泛关注。提出一种基于悬浮真三维显示系统的指套式力触觉交互方法。通过Leap Motion提取指尖坐标,利用双目相机实现光场显示区域和交互区域的坐标转换;判断手与显示区域的位置关系,传递信号使指套振动,从而完成力触觉交互。结果表明,利用所提方法可以完成光场显示区域和交互区域的坐标转换,转换精度在5 mm以内。当用户与三维显示模型交互时,有效和实时的力触觉交互有助于增强真实的感官体验。     

计算光场成像

光场为三维世界中光线集合的完备表示。通过记录更高维度的光线数据,光场能够准确感知周围复杂多变的动态环境,支撑智能系统对环境的理解与决策。计算光场成像技术围绕光场及全光函数表示,旨在结合计算、数字传感器、光学系统和智能光照等技术,以及硬件设计、软件计算能力,突破经典成像模型和数字相机的局限性,建立光在空域、视角、光谱和时域等多个维度的关系,实现耦合感知、解耦重建与智能处理,具备面向大范围动态场景的多维多尺度成像能力。光场成像技术正逐渐被应用于生命科学、工业探测、国家安全、无人系统和虚拟现实/增强现实等领域,具有重要的学术研究价值和广阔的产业应用前景。然而,伴随着高维数据的离散化采样,光场成像面临空间分辨率与视角分辨率的维度权衡挑战,如何对稀疏化的采样数据进行光场重建成为计算光场成像及其应用的基础难题。与此同时,受制于光场信号的高维数据感知量,光场处理面临有效数据感知与计算高效性的矛盾。如何用光场这一高维信息采集手段,取代传统二维成像视觉感知方法,并结合智能信息处理技术实现智能化高效感知,是实现光场成像技术产业化应用的巨大挑战。对过去20年来计算光场成像装置与算法的研究进行概述和讨论,内容涵盖光场表示和理论、光场信号采集、空间与视角维度重建等。     

基于偏振位相调制的位相轮廓测量

本文介绍了一种用来测量三维物体面形的位相轮廓方法，它是通过将正弦光场投影到被测物面，该光场被物体表面调制后发生位相改变，利用偏振位相调制及位相检测算法计算物面的位相分布，再根据几何关系实现对物体三维形貌的测量。实验装置采用一种偏振位相调制的干涉光场投影装置对光场进行简便而精确的移相，采用ＣＣＤ摄像机记录畸变光场，并用计算机处理和显示测量结果。文中给出了有关实验结果。     

三维摄像与显示综合实验

以双目视觉为基础设计了三维摄像与显示的综合实验,包括演示型和研究型的两层次实验内容,涵盖低年级演示物理和高年级专业物理的实验教学.学生通过自行搭建双摄像头的拍摄平台进行实验,了解立体视觉生理与心理原理,学会不同场景对应的最佳拍摄参量组合.     

基于神经辐射场的光场角度域超分辨

由于数据通量限制,光场数据采集存在空间-角度分辨率折中,无法达到诸多应用场景对精细三维重建的要求。本文使用双平面参数化光场数据训练神经辐射场,由神经辐射场生成光场视点平面上新的视点图像,进而实现光场角度域超分辨。由于神经辐射场能够对光场场景进行隐式表达,为高分辨率的四维光场拟合出准确的隐式函数,并将输入变量通过位置编码映射到该变量的傅里叶特征。因此该方法可以准确表达具有复杂不利条件的光场场景,并且能够有效地解决场景高频纹理信息较难拟合的问题。本文通过超分辨光场的角度域信息突破空间-角度分辨率折中、带宽积的限制,在实验中将角度分辨率从5×5提升到9×9,并且峰值信噪比（PSNR）平均提升了13.8%,结构相似度（SSIM）平均提升了9.19%。该研究结果可为后续的光场计算成像工作提供参考。     

基于频谱集中程度的重参数化在光场去噪中的应用

从频谱支集对称程度及夹角两个结构特点出发，分析频谱支集结构变化对于去噪效果的影响，提出光场频谱支集集中程度的概念，并设计相应的度量函数。通过极小化集中程度度量函数，计算合适的光场双平面间距，按照此间距在去噪前对光场数据进行重参数化可以提高滤波去噪效果。HCI模拟光场数据和斯坦福实测光场数据实验结果表明，引入重参数化的光场滤波去噪方法能够优化去噪结果。从视觉上看，在滤除更多噪点的同时保留场景更多的结构和纹理信息；从定量评价上看，峰值信噪比和结构相似度指标也有所提高。     

基于光场深度序列的大视野图像拼接算法

针对现有光场深度重建算法只能获取单一视角深度信息,三维建模应用受限的问题,提出一种大视野图像拼接算法。该算法基于三维光场重建的深度图像序列,采用双边滤波及插值算法对图像进行去除噪声,利用基于边缘曲率极值的角点检测算法,并通过最小曲率偏差的列间度量匹配实现了图像之间的精确配准,采用改进的加权平均方法对重叠区域进行融合操作,既保留图像细节又拓展图像视野。实验结果表明,该算法能够有效实现光场深度图像序列的平滑拼接,有利于形成大视野深度数据,为大场景的三维重建奠定了基础。     

彩色视觉门限及LOFAR显示的数学模型

彩色B式声呐显示器的检测性能，由于与人的视觉生理和视觉心理有关，因而不易建立数学理论来定量地评价它的性能．本文注意到冷色和暖色是色差反差很大的二类颜色，正常人很容易就能区分它们．因此，基于多种冷色和暖色的“色棒”，冷暖色的分界面所相应的电平相当于一个“视觉门限”，这是一个与视觉生理和视觉心理无关的，可客观判定的门限．基于视觉门限和被显示过程的概率模型即可定量分析显示器的统计特性．对声呐LOFAR显示性能的理论分析和实验结果合理地一致，所提出的理论对优化显示器性能提供指导．声呐显示器希望兼有大的显示动态范围和低的检测阈，并且希望在干扰背景不均匀时无须人工调整显示器，就能保证优化的显示性能．建议用‘自适应彩辉调整”和双曲正切函数型彩辉函数来达到上述目的，实验室仿真试验表明效果良好．     

基于字典学习的稠密光场重建算法

相机阵列是获取空间中目标光场信息的重要手段,采用大规模密集相机阵列获取高角度分辨率光场的方法增加了采样难度和设备成本,同时产生的大量数据的同步和传输需求也限制了光场采样规模.为了实现稀疏光场采样的稠密重建,本文基于稀疏光场数据,分析同一场景多视角图像的空间、角度信息的关联性和冗余性,建立有效的光场字典学习和稀疏编码数学模型,并根据稀疏编码元素间的约束关系,建立虚拟角度图像稀疏编码恢复模型,提出变换域稀疏编码恢复方法,并结合多场景稠密重建实验,验证提出方法的有效性.实验结果表明,本文方法能够对场景中的遮挡、阴影以及复杂的光影变化信息进行高质量恢复,可以用于复杂场景的稀疏光场稠密重建.本研究实现了线性采集稀疏光场的稠密重建,未来将针对非线性采集稀疏光场的稠密重建进行研究,以推进光场成像在实际工程中的应用.     

一种基于光场图像的聚焦光场相机标定方法

基于光场成像技术的场景三维深度重建,需标定光场相机的几何参数。本文提出一种基于原始光场图像的聚焦光场相机的标定方法。拍摄标定板不同旋转角度的原始光场图像;根据图像上像点与虚拟像点(像点关于微透镜的共轭点)的共轭关系,计算得到虚拟像点的坐标;根据标定板上角点与虚拟像点的共轭关系,建立聚焦光场相机标定模型;利用Levenberg-Marquardt算法求解标定模型,进行标定实验;比较所提方法与基于全聚焦图像的标定方法的标定参数。结果表明,原始光场图像与全聚焦图像对应的虚拟像点(角点关于主透镜的共轭点)之间的误差小于21pixel,角点的标定误差小于3%,基于原始光场图像和全聚焦图像方法获得的结构参数和外部参数具有较好的一致性,表明基于原始光场图像的标定方法的可行性。     

基于人眼视觉的集成成像三维显示分辨率的比较

为了对不同集成成像系统三维显示应用中的视觉分辨效果进行表征, 提出了一种基于人眼视觉的集成成像三维显示分辨率的分析比较方法. 通过分析集成成像三维显示系统的分辨率与人眼在最佳显示观看距离下分辨本领的关系, 定义了相对分辨率参数, 分析了其与集成成像三维显示实际观看时视觉分辨效果的关系. 研究结果表明, 透镜阵列的大小对集成成像三维显示的视觉分辨效果有重要的影响. 针对两个系统实例的理论计算结果表明, 系统间的相对分辨率参数差异是传统分辨率差异的1.75倍, 实验结果与理论分析一致. 该研究方法对三维显示分辨率的评价有一定的指导意义.