基于立体像素匹配的图像重构技术研究

为了解决目前全景成像技术中分辨率低的问题,提出了一种新的基于3D场景立体像素光线映射的全景图像计算机重构技术.在全景成像技术中,3D场景的每个立体像素点经全景成像系统的编码系统分别映射在一定区域的多个体元素图像的不同像素点上.在计算机重构全景图像时,根据逆光学路径原理,提出了从立体像素映射到的体元素图像区域中提取对应立体像素的多个2D像素点来重构全景图像,使重构的全景图像最大分辨率可达到传统成像方法图像分辨率的N倍（N为映射区域面积）.提出的立体像素的匹配技术大大提高了重构的计算机全景图像分辨率.     

基于无人机智能视觉的输电线路全息全景重建

针对当前重建方法不能精确展现输电线路实际情况的问题,提出基于无人机智能视觉的输电线路全息全景重建方法。通过分析输电线路全息全景重建原理,采用无人机智能视觉技术对输电线路进行拍照,对输电线路全息全景图像进行采集和特征提取等预处理,跟踪图像特征,引入立体匹配算法,实现输电线路全息全景的重构。实验结果表明,所提方法输电线路重建精度高,视觉效果与实际相符,更具实用性及可行性。     

基于全景环带成像的语义视觉里程计

视觉里程计在智能机器人、自动驾驶等领域有着广泛的应用.但是基于有限视场(FOV)针孔相机的经典视觉里程计算法容易受到环境中运动物体和相机快速旋转的影响,在实际应用中鲁棒性和精度不足.针对这一问题,提出全景环带语义视觉里程计.通过将具有超大视场的全景环带成像系统应用到视觉里程计,并将基于深度学习的全景环带语义分割所提供的语义信息耦合到算法的各个模块,减小运动物体和快速旋转的影响,提高在应对这两种挑战性场景时算法性能.实验结果表明,相较于经典的视觉里程计,所提算法在实际环境下可以实现更加精确和鲁棒的位姿估计.     

双曲面折反射全景成像系统

给出了双曲面折反射全景成像系统的设计方法，推导了系统的逆投影计算公式，建立了虚拟像面内透视全景图像与实际像平面内全景图像的坐标映射关系，为全景视频图像的处理提供了必要的模型和计算方法。提出了全景成像系统设计方法，研制出双曲面反射镜，建立了双曲面折反射全景成像系统。     

基于CMOS图像传感器的车载高清全景成像系统设计

为了满足未来车载全景辅助泊车系统对高清视频图像的需求,以美国OmniVision公司的OV10635低功耗、高分辨率、高动态范围CMOS图像传感器为例,提出了应用210°超广角鱼眼镜头的高清720P车载全景成像系统的电路设计方法以及高速图像传输和调试应注意的问题,并通过选取超低EMI信号传输的双向FPD-LinkⅢ串行/解串器实现了传输距离远、信号质量稳定、传输速率1Gbit/s以上高清数字图像数据的高速传输。通过实际测试表明,对CMOS图像传感器电路的设计达到了车载全景成像系统的高清成像稳定性、小型化等要求。     

全景结构光视觉测量通用畸变校正模型

现有的结构光视觉测量系统中,相机和结构光投射器安装在玻璃管内部以实现全景测量,但玻璃管会导致光发生折射而带来畸变。针对上述畸变,分析了光线在两个圆柱形表面折射的过程,研究了两个异面的折射平面所带来的畸变,建立了一种全景结构光视觉测量通用畸变校正模型。采用全景结构光视觉测量系统对内径为288.50 mm的铝管进行测量,基于全景结构光视觉测量通用畸变校正模型计算铝管的内径。实验结果表明,系统的重复性精度为0.047 mm,测量精度为0.23 mm,系统具有较好的稳定性和可靠性,所提出的全景结构光视觉测量通用畸变校正模型具有较高的准确性。     

水平场景无畸变的折反射全景成像系统

基于透视成像模型，建立了一套较完整的水平场景无畸变的折反射全景成像系统设计方法，分析了该系统的近似透视成像性质；设计制作了特殊面形反射镜，建立了水平场景无畸变的折反射全景成像系统，给出了实验图像，并与双曲面折反射全景成像系统的实景图像和透视全景图像进行了比较。     

基于仿视网膜成像器件的折反射全景系统设计

针对传统折反射全景成像系统的图像必须依赖展开技术的问题,提出一种基于仿视网膜成像器件的折反射全景系统设计。利用国内首款仿视网膜CMOS探测器各环上像元与周向、径向空间瞬时视场的对应关系,推导了双曲面反射镜的镜面参数,构建了基于BIT Retina52探测器的全景成像系统。系统实现了无需坐标变换的全景图像直接输出,较之传统折反射成像系统,改善了空间角分辨率变尺度分布问题。     

基于OLED微显示器和变形目镜的全景显示技术

全景成像在特种车辆内夜间驾驶与观察、警戒监视等应用中具有广泛的应用需求。本文提出了一种基于OLED微显示器和变形目镜的全景图像显示方法,并设计了一套全景显示实验系统,通过图像处理模块完成全景图像数据的存储、缓存、图像预处理和传输,以OLED微显示器的子像素作为显示像素进行驱动信号重编码,实现全景灰度图像的水平3倍压缩显示,最后利用变形目镜将OLED微显示器上显示的压缩图像复原,以供人眼正常观察。实验结果表明:采用现有系统搭建的变形目镜基本实现了双像素靶标条纹的亚像素分辨,并验证了本文全景显示方案的可行性。     

基于折反射全景相机的视觉里程计研究

为了实现折反射全景相机实时定位,提出了基于特征点法的可以用于折反射全景相机的视觉里程计算法。对折反射全景相机的投影模型重新设计了初始化模块,用于全景相机位姿的初始化。在初始化模块中,提出了适用于折反射全景相机的球面对极几何,通过球面对极几何计算初始化过程中两帧图像间位姿变化关系。为了验证算法鲁棒性和精确度,在相同场景下,将本文算法与使用针孔相机的特征点法的视觉里程计算法进行对比。结果表明,使用折反射全景相机的情况下,室外场景和室内场景下视觉里程计精度分别比针孔相机算法提升了38%和50%。     

一种圆柱物体360°全景成像装置设计方法

针对圆柱物体的外观视觉检测设计了一种360°全景成像装置,通过单视点约束计算确定镜面形状,根据相机景深、分辨率、视场角等约束条件设计了镜面参数,对于特定圆柱体尺寸,获得满足相机景深的约束,系统分辨率达到相机原分辨率80%以上的最优镜面参数。利用光学设计软件对全景成像装置进行仿真,根据光学成像质量评价标准,通过对比确定全景成像装置最优方案。利用基于标定的系统化方法展开全景图像,获得透视投影全景图。设计的全景成像装置系统结构简单、成本低、成像质量高、畸变小,克服了传统的圆柱物体侧面360°成像硬件装置复杂、价格昂贵的缺点,为机器视觉提供了一种柱状物体侧面360°度全景成像的装置和镜面设计方法。     

圆柱物体内壁的锥面折反射全景图像展开

针对锥面折反射的全景成像系统采集的圆柱内壁全景图像存在畸变的问题,提出锥面双向投影模型下的圆柱内壁全景图像展开方法。建立含有畸变参数的正向和逆向投影模型,先将圆柱内壁全景图像的像素点逆向映射到展开图像,再将展开图像中缺失的像素点正向映射到原全景图像,通过全景图像和展开图像对应像素点的坐标映射关系,实现圆柱内壁全景图像的展开。实验结果表明:该方法较好地校正了圆柱内壁全景图像的切向和径向畸变,锥面双向投影模型定位精度为亚像素级,相比同心圆环近似展开法,信息熵和平均梯度均有不同程度的提高,能够有效应用于圆柱物体内壁全景图像的展开。     

消畸变成像折反射全景成像系统设计

 单视点折反射全景成像系统畸变较大,通过计算反射镜面型可有效地实现折反射全景成像系统消畸变成像。在反射镜入射角与反射角呈线性关系的基础上,推导适用于消畸变折反射全景成像的反射镜面型公式。为说明反射镜面型的准确性,设计了F#为3.3,视场为138°的消畸变成像折反射全景成像系统,并利用实际像平面和虚拟像平面间的坐标映射关系,实现了系统的消畸变设计。各视场MTF在奈奎斯特频率下均达到0.6, 边缘视场相对畸变小于4 %。结果表明：该面型可实现消畸变折反射全景成像,反射角光线追迹法适用于折反射全景成像系统畸变评价,为折反射全景成像系统消畸变设计提供了必要的模型和计算方法。     

基于机器视觉的雷达测角精度评估系统

利用光学成像原理,设计了基于机器视觉的雷达测角精度评估系统,主要包括光学部分(CCD相机)、图像采集部分和图像处理与目标角度信息提取部分等;机器视觉的定位成像和高精度测角,保证了该系统能在紧缩场中对雷达系统进行自动化、高精度、实时的角度测量校准和测量精度评估试验;理论分析和仿真结果表明,补偿由于雷达系统和机器视觉系统安装位置不同引起的角度测量偏差后,在正常的实验测量误差条件下,基于机器视觉的角度测量校准和评估系统能达到0.005°的校准和评估精度。     

高分辨PAL成像系统的设计研究

基于全景环形透镜的成像技术是全景成像中的一种最具潜力的成像方式,具有高分辨率的长焦距全景环形透镜成像系统光学结构较复杂,结构设计是首要解决的问题.本文根据全景环形透镜成像系统的光路结构及成像特性,详细讨论了全景环形透镜和转像透镜组两部分的设计方法,分别设计了单块全景环形透镜和复杂化全景环形透镜,并对它们的像差特性做了对比,分析了它们之间的光路衔接条件和像差补偿方案.该设计采用小尺寸CCD离轴扫描接收环形像,同时分析了这种扫描机构的可行性.系统要求在300m处需分辨250mm大小的物体,通过计算合理地选择了系统焦距和CCD型号并制定了一套技术指标.最终设计出了焦距8mm,F/#3.2,侧向视场40°~100°的高分辨全景环形透镜成像系统,系统由三胶合结构的全景环形透镜和8片6组的转像透镜组构成,所有表面均为球面.该系统全视场的调制传递函数在80lp/mm处均高于0.5,最大视场像面的相对照度高于0.95,全视场f-θ畸变在±3%以内,该设计很好地满足了使用要求.     

基于三维球面模型的全景视频实时拼接方法

针对主流配准方法被用于周扫型光电预警系统的全景图像拼接适用性有限的问题,提出一种基于三维球面模型的全景视频实时拼接方法。首先,基于周扫型光电预警系统的工作模式进行三维空间的全景重建并构建三维球面模型;通过建模的方式对不同俯仰、方位角度下探测器采集图像的像素点空间位置进行定位。然后,基于三维球面模型搜索不同俯仰角度下重叠视场在三维空间内的最佳配准线,并推导出预警图像重叠区域的配准公式。最后,通过逐行的加权融合算法和图像矫直方式实现全景图像无缝拼接。与主流的5种配准方法进行对比,实验结果表明：该方法切实可行,具有较好的全景拼接效果,有效弥补主流配准方法的不足,即使对天空等特征不明显区域的全景拼接也具有较好的适用性与实时性,全面保证了全景视频成像的连续性与稳定性,对光电预警系统全景拼接任务具有重要的应用价值。     

反向追迹法获取水下对空全景图像

在水下透过波浪对海面及空中目标成像，所获取的目标图像会发生畸变。为定量分析波浪对图像畸变的影响，建立一种理想的水下对空成像模型，得到透过波浪的全景图像。首先，在给定的成像模型下，运用主光线反向追迹法，由斯涅耳定律计算出与水下入射光线对应的水上折射光线的方向矢量，从而得到天球上目标点与成像靶面上单像素点的物像对应关系。然后，对整个成像靶面上的像素点进行遍历，形成水下对空全景图像。最后，在4种特殊的海面波浪波形下，利用MATLAB环境计算出天空圆形目标及背景的水下对空全景图像。计算结果表明:运用反向追迹法能够有效地计算出水下对空全景图像，通过调整波浪参数，可以定量分析图像的畸变程度。主光线反向追迹法适用于分析透过具有一阶可导波浪的水下对空全景图像的畸变特征，为研究更复杂波浪下的水下对空图像畸变特征奠定了基础。     

制冷型中/长红外双波段双视场全景光学系统设计

为了同时探测中波红外和长波红外两个波段信息,实现两个不同视场快速切换,采用空间多镜头图像拼接全景成像法,设计了四通道制冷型中/长红外双波段双视场全景成像光学系统。该全景系统由周视方向3个互成120的红外物镜和顶视方向一个红外物镜构成,每一个成像通道光学系统采用二次成像结构。F数为2,工作波段为中波3.5 m～4.8 m、长波7.8 m～9.8 m,双视场两档焦距之比为5,通过轴向移动变倍组可以完成122/44.49双视场转换。利用折/衍混合器件及非球面设计技术,采用光学被动式消热差法对光学系统进行了温度补偿。设计结果表明,该双视场光学系统具有100%冷光阑效率和良好的冷反射抑制能力。在-40℃～+60℃范围内,在奈奎斯特频率18 lp/mm位置处,中波红外系统MTF值均大于0.5,长波红外系统MTF值均大于0.3。     

嫦娥三号全景相机图像全景镶嵌方法的研究

为实现嫦娥三号月球车全景相机图像的无缝镶嵌,针对全景相机序列图像光照不均、月表影像的特殊性等问题,提出了一种基于加速稳健特征(SURF)算法的嫦娥三号全景相机图像全景镶嵌方法。采用SURF算法提取特征点,用SURF描述子的欧氏距离作为判定度量进行特征匹配。求取相邻两幅图像间的变换矩阵,并利用Levenberg-Marquardt非线性优化算法进行优化。采用基于线性插值的渐入渐出方法对图像重叠区域进行融合,实现月表图像的无缝镶嵌。结果显示,该方法针对嫦娥三号全景相机图像实现了快速准确的镶嵌,生成的镶嵌图满足月球车探测目标选取及路径规划的需求。     

基于变形目镜和OLED的全景周视成像与显示技术

在车载、舰载等运动载体或单兵警戒值守等狭窄空间,传统显示方法难以兼顾显示视场与显示分辨率。针对该问题,本文研究了一种基于变形目镜的全景/周视成像技术与系统。系统采用3路低照度摄像机+4 mm焦距镜头,构成150°左右的全景成像视场,基于FPGA处理平台完成全景图像解析、拼接、校正和显示等算法,实现视频图像大视场拼接与1/3缩放实时显示;由OLED微显示器、变形目镜组和大目镜组成的显示系统使视频图像横向扩大3倍,实时显示全景高分辨动态场景图像。实验系统对全景成像显示技术进行了验证,在军用和民用领域具有广泛的应用前景。