一种基于嵌入式全景视频流影像数据实时拼接方法

针对机载全景视频流影响,提出了一种基于嵌入式的全景实时拼接方法。提取图像中的SURF(speeded up robust features)特征点,生成特征描述子。通过计算2个特征点之间的欧式距离来确定匹配度,经过仿射变换后,利用泊松变换实现图像间的融合平滑处理。将上述流程在目标设备上进行并发执行,根据每个流程自身的特点进行定制化优化,实现全景实时拼接。试验测试表明,本方法实现了拼接接缝处基本无缝的效果,拼接速度达到30 Hz,能够满足实时显示的要求。     

高精度全景补偿电子稳像

针对摄像机拍摄目标过程中自身的随机抖动造成的视频序列不稳定,以及稳像补偿过程中边缘信息的丢失,提出了基于SURF（Speed-up Robust Feature）算法的全景电子稳像方法。首先,运用SURF算法提取当前帧图像和参考帧图像的兴趣点,将两幅图像的兴趣点进行匹配,建立两帧的对应关系。针对兴趣点数目较少及场景中部分区域特征相似的情况,引入了兴趣点位移一致性抑制策略,改进了RANSAC（RANdom SAmple Consensus）误匹配的剔除算法,使得运动矢量的精确度小于1 pixel。然后,判定参考帧的更新策略,获取平滑的运动变量。最后,进行运动补偿,运用图像镶嵌技术对丢失的边缘区域信息进行全景补偿,得到了高精度的全景稳像结果,实验得到的输出视频峰值信噪比（PSNR）提高了33.1%。     

玉兔二号月球车

正说起嫦娥四号着陆器登陆月背,一只小兔子可是吸足了人们的眼球,这便是搭载嫦娥四号登陆月球的"玉兔二号"月球车,这是继"玉兔号"月球车后,我国送上月球的第二辆月球车。"玉兔二号"月球车性能比前者更加强悍,它上面搭载了全景相机、测月雷达、红外成像光谱仪和与瑞典合作的中性原子探测仪等多     

基于折反射全景相机的视觉里程计研究

为了实现折反射全景相机实时定位,提出了基于特征点法的可以用于折反射全景相机的视觉里程计算法.对折反射全景相机的投影模型重新设计了初始化模块,用于全景相机位姿的初始化.在初始化模块中,提出了适用于折反射全景相机的球面对极几何,通过球面对极几何计算初始化过程中两帧图像间位姿变化关系.为了验证算法鲁棒性和精确度,在相同场景下...     

基于三维球面模型的全景视频实时拼接方法

针对主流配准方法被用于周扫型光电预警系统的全景图像拼接适用性有限的问题,提出一种基于三维球面模型的全景视频实时拼接方法。首先,基于周扫型光电预警系统的工作模式进行三维空间的全景重建并构建三维球面模型;通过建模的方式对不同俯仰、方位角度下探测器采集图像的像素点空间位置进行定位。然后,基于三维球面模型搜索不同俯仰角度下重叠视场在三维空间内的最佳配准线,并推导出预警图像重叠区域的配准公式。最后,通过逐行的加权融合算法和图像矫直方式实现全景图像无缝拼接。与主流的5种配准方法进行对比,实验结果表明：该方法切实可行,具有较好的全景拼接效果,有效弥补主流配准方法的不足,即使对天空等特征不明显区域的全景拼接也具有较好的适用性与实时性,全面保证了全景视频成像的连续性与稳定性,对光电预警系统全景拼接任务具有重要的应用价值。     

基于无人机智能视觉的输电线路全息全景重建

针对当前重建方法不能精确展现输电线路实际情况的问题,提出基于无人机智能视觉的输电线路全息全景重建方法。通过分析输电线路全息全景重建原理,采用无人机智能视觉技术对输电线路进行拍照,对输电线路全息全景图像进行采集和特征提取等预处理,跟踪图像特征,引入立体匹配算法,实现输电线路全息全景的重构。实验结果表明,所提方法输电线路重建精度高,视觉效果与实际相符,更具实用性及可行性。     

嫦娥一号月面成像的高精度匹配及月貌三维重建

针对嫦娥一号探月卫星2C级月面成像,提出了基于待配点最优模板选择的二次函数形变补偿迭代匹配方法。仿真表明它能有效地适应地形起伏引起的图像形变,匹配精度较高且稳定性好。在标准相关匹配的基础上结合所提出的方法完成了下视图与前、后视图的精确匹配,采用三视约束机制和顺序检验机制保证了匹配的稳健性。分析了线阵相机成像的仿射近似模型,并以此为基础实现同轨三视重建。基于邻轨下视图同名特征点,采用RANSAC方法估计邻轨三维坐标转换参数,完成邻轨拼接。实验结果表明,三维重建的月貌图能够更好地表达月球表面的形状和地形。     

中国探月工程“嫦娥三号”将首次以月基天文望远镜观测天体

我国将于2013年12月实施嫦娥三号探月任务,嫦娥三号作为探月二期工程的主要任务,将实现我国航天器在地外天体首次软着陆,从嫦娥三号着陆器中释放出的月球车,将进行我国首次在月表巡视探测.这是继美国阿波罗计划后人类重返月球的首个月球软着陆探测器."嫦娥三号"执行的任务中有其他国家没有做过的.一是利用"嫦娥三号"就位和巡视的特色,制定了一个特殊的科学目标:"观天,看地、探月".第一,观天,用月基天文望远镜观测天文;第二,看地,用月基极紫外照相机监测地球等离子体层的密度     

全景系统中大视场摄像机径向畸变校正算法研究

针对全景系统中的大视场红外摄像机和可见光摄像机带来的图像畸变问题,在分析了畸变原理和数学模型的基础上,首先采用模板法标定摄像机的畸变参数,然后对畸变图像中像素点位置进行几何变换,再对像素点上的灰度值进行双线性插值法灰度校正,最后通过优化算法提高了图像运算速度。试验结果表明,设计的畸变校正算法能实时的校正全景系统中的畸变图像,有效提高了全景图像的观察效果。     

动基座下全景成像系统图像稳定及目标检测算法研究

针对全景系统中大视场相机带来的图像畸变以及安装基座产生运动或摇摆时带来的目标拼接图像出现起伏和晃动问题,在分析畸变原理和全景图像动态稳定数学模型的基础上,首先对摄像机采集的图像进行畸变校正,然后根据安装基座的姿态数据对原始图像各像素点进行旋转变换、空间投影以及平滑处理后得到全景图像,最后基于深度学习算法对全景图像中的目标进行检测与识别。在建立的数据集上进行训练与测试的结果显示,该算法对船只目标的实时检测速度达25 fps,准确率达80%,能够满足动态条件下对图像稳定和船只目标实时检测的要求。     

嫦娥三号极紫外相机几何定位方法及其应用

针对嫦娥三号极紫外相机影像由于缺少控制点约束而无法沿用地球遥感影像几何定位方法的现状,研究了极紫外相机的工作原理、涉及的坐标系统及其转换关系,提出了一种基于星上遥测参数和严格坐标转换关系的几何定位方法,进行了影像数据几何定位及定位精度分析.研究结果表明,该方法能够解算影像拍摄时刻极紫外相机光轴在太阳磁层坐标系中的指向,以及着陆器在该坐标系中的位置,精确定位影像中地球质心的位置,校正相机光轴指向在原始影像中对应的位置,确保极紫外相机探测数据的科学应用价值,实现嫦娥三号空间环境探测的科学目标.     

一种基于特征不变描述的图像无缝拼接算法

针对尺度变化不明显场景的拼接,提出一种基于特征不变描述的图像无缝拼接算法.利用Harris特征检测算子进行特征点提取,在此基础上对提取出的特征点采用SIFT描述子进行处理,使其具备旋转不变性,然后利用k-d树算法进行遍历搜索定位,并用RANSAC算法进行图像间单应性变换矩阵计算,最后利用加权平均的融合方法进行图像无缝平滑,得到无缝拼接图像.实验结果表明:该算法在图像任意角度旋转的情况下,能有效地实现图像无缝拼接,并具有较强的鲁棒性.     

全景环形透镜二维平面成像展开算法研究

针对基于平面圆柱透视法PCF(Plat Cylinder Perspective)设计的全景环形透镜PAL(Panoramic Annular Lens)的环行像存在畸变失真的现象,对全景环形透镜PAL的二维平面环形像设计了展开算法,分别在切向和径向进行线性化处理.算法采用了线性插值,使展开后图像无盲区,同时建立在FCP成像原理上的转化,实现了对二维平面PAL像进行真实恢复,且效果良好.     

旋转扫描序列图像的全景图拼接方法

针对火炮身管内表面观测的特殊需求,考虑到传统的图像拼接方法效率低或精度低的缺陷,提出了一种硬件和软件相结合的基于旋转扫描序列内表图像的全景拼接方案和图像拼接算法.该方案用步进电机驱动45.平面反射扫描镜和CCD相机同步旋转来实现对等距内表面序列图像的快速获取,利用获取的序列图像根据步进电机的步进角度完成内表面全景图像的粗级拼接,即在拼接中首先对步进旋转角度θ和图像素距离P进行标定,然后根据标定结果选取待配准的子图像区域,在子图像区域中采用基于相化相关的图像配准方法对图像进行像素级配准,从而完成对序列图像的精级拼接.为了实现图像的平滑过渡避免出现拼接痕迹,最后提出了基于人眼视觉特性的高斯函数权值加权图像融合过渡的方法.试验和仿真结果表明:该方案能够实现内表图像的快速高精度全景拼接,拼接的精度达到像素级,拼接时间小于500 ms,能够满足内腔表面观测的实时性需求,非常适合工程实际应用.     

基于全景环带立体成像系统的深度信息估计

提出了一种基于全景环形透镜(PAL)的全景环带立体成像系统的立体信息提取方法。该成像系统由两组共轴PAL单元构成,其成像圆为两内外相接的圆环,能够实时提取360°水平视场角物体的立体信息。基于该系统的成像原理,针对非单视点成像系统特点建立相机模型对系统进行标定,并验证了标定结果。将尺度不变特征变换(SIFT)算法应用到对应点匹配上,充分利用本系统的共线约束来提高匹配的速度和准确度。应用三角测量原理从捕获的图像中提取有效深度信息。进行立体信息提取实验,给出了结果和误差分析。该系统能有效获取场景深度信息,3m距离范围误差率在±5.2%内,证明了该系统的可行性。     

基于变形目镜和OLED的全景周视成像与显示技术

在车载、舰载等运动载体或单兵警戒值守等狭窄空间,传统显示方法难以兼顾显示视场与显示分辨率。针对该问题,本文研究了一种基于变形目镜的全景/周视成像技术与系统。系统采用3路低照度摄像机+4 mm焦距镜头,构成150°左右的全景成像视场,基于FPGA处理平台完成全景图像解析、拼接、校正和显示等算法,实现视频图像大视场拼接与1/3缩放实时显示;由OLED微显示器、变形目镜组和大目镜组成的显示系统使视频图像横向扩大3倍,实时显示全景高分辨动态场景图像。实验系统对全景成像显示技术进行了验证,在军用和民用领域具有广泛的应用前景。     

一种圆柱物体360°全景成像装置设计方法

针对圆柱物体的外观视觉检测设计了一种360°全景成像装置,通过单视点约束计算确定镜面形状,根据相机景深、分辨率、视场角等约束条件设计了镜面参数,对于特定圆柱体尺寸,获得满足相机景深的约束,系统分辨率达到相机原分辨率80%以上的最优镜面参数。利用光学设计软件对全景成像装置进行仿真,根据光学成像质量评价标准,通过对比确定全景成像装置最优方案。利用基于标定的系统化方法展开全景图像,获得透视投影全景图。设计的全景成像装置系统结构简单、成本低、成像质量高、畸变小,克服了传统的圆柱物体侧面360°成像硬件装置复杂、价格昂贵的缺点,为机器视觉提供了一种柱状物体侧面360°度全景成像的装置和镜面设计方法。     

基于全景环带成像的语义视觉里程计

视觉里程计在智能机器人、自动驾驶等领域有着广泛的应用.但是基于有限视场(FOV)针孔相机的经典视觉里程计算法容易受到环境中运动物体和相机快速旋转的影响,在实际应用中鲁棒性和精度不足.针对这一问题,提出全景环带语义视觉里程计.通过将具有超大视场的全景环带成像系统应用到视觉里程计,并将基于深度学习的全景环带语义分割所提供的语义信息耦合到算法的各个模块,减小运动物体和快速旋转的影响,提高在应对这两种挑战性场景时算法性能.实验结果表明,相较于经典的视觉里程计,所提算法在实际环境下可以实现更加精确和鲁棒的位姿估计.     

全景图像海天线提取及舰船目标自动检测

为实现海洋环境下全景摄像机自动目标检测,提出了一种全景图像海天线提取算法及海天线上舰船目标检测方法;首先,分析了全景图像中海天线的成像特点,使用基于分区的自适应阈值Canny边缘检测算法进行边缘检测,并对海天线边缘进行双阈值梯度方向过滤;然后,对图像边缘进行细化,提出了基于最长曲线法的海天线边缘提取算法并进行椭圆拟合得到海天线边缘成像椭圆方程;最后,介绍了根据海天线椭圆方程对海天线上舰船目标进行检测的方法;使用3种不同海洋环境下拍摄的图像进行了实际测试,实验结果表明:该方法可有效地检测出复杂海天背景下的海天线及海天线上舰船目标,海天线提取成功率可达95％以上,对径向成像高度超过10个像素的目标识别成功率可达90％。     

基于改进主动轮廓模型的全景海天线检测

提出了一种基于改进主动轮廓模型的海天线检测算法,检测全景海域图像中的椭圆海天线。通过全分辨率算法获取图像的视觉显著图,提取全景设备区在全景图像中的位置,以消除全景设备区干扰对海天线检测的不良影响。根据全景海天线为椭圆形这一特征,将构造的形状能量约束项加入主动轮廓模型中作为新的能量函数,使活动轮廓线的形状在收敛过程中受到限制,从而成功收敛到全景海天线上。实验结果表明,该算法对不同拍摄条件下的全景图像均适用,检测准确率达到96%,普适性和稳健性良好。