基于HOURGLASS网络语义关键点提取的光学图像空间目标姿态估计方法

空间目标姿态估计是有效实现各类航天任务的重要前提,基于空间光学观测图像的目标姿态估计关键一环在于快速准确地建立起观测图像与空间目标之间的“二维特征点-三维实体结构”映射关系。传统的方法往往将这一任务分解为特征提取和特征关联两个步骤序贯进行,然而在空间目标光学观测场景中,高动态的光照变化和目标的相对高速运动特点会显著降低图像特征提取的可靠性,影响后续特征关联匹配的正确率并最终降低对空间目标的姿态估计精度。针对这一问题,本文提出了一种基于语义关键点提取的光学图像空间目标姿态估计方法,利用Hourglass网络端到端地提取包含语义信息的关键点,直接实现了光学图像中二维特征点与目标三维实体结构的关联映射,并在此基础上利用EPnP算法求解待估计的目标姿态值。实验结果表明,本文所提的方法能较好地兼顾算法精度与效率,其在仿真数据集上的姿态估计最小误差为0.83°,且在数据降质的情况下平均误差依然优于传统方法。      

基于单目相机的空间非合作目标姿态测量

提出了一种基于单目相机的空间非合作目标姿态测量方法。研究了目标姿态测量的基本原理并介绍了基于合作目标和双目相机的优缺点。通过匹配点得到相机的参数模型,然后利用对极几何方法得到目标姿态。仿真实验表明本文方法能够估计目标的姿态,为导引系统提供了一种自动获取目标姿态信息的新方法。     

基于雷达图像特征的空间目标载荷指向估计方法

载荷指向信息是空间目标在轨工作状态感知的重要依据，文中提出了一种基于逆合成孔径雷达（inverse synthetic aperture radar，ISAR）图像中的轴向特征匹配与重建的空间目标载荷指向估计方法，可以反演出空间目标天线载荷的具体指向及观测区域.该方法首先利用Randon变换和极值点检测等从ISAR图像中提取出天线载荷的两个轴线方向，然后再将该轴向特征与仿真特征模板库进行匹配，实现天线载荷轴向姿态角的粗略估计，同时利用三维矢量到二维平面的几何转换关系，建立载荷轴向在轨道坐标系与ISAR成像坐标系之间的姿态解算公式，根据姿态角粗略估计结果及三维重建矩阵实现载荷轴向及指向姿态的优化求解.基于动态仿真数据验证了该方法的有效性.     

基于线特征差分投影的空间目标姿态估计方法

空间目标姿态估计是有效实现基于ISAR图像空间目标识别的重要前提。本文针对利用线特征二维投影进行姿态估计时,线特征投影的检测误差会严重影响姿态估计精度这一问题,提出一种基于线特征差分投影的空间目标姿态估计方法。该法利用DP算法检测线特征在ISAR图像中的投影,通过建立线特征在实测ISAR图像和姿态估计值下的仿真图像中的二维差分投影,将线特征投影检测的绝对误差转化成相对误差,有效减小了线特征投影的检测误差对姿态估计的影响;同时,利用差分投影求取姿态估计的修正量,形成姿态估计的优化迭代过程,不断提高姿态估计精度。仿真实验验证了方法的可靠性与有效性。      

基于子空间的3D目标识别和姿态估计方法

提出一种基于子空间的3D目标识别方法。该方法对3D目标进行事先的训练学习,采集目标可能出现时的图像,提取场景中目标的主要特征成分,建立所有目标样本图像和每个目标样本图像对应的两类特征子空间,分别用来确定目标类型和姿态。当输入一幅未知的待识别目标样像,识别系统将其分别向两类特征空间投影,根据它在两类特征子空间中的投影位置并参照目标特征的分布规律识别目标类型和姿态。实验证明,该方法具备对目标多种姿态图像畸变的鲁棒性,对光照变化也有很好的抑制作用,取得良好的目标识别效果。     

基于改进热图损失函数的目标6D姿态估计算法

针对传统热图回归使用的均方误差（MSE）损失函数训练热图回归网络的精度不高且训练缓慢的问题,本文提出了用于热图回归的损失函数Heatmap Wing Loss(HWing Loss)。该损失函数对于不同的像素值有不同的损失函数值,前景像素的损失函数梯度更大,可以使网络更加关注前景像素,使热图回归更加准确快速。同时根据热图分布特性,使用基于高斯分布的关键点推理方法减小热图推断关键点时的量化误差。以此两点为基础,构造新的基于关键点定位的单目标姿态估计的算法。实验结果表明,相比于使用MSE Loss的算法,使用HWing Loss的姿态估计算法有更高的ADD(-S)准确率,在LINEMOD数据集上达到了88.8%,性能优于近期其他的基于深度学习的姿态估计算法。本文算法在RTX3080 GPU上最快能以25 fps的速度运行,兼具速度与性能优势。     

基于ISAR像的空间目标姿态变化判别方法

空间目标姿态变化判别对于空间攻防作战时密切掌握敌方目标意图具有重要意义。文中研究了基于逆合成孔径雷达(ISAR)像的空间目标姿态变化判别方法,即判断空间目标处于姿态稳定状态还是姿态变化状态。首先,推导了基于ISAR像进行目标姿态变化判别的基本原理;然后,基于图像处理和图像匹配技术提出了ISAR像旋转角度提取方法和目标姿态变化判别方法;最后,利用雷达实测数据验证了文中方法的有效性。     

基于视觉的定点监控飞艇姿态和位置估计

为了提高飞艇定点监控的自主性和准确性,研究了一种基于视觉信息的定点监控飞艇姿态和位置估计算法。由射影几何学原理和特殊的双目摄像机安装方法来提取飞艇的姿态。基于双目立体视觉基本原理,得到特征点在摄像机坐标系下的位置。根据坐标转换关系,可以获得飞艇在地面坐标系下的位置和姿态非线性方程组。把姿态信息载入非线性方程组中,从而求得飞艇的位置信息。最后用仿真实例验证了飞艇姿态和位置算法的有效性。     

激光雷达场景三维姿态点法向量估计方法

激光成像雷达能够获取反映目标三维空间位置的点云数据,可直接估计目标三维姿态角,是完成特征提取、目标配准等工作的重要参数。实现场景的三维姿态估计,借鉴基于点法向量的三维姿态估计算法（PDVA）,针对真实场景中表征场景坐标系（SCS）坐标轴的正方向向量偏差较大的问题,提出了一种优化的三维姿态估计算法（OPDVA）。该方法利用场景点云存在大面积近似平面区域的特点,通过随机抽样一致算法（RANdom SAmple Consensus,RANSAC）的平面模型对聚类中其他方向的点法向量进行滤除,得到最优拟合平面对应的法向量即为修正后的SCS坐标轴。利用旋转变换和重采样等技术手段,分别采用矩形包围盒法、PDVA和OPDVA对3组真实场景距离像进行实验。实验结果表明:OPDVA方法对场景的姿态估计明显优于其他两种方法,姿态估计误差不超过4°,对存在遮挡的场景也同样适用。     

复杂场景点云数据的6D位姿估计深度学习网络

针对工业上常见的弱纹理、散乱摆放复杂场景下点云目标机器人抓取问题,该文提出一种6D位姿估计深度学习网络。首先,模拟复杂场景下点云目标多姿态随机摆放的物理环境,生成带真实标签的数据集;进而,设计了6D位姿估计深度学习网络模型,提出多尺度点云分割网络(MPCS-Net),直接在完整几何点云上进行点云实例分割,解决了对RGB信息和点云分割预处理的依赖问题。然后,提出多层特征姿态估计网(MFPE-Net),有效地解决了对称物体的位姿估计问题。最后,实验结果和分析证实了,相比于传统的点云配准方法和现有的切分点云的深度学习位姿估计方法,所提方法取得了更高的准确率和更稳定性能,并且在估计对称物体位姿时有较强的鲁棒性。     

基于双视角距离像序列的空间锥体目标参数估计方法

空间锥体目标在自由段是典型的微动目标。该文研究了基于双视角距离像的空间锥体目标参数估计方法,估计的目标参数包括进动参数和结构参数。首先分析了雷达俯仰角在空间锥体目标自由段的变化情况,并且利用建立的目标进动模型,得到了目标散射中心在雷达视线(RLOS)上的投影方程。然后基于双视角下的距离像序列推导出目标参数的解析解,并引入弹道信息来解决半锥角的估计对信噪比(SNR)要求较高的问题。最后利用电磁计算数据验证了方法的有效性。     

Interoperable vision component for object detection and 3D pose estimation for modularized robot control

Finding objects and tracking their poses are essential functions for service robots, in order to manipulate objects and interact with humans. We present novel algorithms for local feature matching for object detection, and 3D pose estimation. Our feature matching algorithm takes advantage of local geometric consistency for better performance, and the new 3D pose estimation algorithm solves the pose in a closed-form using homography, followed by a non-linear optimization step for stability. Advantages of our approach include better performance, minimal prior knowledge for the target pattern, and easy implementation and portability as a modularized software component. We have implemented our approach along with both CPU and GPU-based feature extraction, and built an interoperable component that can be used in any Robot Technology (RT)-based control system. Experiment shows that our approach produces very robust results for the estimated 3D pose, and maintain very low false positive rate. It is also fast enough to be used in on-line applications. We integrated our vision component in an autonomous robot system with a search-and-grasp task, and tested it with several objects that are found in ordinary domestic environment. We present the details of our approach, the design of our modular component design, and the results of the experiments in this paper.     

一种综合考虑目标检测与估计的波形设计方法

讨论了在综合考虑目标检测与估计性能的条件下,雷达发射波形的优化设计问题.由于衡量目标检测与估计性能的直接指标是信噪比(SNR)和互信息(MI),文中采用将SNR作为约束条件下最大化MI的准则,通过引入发射信号的自相关序列将优化目标转发为凸优化问题,进而优化设计发射波形.仿真实验的结果表明,利用该方法所设计的波形能够满足输出SNR约束(对于目标检测性能)且同时能够最大化MI(对应目标估计性能).     

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.     

一种新的激光雷达目标姿态估计算法

在激光雷达目标识别中,通常需要估计目标姿态,进而将点云和模型匹配以完成识别。对目标姿态与投影点云分布的关系进行了分析,提取了投影点云密度熵(PDE)特征对点云分布进行度量。依据目标姿态与PDE之间的关系,提出了一种新的目标姿态估计方法,将点云绕坐标轴旋转,并计算旋转后点云的PDE,以PDE最小值所对应的旋转角作为目标姿态角。仿真了5类地面装甲目标在不同视点下的激光雷达点云,对比分析了PDE方法和矩形拟合法及主成分分析(PCA)方法在自遮挡下和遮挡下的目标姿态估计性能,讨论了参数选择对算法性能的影响,给出了PDE方法的快速实现方式。实验结果表明,PDE方法在自遮挡和遮挡情况下的姿态角估计性能及算法稳健性明显优于矩形拟合法和PCA方法,特别适合严重遮挡下的目标姿态估计。     

非合作雷达目标散射中心关联和三维重建算法

针对非合作雷达目标3 维重建技术中各未知视角下1 维散射中心难以关联的问题,该文提出了一种基于几何约束的散射中心关联方法。此方法通过对反投影误差的检验实现了对部分可靠散射中心的自动选择和有效关联。同时,利用由已关联散射中心距离数据估计出的目标运动参数,实现目标上更多散射中心的关联和3 维重建。仿真实验证明,该文提出的算法能够适用于1 维散射中心存在缺失点、虚假点和重叠点的复杂情况,有效增强了未知运动目标散射中心关联和重建的鲁棒性。     

基于模型驱动深度学习的OTFS信道估计

针对单输入单输出(SISO)的正交时频空间(OTFS)调制系统,该文利用一种模型驱动深度学习算法进行OTFS信道估计。该方案首先将去噪近似消息传递(DAMP)算法进行深度展开,利用去噪卷积神经网络代替传统的去噪器,对含噪的时延多普勒信道进行去噪估计,然后提供了状态演化方程来预测可学习去噪近似消息传递(LDAMP)算法的理论归一化均方误差性能。仿真结果表明,相比于其他估计方案,该方案不仅在低信噪比条件下具有优越的性能表现,而且还具有非常好的鲁棒性,在信道路径总数不变时,增加OTFS 2维网格点数量,可以有效提升信道估计精确度。     

Pose-Guided Inflated 3D ConvNet for action recognition in videos

Human action recognition in videos is still an important while challenging task. Existing methods based on RGB image or optical flow are easily affected by clutters and ambiguous backgrounds. In this paper, we propose a novel Pose-Guided Inflated 3D ConvNet framework (PI3D) to address this issue. First, we design a spatial–temporal pose module, which provides essential clues for the Inflated 3D ConvNet (I3D). The pose module consists of pose estimation and pose-based action recognition. Second, for multi-person estimation task, the introduced pose estimation network can determine the action most relevant to the action category. Third, we propose a hierarchical pose-based network to learn the spatial–temporal features of human pose. Moreover, the pose-based network and I3D network are fused at the last convolutional layer without loss of performance. Finally, the experimental results on four data sets (HMDB-51, SYSU 3D, JHMDB and Sub-JHMDB) demonstrate that the proposed PI3D framework outperforms the existing methods on human action recognition. This work also shows that posture cues significantly improve the performance of I3D.     

基于图像旋转相关的空间目标ISAR等效旋转中心估计算法

为了消除逆合成孔径雷达(ISAR)越分辨单元徙动(MTRC)引起的图像散焦,需要估计目标的等效旋转中心。该文以空间目标为研究对象,提出了一种基于图像旋转相关的ISAR旋转中心估计算法。首先,分析了ISAR的瞬时成像机理;其次,将采用相同运动补偿后的回波数据分段成像,得到不同视角的2幅图像;然后,基于定标后的图像像素旋转和图像相关,估计等效旋转中心。当假定的等效旋转中心与真实的旋转中心一致时,2幅图像相关性最大,据此得到旋转中心位置。仿真实验表明,该算法能够有效利用图像整体信息,估计出高精度的目标等效旋转中心,利于提高成像质量。