基于强化学习算法的路径规划技术分析

近年来,强化学习路径规划技术在各个领域逐渐凸显出技术优势,在与信息技术、GPS技术等高新技术的结合下,成为林业领域、工业领域甚至是军事领域的重要技术组合。为进一步了解强化学习路径规划技术的应用优势,文章将其与无人机技术结合,分析无人机在复杂工作环境下受到诸多外界因素干扰,在无法抓取准确定位信息时学习路径规划状态。通过具体应用案例研究方式,探究无人机飞行过程中强化学习算法对无人机路径规划的影响。在获取具体应用案例实验数据情况下,了解到改进强化学习算法可以调整无人机路径规划方案,帮助无人机在复杂环境下快速完成任务。     

基于深度强化学习的蜂窝无人机网络中的轨迹设计

设计了一个蜂窝无人机网络,其中无人机采集到的感知数据可以通过直通通信的方式直接传输到移动设备端,或者通过传统的蜂窝方式传输到移动设备端。由于无人机的传输模式会影响到它们的轨迹,在考虑了传输模式的情况下,研究了无人机轨迹设计问题,以最大化系统的总效用。该问题是一个状态行动空间非常大的马尔科夫决策问题,基于此问题提出了一种基于深度强化学习的多无人机轨迹设计算法。仿真结果表明所提出的算法比单智能体算法性能更好。     

基于无人机送货路径规划算法

针对无人机送货路径规划的优化问题,提出了一种基于遗传算法原理的路径规划算法.通过建立无人机的送货系统模型,将路径规划问题转化为组合优化问题,设计恰当的编码方案将路径规划问题转化为整数规划模型,以达到寻找无人机最优送货路径的目的.对算法进行了相应的仿真,仿真结果表明,这种路径规划算法与常见的随机算法相比具有较强的全局搜索...     

基于RRT算法的无人机路径规划应用研究

经典的路径规划算法大都需要在全局已知空间中对环境进行建模,包括人工势场法、遗传算法、启发式算法、仿生学算法等.由于需要预先构建环境,因此这些方法并不适合解决在高维度空间中的路径规划问题.基于快速扩展随机树(RRT)的路径规划方式其优势在于可以避免对全局环境的构建,通过对状态空间进行随机采样,检测碰撞点,能够有效地解决在...     

无人机辅助无蜂窝大规模MIMO中的空地协同调度

无蜂窝大规模多输入多输出(multiple-input multiple-output,MIMO)技术采用大量接入点(access point,AP)为地面用户提供高效的通信服务,但在有高速移动用户的场景中,会加剧对信道状态信息的依赖。为了减少导频资源的消耗,提出了一种综合无人机(unmanned aerial vehicle,UAV)辅助通信和无蜂窝大规模MIMO通信的双系统架构,该架构能够预测高速移动用户的轨迹,利用无人机为其提供可靠通信;进一步提出了基于深度强化学习(deep reinforcement learning,DRL)的无人机轨迹设计和地面用户调度方案,在满足各类约束的前提下实现系统总和速率最大化。仿真结果表明,与现有方案相比,所提方案能够有效提升系统容量。     

无人机全局路径规划算法研究

针对无人机自主飞行控制技术中的全局路径规划问题,简要分析了几种路径规划算法,提出了一种基于遗传算法的改进型无人机全局路径规划算法,算法以旋翼型无人机为例设计了时间约束条件模型,对适应度函数参数和遗传算法算子进行了优化。试验结果表明,所提出的路径规划算法能够求得近似最优解,为无人机自主飞行决策控制提供可行方案。     

基于深度强化学习的多AMR路径规划算法研究

针对箱式仓储环境下的多自主移动机器人(AMR)调度问题,传统动态路径规划算法(TDP)有解算可行路径效率低、系统实时性较差的缺点。针对这一问题,文中以时间最优为目标建立强化学习算法(RL)模型,用于提高多AMR同时调度的路径规划求解速度。此外,结合深度学习(DL)算法的优点,采用深度强化学习算法(DRL)有效缩短高维度、复杂工况下RL算法模型训练的收敛时间。仿真对比了TDP、RL和DRL三种算法模型,验证了DRL方法的有效性。     

基于强化学习的能量受限无人机通信感知轨迹规划方法

针对能量受限下无人机（Unmanned Aerial Vehicle,UAV）辅助通信感知中的无人机轨迹规划问题,采用激光无线充电的方式为无人机额外提供能量,同时考虑了无人机动力学和感知通信速率等约束,以对移动目标感知互信息量最大化为目标,建立了移动目标感知通信轨迹规划问题。为了求解建立的包含大量复杂约束的优化问题,将原优化问题建立为马尔可夫决策过程,把无人机运动、能量变化、目标感知、基站通信等过程建模为环境空间,无人机电机转速设计为动作空间,并采用深度强化学习方法进行训练,实现无人机的轨迹规划。由于考虑了无人机动力学,规划得到的轨迹更符合无人机运动特性,并且训练得到的最优控制序列可以直接作用于无人机电机转速,降低了无人机控制难度。在设计的实验场景下,相较于传统最优控制方法,所提方法对移动目标感知互信息量提升了约3倍。     

基于改进蚁群算法的物流无人机路径规划

本文针对在低空城市环境下物流无人机运输路径的规划问题,首先利用栅格法对城市环境进行三维模型的构建,综合无人机自身各项约束条件,利用蚁群算法建立无人机路径优化模型。蚁群算法作为用于解决局部最优问题的方法之一,一直被广泛应用于路径规划问题。相较于传统的蚁群算法,本实验通过对残留信息量的改进使信息素在更新时,其正反馈的过程能够迅速扩大初始的差异,引导整个系统向最优解的方向进化。并引入估价函数,代价函数,启发式函数,在考虑路径优化的同时进一步计算无人机运输途中的能耗,使其更具实际意义。结果表明：改进后的蚁群算法在规划路径的路径点数、时间规划、能源消耗方面均有明显减少。证明了改进策略具有实用价值,在无人机路径规划方面具有一定的实用价值。     

面向物联网的深度Q网络无人机路径规划

随着无人机技术的广泛应用,基于无人机辅助数据收集的物联网架构扩展了物联网的应用范围,尤其适用于军事战场、灾害救援等极端场景。针对上述场景,该文提出一种基于深度Q网络(Deep Q-Network, DQN)框架的无人机飞行路径规划算法。该算法以无人机飞行周期内收集信息的平均信息年龄(Age of Information, AoI)为优化目标,来保证无人机收集数据的时效性。仿真结果表明,所提算法可以有效降低无人机单个飞行周期内收集数据的平均AoI。与随机算法、基于最大AoI的贪心算法、最短路径算法以及基于AoI的路径规划算法(AoI-based Trajectory Planning, ATP)相比,平均AoI分别降低了约81%, 67%, 56%和39%。该研究实现了无人机辅助物联网系统中,数据的高效、低时延采集。     

物联网数据收集中无人机路径智能规划

为解决无人机在数据收集过程中的路径规划问题,将其分为全局路径规划和局部路径规划。针对全局路径规划,将其建模为一个定向问题,定向问题是背包问题和旅行商问题2种经典优化问题的组合。采用指针网络深度学习对该模型进行求解,并在无人机能量约束下得到其服务节点集合及服务顺序。针对局部路径规划,基于无人机接收到节点的参考信号强度,通过深度Q网络学习对无人机局部飞行路径进行规划,使无人机逼近节点位置并服务各节点。仿真结果表明,所提方案能够在无人机能量约束下有效提升其数据收集的收益。     

无人机山区环境激光扫描路径规划方法研究

为了提升山区环境里无人机进行扫描时的飞行测量有效性和飞行效率，提出了一种结合传感器测量特性的路径规划方法，以激光传感器的最大测量距离和角度、飞行效率、巡检目标位置为约束，通过求解规划方程得到飞行的轨迹，从而保证无人机山区环境巡检的安全和效率。结果表明，结合Velodyne VLP-16，RS-LiDAR-16，HDL-32E 3种激光传感器的最大测量距离d以及测量角度θ等特性进行路径规划，规划优化效果分别达到了7.58%, 11.18%, 13.33%。该研究验证了山区激光扫描路径规划方法的有效性和正确性。     

无人机集群编队控制方法研究综述

随着无人机技术的进一步发展,多无人机编队飞行的研究也受到了越来越多的关注。无人机相互配合组成编队群,可以充分发挥单个无人机所不具备的优势,更能胜任复杂、多任务场景下的工作。对无人机集群编队控制方法进行分类,分为传统控制法、群体智能算法、深度强化学习算法;对各类方法进行分析,着重归纳讨论了领导者-跟随者方法、人工势场法、运动学控制方法、蚁群优化算法、粒子群优化算法、人工蜂群算法、深度Q网络算法、深度确定性策略梯度算法、多智能体深度确定性策略梯度算法,并给出各自的优劣势;对无人机集群编队控制方法进行总结,指出传统控制法已接近成熟,但为了实现无人机的智能自主协同编队控制,仍需在群体智能算法和深度强化学习算法上融合新的思想与改进,从而发挥大数量无人机在复杂场景下的优势。     

基于搜索规则和交叉熵优化的无人机路径规划方法

针对快速扩展随机树(RRP)算法计算效率低、不具备渐进最优性等问题,该文提出一种基于搜索规则和交叉熵优化的改进RRT(IRRT)算法。在路径搜索过程中根据当前节点位置及搜索规则,调整搜索步长及搜索方向,实现高效、快速的初始路径规划。然后,利用交叉熵理论优化初始路径,使得路径具备渐进最优性。仿真实验1结果表明所提方法的有效性和收敛性,仿真实验2将该文所提算法与多种变体RRT算法进行比较,结果表明所提算法能够保证计算效率,同时使得路径具备渐进最优性。     

基于改进混合粒子群算法的无人机充电路径规划方法

无线可充电传感器网络(Wireless Rechargeable Sensor Networks, WRSNs)是由若干个可无线充电的传感器节点自组织形成的网络。利用无人机(Unmanned Aerial Vehicle, UAV)作为移动电源,对WRSNs网络中传感器节点进行充电,将无人机飞行能耗联合传感器节点充电量作为优化目标,提出一种惯性权重线性递减混合粒子群算法,对无人机的充电路径进行规划。仿真验证表明,相比传统的粒子群(Particle Swarm Optimization, PSO)算法,该算法在收敛速度、无人机飞行能耗以及传感器节点充电量等指标上都有明显的优势。     

基于自适应蜣螂算法的无人机三维路径规划方法

山区地势具有陡峭、沟深壑大的环境特点,导致基于启发式算法的山区无人机路径规划速度慢、质量差,针对该问题提出了基于自适应动作策略蜣螂算法的路径规划方法。以路径长度、飞行安全性以及路径平滑度构建路径规划目标函数;在蜣螂算法中引入种群相似性动作变异策略和反向学习策略,平衡局部优化和全局优化能力;通过对比麻雀算法、蜣螂算法和灰狼算法在12个基准函数上的算法性能,结果表明所提方法具有更快的收敛速度、不易陷入局部最优。山区路径规划仿真实验表明,所提方法比蜣螂算法的路径规划质量提高了37.66%。     

保障无人机安全通信的自主飞行3D路径规划

在无人机服务多个地面移动用户并存在一个窃听者窃听信息的安全通信场景中,为了最大化安全速率,本文提出一种新的深度强化学习算法对无人机3D轨迹进行优化,该算法名为正确轨迹深度确定性策略梯度算法（correct trajectory - deep deterministic policy gradient, CT-DDPG）。CT-DDPG算法使用多个深度神经网络与环境交互,采用修正输出层激活函数值的方式,代替传统的使用多个激活函数的方法,简化深度神经网络结构。同时对无人机的飞行轨迹进行修正,使无人机始终处于安全速率最大化的最佳位置。与其他强化学习算法相比,该算法训练时间短,执行时能实时更新无人机的位置。仿真结果表明,所提出的算法能够快速收敛,在保障无人机安全通信的情况下完成飞行任务。      

多智能体强化学习飞行路径规划算法

为了减轻现代空战中大量信息处理给飞行员带来的负担,同时为了实现无人机航路自主规划,提出了一种基于多智能体强化学习理论的飞行路径规划算法.该算法采用多智能体强化学习的方法,采用两个功能不同的智能体,分别对应局部和全局路径规划.该算法对状态和动作空间进行划分和抽象,有效地减少了状态的数量,解决了强化学习维数灾难的问题.最后用Matlab对此算法进行了数字仿真,验证了算法的可行性,仿真实验结果显示该算法收敛速度快,能够解决飞行路径规划的任务.     

无蜂窝大规模MIMO中基于深度强化学习的无人机辅助通信与资源调度

无蜂窝大规模多入多出(MIMO)网络中分布式接入点(AP)同时服务多个用户,可以实现较大区域内虚拟MIMO的大容量传输;而无人机辅助通信能够为该目标区域热点或边缘用户提供覆盖增强。为了降低反馈链路负载,并有效提升无人机辅助通信的频谱利用率,该文研究了基于AP功率分配、无人机服务区选择和接入用户选择的联合调度;首先将AP功率分配和无人机服务区选择问题联合建模为双动作马尔可夫决策过程 (DAMDP),提出了基于Q-learning和卷积神经网络(CNN)的深度强化学习(DRL)算法;然后将用户调度构造为一个0-1优化问题,并分解成子问题来求解。仿真结果表明,该文提出的基于DRL的资源调度方案与现有方案相比,可以有效提升无蜂窝大规模MIMO网络中频谱利用率。