基于深度强化学习的多无人车系统编队控制

针对多智能体编队控制问题,研究了基于DDQN深度强化学习算法的多无人车系统的编队控制器,采用一致性控制与伴随位形相结合的方法对编队控制问题进行建模和简化.建立了基于相对距离和速度的状态空间,使得控制输入不依赖于全局信息,然后设计了基于九大典型运动方向的动作空间,并设计了基于相对距离和相对速度的奖励函数,基于以上参数进行了神经网络架构的设计和网络训练与运动仿真环境的搭建,并成功训练出有效的控制器.该控制器可以直接应用于带有非完整约束的欠驱动无人车的编队任务,且控制器的网络训练只需要运动数据而不需要精确模型,是一种无模型控制方法.最后,通过大量不同场景下的运动仿真验证了控制器的有效性,包括多队形、多位置、多轨迹仿真以及时变队形、时变通讯和通讯故障等特殊情况的检验,该控制器在所有场景中均能有效完成控制任务.最后优化了编队起始阶段的策略,定义了等候条件与启动条件,有效节约了控制的能耗,利用运动仿真和对比分析验证了优化作用.