基于多智能体强化学习的空地网络抗干扰传输方法研究 |
| |
作者姓名: | 廖程建 刘思懿 赵晨羽 张果 侯宏伟 朱瀚然 夏晓晨 许魁 |
| |
作者单位: | 陆军工程大学通信工程学院 |
| |
基金项目: | 国家自然科学基金“通信定位一体去蜂窝大规模MIMO智能传输方法研究”,“面向低空空域的无定形大规模MIMO一体化感知与通信方法研究”(62071485,62271503);;江苏省自然科学基金“基于无定形网络的低空空域融合感知与通信方法研究”(BK20231485); |
| |
摘 要: | 提出了一种基于多智能体强化学习的抗干扰传输算法,旨在抵御空地一体化网络中的功率干扰,使所有用户的可达速率之和最大化。将优化问题转化为部分可观察马尔可夫决策过程问题,采用了集中式训练和分布式执行框架。在集中式训练过程中,每个智能体与环境交互获得的经验存储在经验回放池中,用于训练演员-评论员网络。在分布式执行过程中,每架无人机使用经过训练的演员网络根据观测结果输出动作,并调整其飞行位置和传输功率以提供联合服务。采用基于剪切和计数的改进近端策略优化算法来更新演员-评论员网络参数,使其在复杂的多智能体环境中更加有效。仿真结果表明,所提算法相较于对比算法具有更快的收敛速度,且在相同干扰条件下,所提算法比对比算法获取的用户可达和速率提升约68.9%。
|
关 键 词: | 多智能体 强化学习 空地网络 抗干扰 |
|
|