基于多智能体强化学习的空地网络抗干扰传输方法研究

提出了一种基于多智能体强化学习的抗干扰传输算法,旨在抵御空地一体化网络中的功率干扰,使所有用户的可达速率之和最大化。将优化问题转化为部分可观察马尔可夫决策过程问题,采用了集中式训练和分布式执行框架。在集中式训练过程中,每个智能体与环境交互获得的经验存储在经验回放池中,用于训练演员-评论员网络。在分布式执行过程中,每架无人机使用经过训练的演员网络根据观测结果输出动作,并调整其飞行位置和传输功率以提供联合服务。采用基于剪切和计数的改进近端策略优化算法来更新演员-评论员网络参数,使其在复杂的多智能体环境中更加有效。仿真结果表明,所提算法相较于对比算法具有更快的收敛速度,且在相同干扰条件下,所提算法比对比算法获取的用户可达和速率提升约68.9%。     

无人机辅助无蜂窝大规模MIMO中的空地协同调度

无蜂窝大规模多输入多输出(multiple-input multiple-output,MIMO)技术采用大量接入点(access point,AP)为地面用户提供高效的通信服务,但在有高速移动用户的场景中,会加剧对信道状态信息的依赖。为了减少导频资源的消耗,提出了一种综合无人机(unmanned aerial vehicle,UAV)辅助通信和无蜂窝大规模MIMO通信的双系统架构,该架构能够预测高速移动用户的轨迹,利用无人机为其提供可靠通信;进一步提出了基于深度强化学习(deep reinforcement learning,DRL)的无人机轨迹设计和地面用户调度方案,在满足各类约束的前提下实现系统总和速率最大化。仿真结果表明,与现有方案相比,所提方案能够有效提升系统容量。     

基于组合多臂赌博机的移动群智感知用户招募算法

在移动群智感知任务分配中,数据平台不知道用户的感知质量或成本值的前提下,如何建立合适的用户招募机制是该文需要解决的关键问题,不仅需要在用户执行的过程学习其感知质量值,还要尽可能保证移动群智感知平台的高效性和利润最大化。因此该文提出基于组合多臂赌博机(CMAB)的移动群智感知用户招募算法来解决用户成本已知和未知的招募问题。首先把用户招募过程建模为组合多臂赌博机模型,每个摇臂代表选择不同的用户,所获得的收益代表用户的感知质量;其次提出基于上限置信区间 (UCB)算法的感知质量函数,根据任务完成情况更新用户的感知质量;然后在每轮的用户招募过程中,学习用户的感知质量和成本,并提出一种新颖的贪婪修复算法。该算法是将用户的感知质量值从高到低进行排序,再选择满足预算条件下感知质量值与招募成本最大比率的用户,最后分配任务和更新其感知质量。最后进行了大量基于真实数据集的实验仿真,以此验证算法的可行性与有效性。     

基于多臂赌博机模型的信道选择

在择机频谱接入系统中,为解决未知信道环境先验知识下的信道选择问题,提出了一种基于多臂赌博机(MAB)模型的改进UCB(Upper Confidence Bound) 索引选择策略。该策略是通过在UCB索引的置信因子中引入收益方差值来调整对未知信道环境的探索过程,以降低探索成本。结合理论证明了本策略有较快的收敛速度,还证明了本策略下的学习后悔值曲线与时隙呈近似对数关系而较缓慢增长。仿真结果表明,与原UCB策略以及贪心算法相比,所提策略更能自适应地选择可用性较好的信道,有效降低学习后悔值并加快其收敛速度,从而提高了系统吞吐量。     

基于多臂赌博机算法的推荐系统研究

随着各类移动端应用与网页端应用技术的不断发展,各类推荐系统与人类生活联系逐渐变得更为密切;用户对于推荐系统的推荐效果要求日益提高,持续单一的推荐内容已经不能满足用户不断提高的要求,因此如何精准对接用户需求,解决数据稀疏问题并提供给用户更为精确的推荐效果都已经成为推荐问题中亟待解决的问题。同时各种推荐系统技术不断发展,文章对近年来各种基于MAB算法的推荐系统的研究动态和最新进展进行了综述,对其基本概念和算法的核心思想以及评价指标诸如点击率,运行时长以及累积遗憾等方面进行了分析比较,并对推荐系统技术的发展趋势和应用前景进行了预测。     

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。     

多智能体强化学习驱动的无人机动态信道分配

针对无人机编队在进行远距离实时视频传输时频谱资源不足且利用效率低、吞吐量要求较高、传输任务难以完成等问题,提出了多智能体强化学习驱动的动态信道分配算法,使得无人机编队可以根据传输任务和信道环境动态地选择使用的信道,实现了频谱资源的高效利用。该算法使用了集中式训练分布式执行的架构,通过联合探索和联合学习的方式保证了无人机间的探索和合作能力,使得每架无人机均可以依据局部观测信息同时独立分配自身使用信道,提高了算法的灵活性和可行性,并减少了频谱分配用时。仿真结果表明,该算法训练过程性能更好,执行时相比于现有算法可以提高编队整体的平均任务传输成功率。     

智能动态网络资源分配系统

通过对解决GSM移动通信网络热点区域话务拥塞问题的研究，提出了利用可控功分器实现智能动态网络资源的分配，解决不同种类的话务拥塞问题，并着重讨论了该系统目前的成功运用及前景。     

密集异构网络中基于多目标优化的资源分配策略

密集异构网络(Dense Heterogeneous Network, DHN)通过部署小基站可以提升网络容量和用户速率,但小基站的密集部署会产生巨大的能耗和严重的干扰,进而影响系统的能量效率(Energy Efficiency, EE)和频谱效率(Spectral Efficiency, SE)。在保证用户服务质量(Quality of Service, QoS)需求的前提下,为了联合优化系统的能量效率和频谱效率,研究了密集异构网络中下行链路的资源分配(Resource Allocation, RA)问题。首先,将频谱和小基站发射功率分配问题建模为联合优化系统能量效率和频谱效率的多目标优化问题;其次,提出了基于单策略多目标强化学习(Single-strategy Multi-objective Reinforcement Learning, SMRL)的资源分配算法求解所建立的多目标优化问题。仿真结果表明,与基于单目标强化学习的资源分配算法相比,所提算法可以实现系统能量效率和频谱效率的联合优化,与基于群体智能算法的资源分配算法相比,所提算法的系统能量效率提高了1%～1.5%,频谱效率...     

基于图着色的大规模无人机群三维网络资源分配算法

为了解决大规模无人机集群组网中的网络资源有限、有效分配网络资源难度大的问题,本文针对任意对无人机收发节点构成的通信网络,联合考虑时域、频域、空域,提出了一种基于图着色的三维网络资源分配算法。具体的,本文利用方向回溯阵列天线在传统时频二维网络资源划分的基础上开辟空间维度,得到三维网络资源划分问题。为了解决该三维资源分配问题,本文首先将其建模为图着色问题,然后提出了启发式和贪婪式两种复杂度不同、适应场景也不同的图着色算法,并进一步设计了由着色结果到网络资源分配方案的映射算法。仿真结果验证了所提方法的有效性,相较于传统时分多址接入和时频二维资源分配而言,大大提高了吞吐量和传包成功率。      

基于CoMP传输的分布式异构网络资源分配

摘要：提高无线资源利用效率是缓解日益增长的无线通信需求和有限的可用传输资源之间矛盾的主要途径。基于多点协调（coordinated multipoint,CoMP）传输技术的异构网络在提高频谱效率和能量效率方面具有巨大的潜力,近年来受到学术界和工业界的广泛关注。在研究基于CoMP技术的异构网络资源分配问题的基础上,提出了一种基于交叉熵方法的分布式频谱资源调度算法。仿真实验验证了本文提出方法在系统吞吐量、能量效率以及用户公平性等方面的有效性。     

基于介数加权模型的网络防御资源优化分配方法

网络防御资源的优化配置是长期困扰防御方的难题。本文提出了刻画网络单元脆弱性的幂函数模型,提出了描述网络风险的介数加权模型。基于网络风险最小原则给出了网络防御资源的优化分配方法。该方法对网络防御资源分配具有十分重要的价值。     

基于比例公平原则的多用户MIMO-OFDM系统资源分配

提出了一种基于比例公平原则提高MIMO-OFDM系统吞吐量的子载波和功率分配算法.它在总功率和误比特率的约束下,以获取最大系统吞吐量为目标,同时为兼顾用户间资源享用的公平性,根据用户速率成比例推导出了子载波分配限制准则.仿真结果表明,本算法不仅可满足不同用户的速率要求,而且平衡了容量最大化和用户间公平性的矛盾,同时计算...     

基于用户QoS的网络资源分配策略研究

针对5G网络在网络资源分配存在的问题,从用户业务QoS等级角度提出基于贝叶斯模型的网络资源优化分配策略模型。在对用户业务QoS等级划分的基础上采用优先节点自主控制策略进行网络资源分配,通过构建贝叶斯模型评价网络状态并进行动态学习推理,指导网络优先节点的控制决策,实现优先节点对最佳信道的优先选择。实验表明,与基于信道容量的信道资源分配策略相比,本文的策略在网络总体容量和网络公平性上具有更好的表现,能够更好满足异构网络的实际需求。     

多用户大规模MIMO系统能效资源分配算法

该文针对多用户大规模多输入多输出(MIMO)移动通信上行系统,提出一种基于能效优化的资源分配算法。所提方法在采用最大比合并(MRC)接收情况下,满足用户数据速率和可容忍的干扰水平约束条件下,以最大化系统能效下界为准则建立优化模型。根据分数规划的性质,把原始的分数最优化问题转换成减式的形式,进而采用凸优化的方法,通过联合调整基站端的发射天线数和用户的发射功率来优化能效函数。仿真结果表明,所提算法与穷举算法在能效上的差距不足9%,并且有较好的系统频谱效率性能,同时算法复杂度得到了显著降低。     

基于有效带宽理论的MIMO-OFDM帧资源分配算法

将有线网络中的有效带宽理论运用到无线领域,提出基于MIMO-OFDM时频结构帧的资源分配算法。算法综合考虑了物理层的信道状态信息、数据链路层的用户优先级、公平性及延时服务质量(QoS)要求,相对于传统的分层设计更加合理有效。从统计学的角度,研究了延时QoS违反概率与信道状态信息、资源分配之间的关系,并给出算法的具体步骤。仿真结果表明该算法能显著提高系统的频谱效率,且复杂度适中,是一种实际可行的方案。     

Dynamic Resource Allocation of Random Access for MTC Devices

In a long term evolution‐advanced (LTE‐A) system, the traffic overload of machine type communication devices is a challenge because too many devices attempt to access a base station (BS) simultaneously in a short period of time. We discuss the challenge of the gap between the theoretical maximum throughput and the actual throughput. A gap occurs when the BS cannot change the number of preambles for a random access channel (RACH) until multiple numbers of RACHs are completed. In addition, a preamble partition approach is proposed in this paper that uses two groups of preambles to reduce this gap. A performance evaluation shows that the proposed approach increases the average throughput. For 100,000 devices in a cell, the throughput is increased by 29.7% to 114.4% and 23.0% to 91.3% with uniform and Beta‐distributed arrivals of devices, respectively.     

一种基于VCG拍卖的分布式网络资源分配机制

 网络带宽资源分配的不合理是开放性网络环境中的一个突出问题.为抑制用户自私性行为,提出基于VCG(Vickrey-Clarke-Groves)机制的网络资源竞拍分配机制.该机制具有占优策略激励兼容特性,且仅需单维竞价信息.同时给出了指导用户进行策略选取的离散随机式学习算法,进一步分析了该算法的收敛性.仿真结果表明,本文所提出的分配机制通过有效的支付惩罚,使自私用户主动选择真实带宽需求策略,抑制说谎动机;离散随机式学习算法能够正确地引导用户选择出占优策略,合理分配带宽资源.     

Dynamic Resource Allocation for Beyond 3G Cellular Networks

The Multicarrier CDMA Transmission Techniques for Integrated Broadband Cellular Systems (MATRICE) project addresses a candidate solution for a Beyond 3G (B3G) air-interface based on Multi-Carrier Code Division Multiple Access (MC-CDMA). It investigates dynamic resource allocation strategies at the Medium Access Control (MAC) layer to support the transport of Internet Protocol (IP) packets over the air-interface in a cost effective manner and maximise the cell capacity with a target QoS. A candidate Dynamic Resource Allocation (DRA) protocol architecture is proposed that is based on cross-layer signalling to provide reactive resource allocation according to the fast channel and traffic variations. In-line with B3G expectations, the proposed DRA handles a very large number of users with inherent flexibility and granularity necessary to support heterogeneous traffic, and still with limited complexity. Thanks to the modular architecture of the DRA, various scheduling policies are investigated and compared in terms of capacity and reactivity to the system environment. Simulation results have shown that the MATRICE system has the potential to deliver broadband heterogenous services in a cost-effective manner, and emerge as a propespective candidate air-interface for B3G cellular networks.     

云雾混合网络下基于多智能体架构的资源分配及卸载决策研究

针对D2D辅助的云雾混合架构下资源分配及任务卸载决策优化问题,该文提出一种基于多智能体架构深度强化学习的资源分配及卸载决策算法.首先,该算法考虑激励约束、能量约束以及网络资源约束,联合优化无线资源分配、计算资源分配以及卸载决策,建立了最大化系统总用户体验质量(QoE)的随机优化模型,并进一步将其转化为MDP问题.其次,...