基于深度强化学习的智能频谱分配策略研究

随着无线网络被广泛使用,频谱资源变得越来越稀缺,高效的频谱分配策略对无线通信至关重要。动态频谱接入是一个动态时变优化问题,基于固定编码的算法无法自适应复杂的网络环境。本文将深度强化学习算法引入到认知无线电系统中,使智能体在未知频谱环境下不断与环境进行交互,学习到最佳频谱选择策略,提高频谱资源利用效率。实验结果表明:该算法在复杂的网络环境下能有效学习到最佳策略,且当网络环境发生变化时,算法能自动调整,实现二次收敛。     

基于强化学习的认知车联网资源分配方案

与传统的认知物联网不同,认知车联网（Cognitive Internet of Vehicles,CIoV）的特点是车辆具有高移动性,这就导致了信道状态信息（Channel State Information,CSI）的快速变化,因此难以获得完美的CSI。在这一背景下,研究了CIoV的联合信道分配和功率控制的资源分配问题,旨在最大限度地提高所有车辆用户的总吞吐量。此外,提出了一种混合深度强化学习算法,以解决离散的信道分配和连续的功率控制。仿真实验表明,与其他未考虑未知CSI的方案相比,所提方案有效地提高了CIoV的总吞吐量。     

基于深度强化学习的能量采集认知无线电动态频谱接入

为解决认知无线电(Cognitive Radio, CR)中频谱和能量短缺的问题,提出一种基于深度Q网络(Deep Q-Network, DQN)的动态频谱接入算法。次级用户(Secondary User, SU)通过基站射频信号采集能量,并在频谱感知后实现信道的自主接入。模型通过DQN训练,并使用奖励机制和训练算法优化,SU能够根据环境信息作出合适的接入策略。仿真结果表明,提出的深度强化学习(Deep Reinforcement Learning, DRL)模型性能优于无学习模型,提高了频谱感知准确率及用户吞吐量,对比结果证明了模型的适用性及合理的虚警率可以提升模型的学习性能。     

认知无线电网络频谱感知与接入算法研究

在对认知无线电网络频谱感知和接入研究成果进行分析的基础上,文章首先讨论了认知无线电网络频谱感知的基本方法以及协作频谱感知、单智能体和多智能体强化学习算法,比较了各种算法的优缺点,并展望了这一领域未来研究的方向。     

基于竞争双深度Q网络的动态频谱接入

针对多信道动态频谱接入问题,建立了存在感知错误与接入碰撞的复杂信道场景,提出了一种结合双深度Q网络和竞争Q网络的竞争双深度Q网络学习框架。双深度Q网络将动作的选择和评估分别用不同值函数实现,解决了值函数的过估计问题,而竞争Q网络解决了神经网络结构优化问题。该方案保证每个次要用户根据感知和回报结果做出频谱接入决策。仿真结果表明,在同时存在感知错误和次要用户冲突的多信道情况下,竞争双深度Q网络相比于同类方法具有较好的损失预测模型,其回报更稳定且提高了4%。     

一种利用优先经验回放深度Q-Learning的频谱接入算法

针对认知无线传感器网络中频谱接入算法的频谱利用率不高、重要经验利用率不足、收敛速度慢等问题,提出了一种采用优先经验回放双深度Q-Learning的动态频谱接入算法。该算法的次用户对经验库进行抽样时,采用基于优先级抽样的方式,以打破样本相关性并充分利用重要的经验样本,并采用一种非排序批量删除方式删除经验库的无用经验样本,以降低能量开销。仿真结果表明,该算法与采用双深度Q-Learning的频谱接入算法相比提高了收敛速度;与传统随机频谱接入算法相比,其阻塞概率降低了6%~10%,吞吐量提高了18%~20%,提高了系统的性能。     

基于竞争双深度Q网络的频谱感知和接入

认知用户通过频谱感知和接入过程识别频谱状态并占用空闲频谱,可有效利用频谱资源。针对频谱感知中存在感知错误和频谱接入中存在用户碰撞的问题,首先建立多用户多信道模型,设计频谱感知和频谱接入过程;然后通过结合双深度Q网络和竞争Q网络,设计竞争双深度Q网络,解决过估计问题的同时优化网络结构;最后通过智能体与所设计模型中状态、观测、回报和策略的交互,完成使用竞争双深度Q网络解决频谱感知和接入问题的一体化研究。仿真结果表明,相比于已有深度强化学习方法,使用竞争双深度Q网络得到的数值结果更稳定且感知正确率和信道利用率都提高了4%。     

认知无线电网络中一种基于深度强化学习的功率控制算法

在认知无线电网络中,对于Underlay接入方式的功率控制问题,现有基于强化学习的方法存在次用户接入信道的成功率和吞吐量较低。针对这一问题,提出了一种基于A3C的功率控制算法。仿真结果表明,所提基于A3C的功率控制算法比现有基于DQN的功率控制算法有效地提高了次用户接入信道的成功率和吞吐量。为了进一步优化次用户的吞吐量,将次用户功率选择空间连续化。仿真结果表明,在连续功率场景下,所提基于A3C的功率控制算法可以进一步提高次用户的吞吐量。     

基于深度强化学习的工业物联网多用户频谱分配

随着5G时代的来临,工业物联网将迎来蓬勃发展.然而,联网设备数量的不断增加,加剧了有限的频谱资源与大量的通信需求之间的矛盾.针对以上问题,提出了一种基于聚类分组和深度强化学习的合作式动态频谱分配算法,使用户可以获得较低的信息传输中断概率以及较少的多跳转发次数,快速找到信息传输的最优路径.在动态频谱分配中,该算法可以有效...     

基于最优停止的认知无线网络下行频谱接入算法

为有效平衡认知无线网络中次用户系统中接入信道的感知时间和信道总的吞吐量之间的矛盾,提出了一种只对部分信道进行感知的频谱接入策略,联合总的感知信道数和各条信道的感知时间进行优化,并通过最优停止算法求解,在最大化节省感知时间的同时,取得较大的平均吞吐量。与HC-MAC(Hardware Constrained- Media Access Control)算法的仿真分析对比表明,该算法在相同给定条件下感知时间更短,吞吐量更大,具有明显的优势。     

一种采用联邦深度强化学习的车联网资源分配方法

在车联网中,为了充分利用可用资源,车到车(Vehicle to Vehicle,V2V)链路需要动态地复用固定分配给车到基础设施(Vehicle to Infrastructure,V2I)链路的信道。传统的集中式信道资源分配方法会产生较大的通信开销,也难以适应转瞬即逝的车辆环境。为此,提出了一种基于分布式联邦深度强化学习(Federated Deep Reinforcement Learning,FDRL)的信道资源分配方法。首先,所有V2V智能体基于局部观察的环境信息独立地训练自己的模型,但彼此间保持相同的奖励以激励它们相互协作进而达成全局最优方案;然后,这些V2V智能体通过基站的帮助聚合部分模型参数,以增加接入公平性并加快模型学习效率。通过上述两阶段的迭代训练,每个V2V智能体训练出独特的决斗深度神经网络信道接入决策模型。仿真结果表明,所提出的FDRL方法与现有的优化方法相比具有更高的V2I链路总容量和V2V链路传输成功率。     

认知无线电中的频谱接入技术

认知无线电是一种基于软件无线电的智能通信系统,它能够认知周围环境,并能通过一定的方法相应地改变某些工作参数来实时地适应环境,从而达到提高频谱利用率、缓解频谱资源紧张的目的.授权频段的频谱利用问题是认知无线电实现的关键技术之一.研究了授权频段的两种频谱利用方法:动态频谱接入和基于动态频谱接入模型之一的机会频谱接入.     

认知无线电网络中基于强化学习的智能信道选择算法

认知无线电系统不仅要具有自适应性,更应具备一定的智能性。该文将强化学习理论引入到认知无线电系统中,用于解决次用户在频谱感知过程中的信道选择问题,提出了一种基于强化学习的信道选择算法。该算法在未知主用户占用规律和动态特性的前提下,仅通过不断与环境进行交互学习,便能够引导次用户选择“较好”信道优先进行感知,使次用户吞吐量得到提高。仿真结果表明,相对于现有信道选择算法,所提算法可有效提高次用户的吞吐量,并且在主用户使用规律发生变化时,能够自动实现二次收敛,可作为认知无线电系统迈向智能化的一种尝试。      

基于Markov模型的认知车联网频谱感知方法

针对传统认知车联网(Vehicle to Everything, V2X)频谱感知受主用户频谱活动特性和车辆移动性的影响,感知性能较低的问题,提出了基于Markov的主用户频谱统计模型和认知车辆移动性的频谱感知方法。该方法使用二态马尔可夫链构建主用户频谱统计模型,根据历史统计数据计算主用户频谱状态转移概率,根据认知车辆的移动特性,计算存在频谱机会时的内部概率,最终推导出系统漏检概率的表达式。实验结果表明,该方法在瑞利衰落信道中信噪比为-8 dB时,漏检概率相比传统方法降低了6.5%,具有更好的感知性能。     

基于认知无线电技术的动态频谱接入

文章介绍了基于认知无线电的动态频谱接入技术,并对其网络架构、关键技术以及目前的研究现状进行了详细分析。在此基础上探讨了动态频谱接入网络中采用跨层协议设计方法的必要性。     

基于强化学习的合作频谱分配算法

为了解决认知无线电网络中的频谱分配问题,提出了一种基于用户体验质量的合作强化学习频谱分配算法,将认知网络中的次用户模拟为强化学习中的智能体,并在次用户间引入合作机制,新加入用户可以吸收借鉴其他用户的强化学习经验,能够以更快的速度获得最佳的频谱分配方案;并且在频谱分配过程中引入了主用户和次用户之间的价格博弈因素,允许主用...     

基于频谱数据库的分布式动态频谱接入算法

频谱数据库是一种直接获得频谱信息的方式,针对在复杂多变的网络环境中用户之间缺少信息交互,研究了数据库协助和没有数据库情况下的动态频谱接入算法。一方面,次用户通过历史感知数据估计信道的可用性而进行信道选择,另一方面,次用户通过数据库获得更加可靠的频谱信息从而做出策略。证明了用户之间的博弈是一个超模博弈,通过提出的分布式学习算法能收敛到一个纯策略纳什均衡点。仿真结果表明,提出的联合数据库感知算法和数据库协助算法比依靠感知的结果收敛更快,获得的系统吞吐量接近最大,减少了用户决策的时延,提高了频谱利用率。     

基于主动频谱感知接入的认知无线电台研究

讨论了所研制的工作于30-512 MHz的基于主动频谱感知接入的认知无线电台。该电台实现了认知无线电动态频谱接入最为关键的几大功能：频谱感知、频谱会合、频谱监视,以及频谱切换。试验结果表明,该电台具备在不依赖于公共控制信道的情况下自动寻找空闲信道建立链路的能力,也具备在当前通信信道上出现主用户信号或其他干扰信号时自动切换到其他空闲信道上继续通信的能力,为认知无线电技术的实用化提供了很好的借鉴。     

浅谈基于认知无线电的机会频谱的接入技术

目前,宽带无线业务正在不断增多,其中,影响无线通信发展的一大问题就是频谱资源非常稀少。但是,在某段频谱资源上具有很多的业务,而其他频段的使用效率却比较低。因此,我们就提出了认知无线电技术,进一步改善了无线环境,使频谱资源提高了利用率。     

一种基于认知无线电的动态频谱接入MAC方案

在传统的无线通信系统中,频谱的分配是固定的。但是由于通信过程的突发性,这些频谱的使用率很低。另一方面,随着无线通信和多媒体的高速发展和广泛应用,无线频谱资源日趋紧张。如何提高频谱利用率已经成为迫切需要解决的问题。一种可行的思路是把这些授权频谱向未授权用户开放,未授权用户采用动态频谱接入技术,在不对授权用户造成干扰的前提下使用频谱。本文以认知无线电技术(Cognitive Radio,CR)为基础,提出了一种基于CR的动态频谱接入MAC方案(CR-Ad Hoc-MAC)。该方案允许未授权用户自适应地选取可用带宽,实现了动态频谱接入,有效地提高了频谱利用率。