移动边缘计算中基于图到序列深度强化学习的复杂任务部署策略

借助于移动边缘计算（MEC）和网络虚拟化技术,可使移动端将执行各类复杂应用所需的算力、存储和传输等资源需求就近卸载至边缘服务节点,从而获得更高效的服务体验。面向边缘服务商,研究其在进行复杂任务部署时所面临的能耗优化决策问题。首先将复杂任务部署于多个边缘服务节点的问题建模为混合整数规划（MIP）模型,然后提出了一种融合图到序列的深度强化学习（DRL）求解策略。该策略通过基于图的编码器设计提取并学习子任务间潜在的依赖关系,从而根据边缘服务节点的可用资源状态及使用率自动发现任务部署的通用模式,最终快速获得能耗优化的部署策略。在不同的网络规模中,将所提策略与具代表性的基准策略进行了全面对比。实验结果表明,所提策略在任务部署错误率、MEC系统总功耗和算法求解效率等方面均显著优于基准策略。     

基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

近年来,部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统,该文构建了以最小化用户平均能耗为目标的模型,联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题,提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略,通过保留所有高回报值的策略,增强算法的探索能力,提高训练过程的收敛速度。仿真结果表明与已有算法相比,所提算法能有效降低用户的平均能耗,并具有很好的稳定性和收敛性。     

NDN中边缘计算与缓存的联合优化

命名数据网络（NDN）基于内容名称进行路由,且节点配备一定的缓存能力,故在架构上更易与边缘计算结合。首先,提出一个在NDN中实现网络、计算和缓存动态协调的综合框架。其次,针对不同区域内容流行度的差异性,提出基于矩阵分解的局部内容流行度预测算法;以最大化系统运营收益为目标,利用深度强化学习解决计算和缓存资源分配以及缓存放置策略的联合优化问题。最后,在ndn SIM中构建仿真环境,实验证明所提方案在提高缓存命中率、降低平均时延和远程服务器负载等方面具有明显优势。     

基于深度强化学习的边缘视频任务卸载策略

随着物联网的发展以及智能设备的普及,视频处理技术已广泛应用于生活中。自动驾驶、产品质检等应用场景对视频处理技术的实时性需求逐步提高,移动边缘计算为计算能力不足和能源受限的设备提供计算资源以执行时延敏感性任务,为实时视频处理提供了新的计算架构。本文搭建了一个视频计算卸载场景,并以视频检测为任务,以系统时延为优化目标,建立了计算卸载模型和马尔可夫决策模型;考虑到计算卸载场景的复杂动态因素,如带宽波动、设备数量、任务大小等,以最小化系统时延为目标,提出了一种基于深度强化学习的计算卸载策略进行求解。实验表明,与其他基线方案相比,该卸载策略能够适应较复杂卸载场景,有效降低系统时延。     

基于强化学习的移动边缘计算资源分配方法

当前的移动边缘计算资源分配结构多为单向形式,资源分配效率较低,导致资源分配比下降,文中设计了一种基于强化学习的移动边缘计算资源分配方法,并通过实验验证了其有效性。根据当前的测试需求,首先部署了资源采集节点,然后采用多阶的方式,提升整体的资源分配效率,构建多阶迁移资源分配结构,最后设计了移动边缘计算强化学习资源分配模型,采用动态化辅助协作处理的方式来实现资源分配。测试结果表明,对于选定的5个测试周期,经过3个分配组的测定及比对,最终得出的资源分配比均可以达到5.5以上,这说明在强化学习技术的辅助下,文中设计的移动边缘计算资源分配方法更加灵活、多变,针对性较强,具有实际的应用价值。     

移动边缘计算中数据缓存和计算迁移的智能优化技术

移动边缘计算的研究与分析需要从计算迁移和数据缓存的角度出发,针对运行状态及数据存储等方面进行综合优化,从而达到提升数据缓存和计算迁移水平的目的.在进行研究与分析时,充分利用移动边缘计算可以降低用户请求的延迟性,优化移动边缘网络的部署,这对实现移动终端数量与业务的综合管理及控制效果等方面有积极作用.     

基于深度强化学习的多用户计算卸载优化模型和算法

在移动边缘计算(MEC)密集部署场景中,边缘服务器负载的不确定性容易造成边缘服务器过载,从而导致计算卸载过程中时延和能耗显著增加。针对该问题,该文提出一种多用户计算卸载优化模型和基于深度确定性策略梯度(DDPG)的计算卸载算法。首先,考虑时延和能耗的均衡优化建立效用函数,以最大化系统效用作为优化目标,将计算卸载问题转化为混合整数非线性规划问题。然后,针对该问题状态空间大、动作空间中离散和连续型变量共存,对DDPG深度强化学习算法进行离散化改进,基于此提出一种多用户计算卸载优化方法。最后,使用该方法求解非线性规划问题。仿真实验结果表明,与已有算法相比,所提方法能有效降低边缘服务器过载概率,并具有很好的稳定性。     

移动边缘计算中基于联邦学习的视频请求预测和协作缓存策略

随着互联网社交平台的崛起和移动智能终端设备的普及,自媒体短视频、直播等视频业务蓬勃发展,人们对高质量视频服务的需求也急剧上升。与此同时,连接到核心网络的大量智能设备增加了回程链路的负载,传统的云计算难以满足用户对视频服务的低延迟要求。移动边缘计算(MEC)通过在网络边缘部署具有计算和存储能力的边缘节点,通过在更靠近用户的边缘侧提高计算和存储服务,降低了数据传输时延进而缓解了网络阻塞。因此,基于MEC架构,该文充分利用网络边缘资源,提出了基于联邦学习的视频请求预测和视频协作缓存策略。通过利用多个边缘节点对提出的深度请求预测模型(DRPN)视频请求预测模型进行联邦训练,预测视频未来的请求情况,然后量化缓存内容所带来的时延收益并协作地以最大化该时延收益为目的进行缓存决策。该文分析了真实数据集MovieLens,模拟了视频请求缓存场景并进行实验。仿真结果表明,相比于其他策略,所提策略不仅能有效降低用户等待时延,在有限的缓存空间中提高内容多样性,从而提高缓存命中率,降低缓存成本,还能降低整个系统的通信成本。     

深度强化学习在物联网边缘计算中的应用研究

针对传统的物联网边缘计算方法存在计算成本过高,计算时间过长等问题,文中引入了深度强化学习技术,对物联网边缘计算方法进行优化.通过物联网拓扑结构设定物联网边缘计算周期,获取数据上传速度.设计边缘计算执行过程,提升边缘计算资源分配效率.引入深度强化学习技术中的CNN模型实现卷积计算,完成物联网边缘计算的资源分配.至此,实现...     

大规模无线通信网络移动边缘计算和缓存研究

面向未来6G移动通信的大规模网络移动边缘计算与缓存技术,首先,介绍了大规模无线网络下移动边缘计算和缓存的架构与原理,并阐释了移动边缘计算和缓存技术在大规模无线网络中的必要性和普适性.接着,从计算卸载、边缘缓存、多维资源分配、用户关联和隐私保护这5个关键问题出发,综述和分析了移动边缘计算和缓存赋能大规模无线网络时会引入的...     

无人机接替场景中相似度感知的边缘计算缓存算法

无人机边缘计算将无人机的移动性和边缘计算的源端处理优势相结合,可以在基础设施薄弱区域中提供计算、传输和存储服务,近两年得到了广泛关注。然而,无人机平台的计算、能量和存储容量有限,面对不断增长的内容服务请求,无人机边缘节点只能缓存部分流行度较高的内容。此外,为了保证服务的连续性,无人机之间往往需要接替提供缓存服务。现有的边缘缓存算法大多根据内容的请求历史来预测流行度,使得接替无人机上对新请求的内容服务启动缓慢,缓存命中率较低,限制了边缘计算缓存的性能。在此背景下,充分考虑无人机的移动性和内容请求的动态性,设计了一种针对接替无人机的动态缓存架构,并综合考虑接替无人机上缓存内容的流行度、相似性以及接替距离,提出了一种相似度感知缓存算法(Similarity-Aware Caching,SAC)。仿真结果表明,该缓存算法可以有效提升无人机接替场景中的缓存命中率和接替成功率。     

MEC系统中基于多智能体深度增强学习的协作式任务卸载和资源分配

移动边缘计算(MEC)通过将计算任务卸载到MEC服务器上,在缓解智能移动设备计算负载的同时,可以降低服务时延。然而目前在MEC系统中,关于任务卸载和资源分配仍然存在以下问题：1)边缘节点间缺乏协作;2)计算任务到达与实际环境中动态变化的特征不匹配;3)协作式任务卸载和资源分配动态联合优化问题。为解决上述问题,文章在协作式MEC架构的基础上,提出了一种基于多智能体的深度确定性策略梯度算法(MADDPG)的任务卸载和资源分配算法,最小化系统中所有用户的长期平均成本。仿真结果表明,该算法可以有效降低系统的时延及能耗。     

基于深度强化学习的云边协同计算迁移研究

基于单一边缘节点计算、存储资源的有限性及大数据场景对高效计算服务的需求,本文提出了一种基于深度强化学习的云边协同计算迁移机制.具体地,基于计算资源、带宽和迁移决策的综合性考量,构建了一个最小化所有用户任务执行延迟与能耗权重和的优化问题.基于该优化问题提出了一个异步云边协同的深度强化学习算法,该算法充分利用了云边双方的计...     

移动边缘计算安全研究

移动边缘计算具有靠近用户、业务本地处理、灵活路由等特点,成为满足5G低时延业务需求的关键技术之一。由于移动边缘计算靠近用户、处于相对不安全的环境、核心网控制能力减弱等,存在非授权访问、敏感数据泄露、(D)DoS攻击等安全风险。本文在介绍边缘计算概念、应用场景的基础上,分析移动边缘计算的安全威胁、安全防护框架、安全防护方案,并展望后续研究方向。     

基于参数化强化学习的车联网内容缓存和功率分配联合优化

车联网场景下的业务内容具有海量和高度动态的特性,使得传统缓存机制无法较好地感知内容动态变化,且巨量接入设备与边缘缓存设备的有限资源之间的矛盾会引起系统时延性能差的问题。针对上述问题,该文提出一种基于强化学习的联合内容缓存和功率分配算法。首先,考虑联合优化内容缓存和功率分配,建立最小化系统整体时延的优化模型。其次,将该优化问题建模为马尔可夫决策过程(MDP),并进一步将内容缓存和内容提供者的选择映射为离散动作集,并将功率分配映射为与离散动作相对应的连续参数。最后,借助参数化深度Q-Networks (P-DQN)算法求解这个具有离散-连续混合动作空间的问题。仿真结果表明,相较对比算法,该文所提算法能提高本地缓存命中率并降低系统传输时延。     

基于元强化学习的自适应卸载方法

计算卸载是移动边缘网络中的一个关键问题,基于深度学习的算法为高效生成卸载策略提供了一种解决方法。但考虑到移动终端设备的动态性以及不同任务场景之间的转换,需要大量的训练数据和较长的训练时间重新训练神经网络模型,即这些方法对新环境的适应能力较弱。针对这些不足,提出了一种基于元强化学习(Meta Reinforcement Learning, MRL)的自适应卸载方法,先对外部模型进行预训练,处理具体任务时再基于外部模型训练内部模型。该方法能快速适应具有少量梯度更新的样本的新环境。仿真实验表明,该算法能够适应新的任务场景,效果良好。     

协同边缘网络中智能计算卸载与资源优化算法

针对具有依赖关系的计算密集型应用任务面临的卸载决策难题,提出了一种基于优先级的深度优先搜索调度策略。考虑到用户能量受限和移动性,构建了一种联合用户下行能量捕获和上行计算任务卸载的网络模型,并在此基础上建立了端到端优化目标函数。结合任务优先级及时延约束,利用深度强化学习自学习的优势,将任务卸载决策问题建模为马尔科夫模型,并设计了基于任务相关性的Dueling Double DQN(D3QN)算法对问题进行求解。仿真数据表明,所提算法较其他算法能够满足更多用户的时延要求,并能减少9%～10%的任务执行时延。     

一种FPGA集群轻量级深度学习计算架构设计及实现

传感器技术的发展带来了边缘、端设备功能的迅速迭代升级,也带来了战场前端的数据量成倍增长。针对边缘、端设备数据量的急剧增长和芯片计算处理能力的矛盾,结合Map/Reduce框架,提出了一种基于现场可编程门阵列(Field Programmable Gate Array,FPGA)计算集群资源的深度学习架构,能够实现多个深度学习算法的并行快捷部署和应用。该轻量级深度学习计算架构同时满足军事应用对“端”的智能处理能力提出的新要求,即不仅局限于数据采集和智能的应用,还必须具备分布式并行智能实时计算的能力。该FPGA集群轻量级深度学习计算框架部署不同类型算法容易,实时性高（ms级任务响应）,可扩展性好,在多种类异构传感器、大场景大数据吞吐量的军事场景及森林防火等民用场景有广泛的应用前景。     

基于深度强化学习的端到端无人驾驶决策

端到端的驾驶决策是无人驾驶领域的研究热点.本文基于DDPG（Deep Deterministic Policy Gradient）的深度强化学习算法对连续型动作输出的端到端驾驶决策展开研究.首先建立基于DDPG算法的端到端决策控制模型,模型根据连续获取的感知信息（如车辆转角,车辆速度,道路距离等）作为输入状态,输出车辆驾驶动作（加速,刹车,转向）的连续型控制量.然后在TORCS（The Open Racing Car Simulator）平台下不同的行驶环境中进行训练并验证,结果表明该模型可以实现端到端的无人驾驶决策.最后与离散型动作输出的DQN（Deep Q-learning Network）模型进行对比分析,实验结果表明DDPG决策模型具有更优越的决策控制效果.