基于深度强化学习的无人艇轨迹跟踪算法研究

针对欠驱动水面无人艇(USV)轨迹跟踪控制问题,提出一种基于近端策略优化(PPO)的深度强化学习轨迹跟踪控制算法．为引导控制器网络的正确收敛,构建基于长短时记忆(LSTM)网络层的深度强化学习控制器,设计了相应的状态空间和收益函数．为增强控制器的鲁棒性,生成轨迹任务数据集来模拟复杂的任务环境,以此作为深度强化学习控制器的训练样本输入．仿真结果表明：所提出的算法能有效收敛,具备扰动环境下的精确跟踪控制能力,有较大的实际应用潜力．     

好奇心驱动的深度强化学习机器人路径规划算法

针对采用深度强化学习算法实现机器人路径规划任务中,训练前期随机性高导致奖励难获取问题,提出内在好奇心驱动的深度确定性策略梯度算法对连续型动作输出的端到端机器人路径规划进行研究。将环境获取的感知信息作为输入状态,输出机器人动作(线速度、角速度)的连续型控制量,在Gazebo仿真平台进行训练并验证。实验结果表明,基于内在好奇心驱动的深度确定性策略梯度路径规划算法可以较好地实现端到端的机器人路径规划,并且有利于解决训练前期奖励难获取问题,与离散型动作输出的深度Q学习网络模型进行了对比分析,结果表明本文算法决策控制效果更优越。在真实环境中进行了验证,在静态障碍和动态障碍的场景下,所提出算法可成功到达目标点。     

结合深度强化学习与变形五次多项式的搬运机器人关节轨迹规划

针对在生产节拍固定的情况下搬运机器人各关节的运动轨迹及时间分配问题,构建基于深度强化学习与变形五次多项式相结合的搬运机器人关节轨迹时间分配模型;设计以节拍要求、速度约束和加速度约束为目标的奖励函数,搭建神经网络,利用MATLAB/Simulink软件,得到满足生产节拍和运动学约束的时间序列,并利用单臂四自由度搬运机器人仿真实验,验证所构建模型的可行性和有效性。结果表明：单臂四自由度搬运机器人各关节的运行时间均为5.89 s,其中平移关节1、 3的最大速度分别为2 597.84、 1 697.97 mm/s,最大加速度分别为19 532.11、 31 302.61 mm/s²;旋转关节2、 4的速度大小相等且方向相反,最大角速度均为137.53 (°)/s,最大角加速度均为1 180.51 (°)/s²,均未超过运动学约束;所构建的模型可以解决在指定生产节拍下搬运机器人关节轨迹时间分配问题,实现搬运机器人搬运过程中各关节的运动均衡,改善搬运机器人运行的稳定性和有效性。     

基于强化学习的腿式机器人运动控制与决策研究

传统的腿式机器人在未知环境中进行运动控制和路径规划时收敛速度慢,路径不够优化具有一定的局限性,无法满足运动控制系统对实时性和精确度的要求.针对这一情况,将深度学习的学习能力与强化学习的决策能力有机地结合起来,利用深度学习具有自动特征提取和深度结构的学习优势,以及强化学习在闭环学习系统中对未知环境进行探索、反馈再探索鲁棒...     

基于双空间交替学习的机器人运动技能获取

针对如何基于示范任务学习让机器人自主获得完成新任务的能力的难题,提出一种高斯混合回归结合路径积分策略提升(GMR-PI2)的表达、模仿和优化框架,同时采用基函数、策略表达权系数两个空间上交替搜索执行方案来解决上述问题.核心思想是当权系数探索到最佳逼近点附近时,根据经验最优轨迹集进行基函数的自重组,然后再重启权系数搜索,从而实现从示范任务到指标集约束任务的渐进运动技能获取.经典的轨迹规划过点实验结果表明该方法是有效和可行的.     

基于人工神经网络的并行强化学习自适应路径规划

强化学习是通过对环境的反复试探建立起从环境状态到行为动作的映射。利用人工神经网络的反馈进行权值的调整,再与高学习效率的并行强化学习算法相结合,提出了基于人工神经网络的并行强化学习的应用方法,并通过实验仿真验证了迭代过程的收敛性和该方法的可行性,从而有效地完成了路径学习。     

基于强化学习的指定性能轨迹跟踪最优控制

为保证无人船对期望轨迹的高动态精确跟踪,针对带有输入饱和限制的无人船轨迹跟踪系统,提出一种基于强化学习的指定性能轨迹跟踪最优控制策略.采用双曲正切函数逼近饱和函数,并利用指定性能控制技术将无人船跟踪误差进行误差转换,使跟踪动态误差约束在期望的指定范围内以保证轨迹跟踪系统的高动态性能.在此基础上,采用最优控制理论与强化学...     

基于改进SNN-HRL的智能体路径规划算法

针对SNN-HRL等传统Skill discovery类算法存在的探索困难问题,本文基于SNN-HRL算法提出了融合多种探索策略的分层强化学习算法MES-HRL,改进传统分层结构,算法包括探索轨迹、学习轨迹、路径规划三层.在探索轨迹层,训练智能体尽可能多地探索未知环境,为后续的训练过程提供足够的环境状态信息.在学习轨迹层,将探索轨迹层的训练结果作为“先验知识”用于该层训练,提高训练效率.在路径规划层,利用智能体之前获得的skill来完成路径规划任务.通过仿真对比MES-HRL与SNN-HRL算法在不同环境下的性能表现,仿真结果显示,MES-HRL算法解决了传统算法的探索问题,具有更出色的路径规划能力.     

改进的基于测地线的机器人轨迹规划方法

针对机器人运动规划过程中测地线微分方程初始条件的确定问题,提出一种基于微分运动的初始条件求解方法.该方法通过对比分析黎曼空间与三维空间中机器人末端运动轨迹,确定两者之间的空间对应关系,在此基础上建立测地线微分方程初始条件的求解模型.最后,以2自由度机器人为例,对比验证该方法的有效性.研究结果表明:该模型解决了以往采用线性搜索方法求解微分方程初始条件所造成的求解不确定性问题.     

一种机器人最优加速度轨迹规划算法研究

针对机器人调试过程中遇到的超限问题,提出了一种满足运动约束的加速度最优T型速度曲线控制方法,利用拉格朗日法分析了码垛机器人的动力学性能,论述了机器人轨迹规划算法的实现过程.该算法在保证运动平稳的基础上,充分发挥了驱动关节的驱动性能.与传统速度曲线的对比表明,无论单轴还是轴组模式下,机器人的控制效果均得到了明显的提高.     

基于模糊规则的深海底作业机器车不等分状态时间轨线规划

针对深海底自行走履带作业机器车,给出了一种新的基于模糊规则的不等分状态时间轨线规划方案.为适应深海底环境的不确定性,采用基于模糊规则的不等分状态时间轨线规划改进等分贝塞尔曲线运动规划,控制机器车按照既定路线行走.在不平整地面的试验结果验证了算法的有效性.     

工业机器人最优轨迹规划算法

为优化机器人的工作性能,在分析工业并联机器人工作特性的基础上,将执行时间最优、跃度最小、能量最小、运动学和动力学约束为目标函数,应用惩罚函数法并加入初始速度、加速度、跃度和力矩约束,且目标约束条件中加入谐振频率限制,依据所建立的目标函数进行了遗传算法优化求解,对所得结果进行了三次样条插值,并在一台三自由度的工业搬运并联机械手上进行了实验。结果表明,在保证工作效率和节约能量的条件下,该轨迹规划方法可以减少机械部分的跃度,避免机械部分的谐振,降低机械和电机的磨损。     

Optimal trajectory planning based on Hamiltonian function of a spherical mobile robot

Designed for planetary exploration, a spherical mobile robot BHQ-1 was briefly introduced. The motion model of BHQ-1 was established and quasi-velocities were introduced to simplify some dynamic quantities. Based on the model, the time- and energy-based optimal trajectory of BHQ-1 was planned with Hamiltonian function. The effects of three key coefficients on the shape and direction of the planned trajectory were discussed by simulations. Experimental result of the robot ability in avoiding an obstacle was presented to validate the trajectory planning method.     

轻型抓取机器人的优化设计与路径规划

针对一种轻型抓取机器人,对其进行了构型优化设计和相关工作路径的研究.在各臂旋转到同一条直线上时,以对各个关节的转动惯量最小为优化目标,得出轻型抓取机器人各臂的最优臂长,并针对抓取时的稳定性进行了设计.运用三次多项式对机器人的点到点运动和有中间点的运动进行了轨迹规划,得到了各个关节的位移和角速度方程,并用实例进行了计算.利用Matlab Robotics工具箱对轨迹规划的结果进行了验证.     

基于改进鲸鱼优化算法的码垛机器人时间最优轨迹规划

码垛机器人在运行轨迹过程中所消耗的时间直接影响到了其工作效率,针对码垛机器人的轨迹规划的时间问题,提出了一种改进的鲸鱼优化算法对时间进行优化。在基础的鲸鱼优化算法基础上,利用混沌映射初始化种群,引入自适应的权重和改进收敛因子,以提高算法的求解精度、收敛速度和全局搜索能力。首先,根据 D-H 参数法建立机器人的运动学模型;其次,在关节空间中利用3-5-3次多项式插值函数对机器人末端执行器经过的路径点进行规划,然后采用改进的鲸鱼优化算法对时间进行优化。最后通过 MATLAB软件进行效果仿真和对比。结果表明,与其它同类的算法相比,改进的鲸鱼优化算法的求解精度更高,收敛速度更快。将该方法与轨迹优化结合,与未采用算法优化的3-5-3多项式轨迹规划所需要的运行时间相比缩短了22.46％,且各个关节轨迹平稳连续,验证了该轨迹规划方法的有效性。     

双臂机器人协调运动的关节轨迹规划

针对双臂机器人协调运动,给出关节轨迹规划的两种方案,其一是基于最小载荷分配的关节轨迹规划,其二是基于最小关节广义驱动力的关节轨迹规划,均避免了矩阵的奇异值分解,适合于双臂机器人的实时控制。     

双足行走机器人步态轨迹规划

 通过对双足机器人行走过程中一些特殊点进行采样分析,对比人类自身行走步态的观察测量值,采用三次多项式插值来计算出双足行走机器人在行走过程中的行走轨迹,按人体比例设定参数,计算得出了1条比较光滑平稳的行走轨迹,使得机器人的行走姿态更像人类的行走.通过模拟测试,结果表明了用三次多项式插值方法是1种规划双足机器人行走步态的较好方法,而且得出的轨迹插值函数比较平滑.