基于AIS的船舶避碰系统研究

船舶自动识别系统AIS的诞生为船舶避碰提供了一种新方法,研究了船舶自动识别系统AIS的关键技术及其组成,设计了基于AIS的船舶避碰系统.该系统对AIS等设备采集的数据进行变换与接收,以DSP为信息处理和控制元件,采用FPGA以解决多接口的问题.AIS技术的引入,使船舶碰撞危险系数的计算更为精确,船舶与船舶之间、船舶与岸台之间的通信更加迅速.     

基于ILCS的多机器人强化学习策略

提出了一种基于改进学习分类器的多机器人强化学习方法。增强学习使机器人能发现一组用于指导其强化学习行为的规则。遗传算法则在现有的规则中淘汰掉较差的,并利用较优的种群规则产生出新的学习规则。规则合并能提高多机器人的并行强化学习效率,使多个机器人自主地学习到相互协作的最优策略。算法的分析和仿真表明,将改进的学习分类器用于多机器人的强化学习是有效的。     

基于改进海洋捕食者算法的无人船避碰方法

为提高无人船局部动态避障的规范性、安全性和经济性,提出一种基于改进海洋捕食者算法的无人船避碰决策方法。首先,根据无人船运动约束、避免碰撞约束与避碰规则约束限定避碰决策的搜索空间;其次,以船舶碰撞的危险程度和航程损失为指标建立避碰目标函数;最后,提出基于种群更新成功率的改进海洋捕食者算法,求取约束范围内的最优避碰决策。仿真实验结果表明：所提方法最优个体适应度曲线在30次迭代内都能稳定收敛,且其最优值最小,优于其余智能算法,具有一定有效性。     

基于粒子群算法和航行规则的分步多船避碰路径规划

针对宽水域多船避碰过程中路径规划难与航行规则结合的问题,提出一种分步多船避碰路径规划算法。首先将障碍船视为静态障碍物,利用极坐标空间的粒子群路径规划算法结合船舶安全领域进行静态路径规划,得到船舶避碰转向点;然后利用航行规则对转向点的转向角度进行动态修正。通过对算法进行仿真验证,能够很好地解决多船避碰路径规划的问题,为解决多船避碰问题提供一种新的思路。     

多智能体强化学习在足球机器人中的研究与应用

 本文提出一种基于投票的多智能体强化学习方法,使球队在比赛中学会协作,自动适应环境,提高实时性和进球数.首先通过定义称为策略的联合行为,将协作问题转化为对策略的学习,简化问题的处理;然后对球场进行划分,以区域表示位置,有效减少了状态空间维数,加快了学习速度;接下来通过区分环境状态并只考虑协作状态,减小状态空间,进一步提高了学习速度;并使用投票的方式综合各个队员的决策,达到协作的目的.最后通过实验结果表明了该方法的正确性和有效性.     

基于强化学习的多自由度智能超声机器人系统

超声机器人作为一种典型的医疗机器人,在辅助诊断与外科引导中可以有效提高超声成像效率并降低人工长时间操作导致的疲劳.为了提升超声机器人在复杂动态环境中的成像效率与稳定性,该文提出一种基于深度强化学习的超声机器人多自由度成像控制方法与系统.首先基于近端策略梯度优化的成像动作决策方法,实时生成超声探头空间动作和姿态运动决策,...     

VHF在船舶避碰中的应用

VHF是一种海上通信工具,目前已经得到了广泛应用,这种工具通过避让信息的传送来判断船舶的动向和距离,避免船舶之间碰撞。VHF在船舶中的应用取得了一定的效果,但是一些船员在实际应用当中的不规范酿成了很多海上交通事故。本文中关于VHF工具的出现的问题提出几点意见,使得这种新的通信工具能够在船舶避碰中充分发挥作用,不断完善。     

遗传算法在船舶转向避碰幅度决策中的应用研究

针对船舶避碰决策系统中的船舶运动趋势和避碰时机,应用遗传算法模型,实时预测各目标船相对于本船在下一时刻的运动参数,预估目标船相对于本船的最近会遇距离（DCPA）和最近会遇时间（TCPA）。同时,应用遗传算法模型预测避碰最优角度问题。仿真结果表明,该方法能有效提高船舶海上航行的灵活性和安全可靠性,达到提前预警和帮助驾驶员提前做好避碰准备等目的。     

FSK体制汽车避碰雷达的数据采集系统

文章简要介绍了FSK体制汽车避碰雷达的工作原理,并对该雷达系统的测试情况进行了介绍。将我们工作中完成的中低速高精度数据采集系统进行了介绍和总结,实现了57KHz采样频率,16位采样精度,64K×8bit存储容量的数据采集系统。     

一种采用ADS-B技术的通用航空防撞系统

为适应快速发展的通用航空对避撞的迫切需求,在基于广播式自动相关监视（Automatic Dependent Surveillance-Broadcast,ADS-B）的通用航空监视系统的基础上构建了通用航空防撞系统,该系统与无人机和运输航空一体化构建。结合ADS-B工作范围广和通用航空防撞复杂的特点,提出并构建了包括紧急避撞、一般避撞和提前避撞的三级避撞系统。分析了避撞系统中区域的划分,给出了避撞处理流程,讨论了每一级避撞需求及其关键算法。     

Deep reinforcement learning based resource allocation algorithm in cellular networks

In order to solve multi-objective optimization problem,a resource allocation algorithm based on deep reinforcement learning in cellular networks was proposed.Firstly,deep neural network (DNN) was built to optimize the transmission rate of cellular system and to complete the forward transmission process of the algorithm.Then,the Q-learning mechanism was utilized to construct the error function,which used energy efficiency as the rewards.The gradient descent method was used to train the weights of DNN,and the reverse training process of the algorithm was completed.The simulation results show that the proposed algorithm can determine optimization extent of optimal resource allocation scheme with rapid convergence ability,it is obviously superior to the other algorithms in terms of transmission rate and system energy consumption optimization.     

基于可中断Option的在线分层强化学习方法

针对大数据体量大的问题,在Macro-Q算法的基础上提出了一种在线更新的Macro-Q算法(MQIU),同时更新抽象动作的值函数和元动作的值函数,提高了数据样本的利用率。针对传统的马尔可夫过程模型和抽象动作均难于应对可变性,引入中断机制,提出了一种可中断抽象动作的Macro-Q无模型学习算法(IMQ),能在动态环境下学习并改进控制策略。仿真结果验证了MQIU算法能加快算法收敛速度,进而能解决更大规模的问题,同时也验证了IMQ算法能够加快任务的求解,并保持学习性能的稳定性。     

Artificial emotion model based on reinforcement learning mechanism of neural network

A hierarchical-processed frame construction of artificial emotion model for intelligent system is proposed in the paper according to the basic conclusion of emotional psychology.The general method of emotion processing,which considers only one single layer,has been changed in the presented construction.An artificial emotional development model is put forward based on reinforcement learning mechanism of neural network.The new model takes the emotion itself as reinforcement signal and describes its different influences on action learning efficiency corresponding to different individualities.In the end,simulation result based on child playmate robot is discussed and the effectiveness of the model is verified.     

基于SSR和ADS-B混合监视的机载编队防撞系统设计

由于设备性能的限制,民航飞机目前使用的机载防撞系统TCASⅡ不能适用于编队飞 行防撞。为了解决飞机编队飞行防撞以及与民航飞机TCASⅡ兼容的问题,给出了一种基 于二次雷达(SSR)和ADS-B混合监视的机载编队防撞系统的设计方案。该方案采用了TCAS主动 监视和被动监 视相结合的方法,利用唯一的24位S模式地址来识别和归类目标飞机,将TCAS的监视数据和A DS-B的监视数据进行数据融合来完成对目标飞机的监视和跟踪。通过将大型编队划分为多个 编队单元的方法,由长机负责保持各个编队单元之间的安全间距。采用收发器将长机产生的 位置保持和碰撞避免的操纵指令通过高频数据链路传送给各个编队单元,各个编队成员按照 操纵指令调整自己飞机的位置,完成对整个编队的位置保持和碰撞避免的集中控制和分散执 行。该方案可以为机载编队防撞系统的设计和实现提供参考和帮助。     

用于防撞的三维毫米波雷达设计

受波束调度灵活性、接收通道数目限制,目前分集相控毫米波防撞雷达主要采用距离/方位二维扫描.由于缺乏目标高度信息,若雷达前方出现不影响载体通行的高/低目标,容易造成防撞雷达的障碍误报.针对这一问题,本文提出基于MIMO和分集相控雷达结合的天线排布和信号处理方法,实现对场景的三维检测.与二维防撞雷达相比,该方法在不增加雷达接收通道数且几乎不增加雷达尺寸的前提下能有效实现方位和俯仰的联合测角.与二维稀布接收阵雷达相比,本文设计雷达不会产生方位栅瓣,适合复杂背景下的多目标检测.     

Service chain mapping algorithm based on reinforcement learning

A service chain resource scheduling architecture of multi-agent based on artificial intelligence technology was proposed.Meanwhile,a service chain mapping algorithm based on reinforcement learning was designed.Through the Q-learning mechanism,the location of each virtual network element in the service chain was determined according to the system status and the reward and punishment feedback after the deployment.The experimental results show that compared with the classical algorithms,the algorithm effectively reduces the average transmission delay of the service and improves the load balance of the system.     

一种新的通用航空机载防撞逻辑设计方法

由于机载防撞系统(TCAS)是针对具有较大垂直高度变化率的大型飞机设计的,系统设定条件和与之相关的解脱建议并不能适用于通航飞机.针对通用航空的防撞问题,提出了一种基于马尔可夫决策过程(MDP)的防撞逻辑设计方法.首先,将飞机空中相遇过程的动态模型转换为离散转移函数;然后,基于防撞系统结果事件末端效用函数进行MDP建模,采用动态规划方法导出了最优防撞逻辑的迭代方程;最后,给出了通航飞机最优化防撞逻辑的设计流程并对最优防撞逻辑进行了计算机仿真.仿真结果表明,通过调整效用比参数可以在保证安全性能的同时有效降低系统告警率.在垂直相遇高度小于30 m的相遇过程占比高达18%的情况下,当告警率大于0.85时系统的碰撞概率仅为2.88×10-4左右.该设计方法对我国在低空空域通用飞机防撞系统的研究具有一定的参考价值.     

一种基于实时几何测距的船桥主动防撞方法

本文提出一种基于实时几何测距的船桥主动防撞方法.该方法对船的改动量甚微,仅需维持多项距离矩阵,通过告警逻辑矩阵进行展示与告警,能起到很好的船桥防撞提示效果.     

基于知识的Agent强化学习算法分析与研究

强化学习具有与环境交互的优势,笔者提出的基于知识的Q-学习算法(KBQL)就是利用Q-学习算法的这个特点,利用Agent的先验知识来缩小Agent学习的状态空间,以加速强化学习的收敛性,同时采用Agent的学习机制克服其知识的不精确性,从而提高学习算法的鲁棒性和适应性。