基于行动者-评论家方法的船舶路径规划研究

论文摘要

随着人工智能技术的发展,船舶智能化成为航运领域发展的必然趋势,而航线规划技术已经成为智能船舶研究的七大关键技术之一,因此,探索更加优化的船舶路径规划方法对安全与智能化航运的发展具有重要理论价值与实际应用意义。目前,路径规划相关的算法较多,其中大多将规划环境和动作进行离散处理,与实际路径规划特点不太相符,同时,较少根据船舶航行特点进行路径规划,而且进行船舶局部路径规划时,大多数根据其他船舶的航行路线对本船的影响,动态地调整自身路线,从而导致本船的局部路径受他船影响较大等问题。针对这些问题,本文探索了利用深度强化学习中行动者-评论家方法解决连续空间的路径规划问题,并结合船舶航行特点与路径规划需求,对行动者-评论家方法加以改进。主要工作如下:1)基于船舶航行特点的船舶间避碰和静态障碍物避碰方法研究在剖析船舶路径规划特点的基础上,构建了面向船舶路径规划的船舶领域、船舶碰撞危险度模型及其运动参数的计算方法;探索了行动者-评论家方法与路径规划的契合点,重新建立了行动者-评论家方法中的奖励函数,设计了船舶间避碰策略;提出了船舶路径规划环境地图构建方法,并结合船舶领域模型,设计了适用于全局路径和局部路径规划的静态障碍物避碰方法。2)面向船舶避碰的局部路径规划方法研究以安全性和时效性作为船舶局部路径规划目标,将所设计的船舶间避碰策略和静态障碍物避碰方法与多智能体行动者-评论家方法（MADDPG算法）相结合,重新构建了MADDPG中的奖励函数,以实现安全性;针对MADDPG算法收敛速度较低问题,一方面,结合船舶领域和碰撞危险度模型,提出了基于局部更新的Q值计算方法,另一方面,重构了MADDPG算法中经验重放缓冲区,探索了基于混合抽样的高效经验重放方法;设计了基于MADDPG的船舶局部路径规划算法,实现了同时为多船规划局部无碰路径的目的。3)面向安全性和经济性的船舶全局路径规划方法研究以安全性和经济性作为全局路径规划目标,将所设计的静态障碍物避碰方法与单智能体行动者-评论家方法（PPO）相结合,重新设计PPO中的奖励函数,以实现安全性;针对PPO算法在路径规划前期学习盲目性较大,通过扩充算法的起始状态集合,设计了面向全局路径规划的PPO探索策略;设计了基于PPO的船舶全局路径规划算法,实现了安全前提下保证全局规划路径的经济性。4)实验验证与分析选择时效性、安全性和经济性作为评价指标,对本文设计的船舶全局路径和局部路径规划方法及其改进策略进行验证与分析;同时,与其它的船舶路径规划方法进行了实验对比;结果表明本文所提方法能有效规划安全的局部路径、安全和经济的全局路径。

论文目录

• 摘要
• abstract
• 第1章 绪论
•   1.1 研究背景及意义
•   1.2 国内外研究现状
•     1.2.1 国内外研究现状
•     1.2.2 存在的问题
•   1.3 研究内容
•   1.4 组织结构
•   1.5 本章小结
• 第2章 基于船舶航行特点的船舶间避碰和静态障碍物避碰方法研究
•   2.1 问题描述
•   2.2 船舶路径规划特点及相关模型的构建
•     2.2.1 船舶路径规划特点
•     2.2.2 船舶领域以及船舶碰撞危险度模型
•   2.3 基于行动者-评论家方法的路径规划中船舶间避碰策略
•     2.3.1 行动者-评论家方法与路径规划的契合点
•     2.3.2 船舶路径规划中船舶间避碰策略的设计
•   2.4 路径规划地图构建及静态障碍物避碰方法
•   2.5 本章小结
• 第3章 面向船舶避碰的局部路径规划方法研究
•   3.1 问题描述
•   3.2 基于行动者-评论家方法的MADDPG算法
•   3.3 面向船舶路径规划的MADDPG算法的改进
•     3.3.1 MADDPG的特点和不足
•     3.3.2 基于局部更新的Q值计算方法的改进
•     3.3.3 基于混合抽样的高效经验重放方法
•   3.4 基于MADDPG的船舶局部路径规划方法
•     3.4.1 面向局部路径规划的MADDPG中参数设置
•     3.4.2 基于MADDPG的船舶局部路径规划算法设计
•     3.4.3 时间复杂度分析
•   3.5 本章小结
• 第4章 面向安全性和经济性的船舶全局路径规划方法研究
•   4.1 问题描述
•   4.2 基于行动者-评论家方法的PPO算法
•   4.3 面向船舶路径规划的PPO算法中探索策略
•     4.3.1 PPO算法特点和不足
•     4.3.2 面向船舶路径规划的PPO算法探索策略
•   4.4 基于PPO的船舶全局路径规划方法
•     4.4.1 面向全局路径规划的PPO中参数设置
•     4.4.2 基于PPO的船舶全局路径规划算法设计
•     4.4.3 时间复杂度分析
•   4.5 本章小结
• 第5章 实验验证及分析
•   5.1 实验平台
•   5.2 地图的构建与评价指标
•     5.2.1 地图的构建方法
•     5.2.2 评价指标
•   5.3 基于船舶航行特点的船舶间避碰和静态障碍物避碰方法实验及分析
•     5.3.1 路径规划中船舶间避碰策略实验与分析
•     5.3.2 路径规划地图构建及静态障碍物避碰方法实验与分析
•   5.4 面向船舶避碰的局部路径规划方法实验及分析
•     5.4.1 基于局部更新的Q值计算方法的改进效果与分析
•     5.4.2 基于混合抽样的高效经验重放方法实验与分析
•     5.4.3 基于MADDPG的船舶局部路径规划实验与分析
•   5.5 面向安全性和经济性的船舶全局路径规划方法实验及分析
•     5.5.1 面向船舶路径规划的PPO算法探索策略实验与分析
•     5.5.2 基于PPO的船舶全局路径规划方法实验与分析
•   5.6 本章小结
• 第6章 总结与展望
•   6.1 工作与总结
•   6.2 展望
• 致谢
• 参考文献
• 攻读硕士学位期间研究成果

文章来源

类型: 硕士论文

作者: 王讷

导师: 高曙

关键词: 全局路径规划,局部路径规划,行动者评论家方法,连续空间,深度强化学习

来源: 武汉理工大学

年度: 2019

分类: 基础科学,工程科技Ⅱ辑

专业: 数学,公路与水路运输

单位: 武汉理工大学

分类号: U692.31;O221

DOI: 10.27381/d.cnki.gwlgu.2019.001571

总页数: 79

文件大小: 2640K

下载量: 85