复杂空战环境下基于博弈模型的无人机机动决策方法研究

论文摘要

随着无人机技术的发展,对无人机空战机动决策的问题提出了新的要求。本文以博弈论为基础,结合智能求解算法,对复杂空战环境下的无人机机动决策的方法进行研究,主要研究内容包括:针对在模糊信息环境下的无人机机动决策问题,提出了一种基于直觉模糊博弈的机动决策方法。首先,应用多属性直觉模糊评估的方法,建立直觉模糊支付矩阵对空战双方机动策略进行评估。其次,提出了一种满足直觉模糊全序关系的无人机机动对抗直觉模糊博弈模型,并给出了此博弈模型解的存在性证明和求解方法。然后,采用个体控制参数和遗传代数自适应的策略改进差分进化算法,并对模型进行求解。最后,通过仿真验证了模型和算法的合理性和有效性,为模糊环境下空战决策问题的求解提供了新思路。针对在未知系统模型下的无人机主动防御问题,提出了一种基于数据驱动的自适应动态规划算法（ADP）求解最优控制策略。首先,建立了主动防御问题的线性微分对策模型。其次,将对模型的求解转化为求解一对互为对偶的博弈代数黎卡提方程（CGARE）。然后,基于策略迭代的方法,提出了一种基于数据驱动的自适应动态规划算法求解CGARE的近似解,并证明了算法的收敛性。仿真结果表明,在未知攻击者的机动时间常数的条件下,防御者总能成功拦截攻击者攻击目标。针对在大规模无人机集群环境下的无人机集群对抗问题,提出了一种基于平均场随机博弈（MFSG）模型的无人机集群对抗方法。首先,利用简单的势场叠加原理描述无人机集群个体之间复杂的相互作用关系。然后,引入平均场理论,建立了无人机集群的平均场博弈模型,无人机对策略的选择依赖于自身状态和集群整体的状态分布。最后,基于强化学习的思想,提出了MFSG-Q学习算法用于无人机集群对抗的学习。仿真结果表明,无人机集群个体依据简单的机动策略,可表现出一些复杂的集群涌现行为,且MFSG-Q学习算法和单智能体学习算法相比,具有更高的胜率。

论文目录

• 摘要
• abstract
• 缩略词
• 第一章 绪论
•   1.1 研究背景及意义
•   1.2 国内外研究现状
•     1.2.1 机动决策算法研究现状
•     1.2.2 博弈论研究现状
•     1.2.3 博弈论在空战决策存在的主要问题
•   1.3 本文主要内容和章节安排
• 第二章 博弈论理论基础
•   2.1 引言
•   2.2 博弈论主要概念和基本分类
•   2.3 矩阵博弈基本概念
•   2.4 微分对策基本概念
•   2.5 随机博弈基本概念
•     2.5.1 马尔科夫决策过程
•     2.5.2 基于MDP的随机博弈
•   2.6 本章小结
• 第三章 模糊信息环境下基于直觉模糊博弈的无人机机动决策
•   3.1 引言
•   3.2 基本概念
•     3.2.1 直觉模糊集
•     3.2.2 差分进化算法
•   3.3 问题描述及分析
•     3.3.1 机动策略的直觉模糊评估
•     3.3.2 直觉模糊机动博弈模型
•   3.4 改进的差分进化算法
•     3.4.1 适应度函数
•     3.4.2 变异操作
•     3.4.3 交叉操作
•     3.4.4 选择操作
•     3.4.5 算法步骤
•   3.5 仿真验证及结果分析
•     3.5.1 算法的性能比较
•     3.5.2 纳什均衡条件的验证
•     3.5.3 机动对抗仿真及决策方法对比
•   3.6 本章小结
• 第四章 未知环境下基于ADP求解微分对策的无人机
•   4.1 引言
•   4.2 自适应动态规划基本概念
•   4.3 问题描述及分析
•     4.3.1 ADDG模型及问题描述
•     4.3.2 ADDG问题的分析
•   4.4 ADP算法求解最优策略
•     4.4.1 基于模型的ADP离线方法
•     4.4.2 基于数据的无模型ADP在线方法
•   4.5 仿真验证及结果分析
•   4.6 本章小结
• 第五章 大规模环境下基于平均场博弈的无人机集群对抗方法
•   5.1 引言
•   5.2 基本概念
•     5.2.1 强化学习
•     5.2.2 多智能体强化学习
•   5.3 问题描述及分析
•     5.3.1 集群个体的相互作用
•     5.3.2 无人机集群的平均场随机博弈模型
•     5.3.3 基于平均场博弈的MFSG-Q学习算法
•   5.4 基于MFSG-Q学习的无人机集群对抗
•     5.4.1 机动动作空间
•     5.4.2 奖赏函数
•     5.4.3 MFSG-Q函数的神经网络拟合
•     5.4.4 算法步骤
•   5.5 仿真验证及结果分析
•   5.6 本章小结
• 第六章 总结与展望
•   6.1 本文的主要工作
•   6.2 后续研究工作展望
• 参考文献
• 致谢
• 在学期间的研究成果及发表的学术论文

文章来源

类型: 硕士论文

作者: 李世豪

导师: 丁勇

关键词: 无人机,博弈论,机动决策,纳什均衡,直觉模糊,自适应动态规划,强化学习,平均场理论

来源: 南京航空航天大学

年度: 2019

分类: 基础科学,工程科技Ⅱ辑

专业: 数学,航空航天科学与工程,武器工业与军事技术

单位: 南京航空航天大学

分类号: E926.3;O225

DOI: 10.27239/d.cnki.gnhhu.2019.000327

总页数: 89

文件大小: 3017K

下载量: 952